チャットレスポンス低下に伴うメッセージ送信/ステータス更新不具合のご報告

2020年6月23日に発生した、チャットレスポンス低下に伴う、メッセージ送信/ステータス更新不具合について、下記の通りご報告致します。

1. 概要

チャット機能のパフォーマンスが劣化し、一部のメッセージ送信と、対応ステータス更新が行われませんでした。

2. 発生期間

2020年6月23日 09時45分ごろ 〜 2020年6月23日 11時40分ごろ

3. 影響範囲

チャット機能のうち、メッセージ送受信および対応ステータス変更部分

なお、画面状態とデータベースの不整合は発生しておらず、画面上では送信およびステータス変更できているが、実際にはなされていない、といったケースは発生していません。

4. 原因

チャット機能では、継続的な性能強化策を行っており、その活動の中で修正した「メッセージ既読ステータス処理の変更」が原因で、該当処理のパフォーマンス劣化が発生いたしました。

該当箇所では、処理速度の向上を目的として、利用するデータベースサービスを MongoDB から Spanner に変更しました。しかしながら、該当処理の内容と Spanner との相性が悪く、一部の処理で非常に時間がかかるケースが発生しました。それによりデータベースサービス全体のパフォーマンスが劣化し、チャット機能全体の負荷を相乗的に上昇させる結果となりました。

5. 対応

暫定対応：該当箇所を修正前の状態に戻しております。

本格対応：処理方法を見直し、Spanner への変更作業を再度実施致します。

6. 今後の対策

• 新規アーキテクチャ実装時のレビューの強化。
• 既読処理パフォーマンスモニタリングの強化。

この度はご迷惑をおかけし、誠に申し訳ございませんでした。