管理画面、チャット、ユーザー解析にて障害が発生しておりました。

‌

下記の時間帯に、管理画面、チャット、ユーザー解析にて障害が発生しておりました。

■ 発生時間
A.2021/4/9 15:20頃〜17:30頃
B.2021/4/9 15:20頃〜15:35頃
C.2021/4/9 15:20頃〜20:45頃

■ 事象
A.チャット：

• ノート保存の反映が遅延する
• エンドユーザーさんへのメッセージ送信遅延する
• 新着メッセージの受信が画面リロードしないと反映されない
• 返信後に画面リロードしないとオペレーター側の画面が反映されない

B.ユーザーの解析遅延

C. イベント処理遅延：
トラッキングされたイベントを管理画面への反映が遅れる

■ 原因
GCP内のネットワーク断が原因でございます。
そのため、その影響で派生した各事象の原因は下記となります。
A. GCP内のネットワーク断のため。
B. 一時的に解析の処理過程でGCPのNW上での処理データ量が急激に低下したため。
詳細な原因はGCP側に問い合わせを行っています。
C. ネットワーク断が回復した後、処理されるデータ量が急増したため。

■ 暫定対応
A. アプリケーションの再起動によって復旧致しました。
B. ネットワークの復旧によって自動復旧致しました。
C. 障害の原因のネットワーク劣化によって処理が溜まったデータに対してサーバを強化して対応しました。

■ 今後の対応
今回の事象に対する検知の仕組みの強化。
A. 詳細な調査結果を踏まえ、アプリケーションを修正を検討致します。
B. 詳細の原因をGCPと調査し、対応策を検討致します。
C. データが溜まった際に、効率的に処理されるよう修正致します。

‌

この度はご迷惑をおかけいたしました。