【解決済み】ネイティブアプリに配信されたチャット機能で障害が発生しています
Incident Report for KARTE
Postmortem

この度発生したネイティブアプリに配信されたチャット機能に関する障害について、下記の通りご報告致します。


発生期間

2023年5月29日15時14分頃 〜 2023年5月30日12時36分頃

対象のプロジェクト

ネイティブアプリにKARTEの接客サービス機能でチャットのアクションを配信しているプロジェクト‌

発生した現象

  • KARTEからネイティブアプリに配信されたチャットのアクションにおいて、エンドユーザーにチャット入力画面は表示されるが、エンドユーザーからのメッセージ送信に失敗する
  • エンドユーザーが過去のメッセージのやりとりを閲覧できない

発生原因

  • 機能についてデリバリー速度やメンテナンス性の向上を目的として、旧解析基盤で動いていた機能を新解析基盤への移行を実施
  • チャットに関連する設定が移行前と移行後で異なる設定となっていたため、移行後にチャットサーバーに接続できない事象が発生
  • 接客の表示検証は十分に行なっていたものの、影響範囲に対する考慮漏れによりチャットサーバーへの通信まで含めた検証は行えていなかった
  • 本番環境および評価環境に、ユーザーがチャットサーバーに対して通信できない状況を監視する機構がなく、事前に気づくことができなかった

実施した対応

  • 移行前の状態に切り戻しを行い、事象を解消‌

今後の対応

  • チャット接客の監視を強化し、ネイティブアプリ向けに、チャット接客の表示だけではなくチャットサーバーへの通信が正常に行われることを含めて監視を行う
  • チャットサーバーに対するリクエスト数の異常検知を導入し、早期に異常を検知できるようにする
  • 本番反映時に異常が発生した際、影響を最小限に抑え、早期に改修を行うために段階的な移行を行う

---‌

この度はご迷惑をおかけしてしまい、誠に申し訳ございませんでした。

Posted May 31, 2023 - 14:14 JST

Resolved
障害が解消したのでご報告します。

■ 対象プロジェクト
- ネイティブアプリにKARTEの接客サービス機能でチャットのアクションを配信しているプロジェクト

■ 発生した現象
- KARTEからネイティブアプリに配信されたチャットのアクションにおいて、エンドユーザーにチャット入力画面は表示されるが、エンドユーザーからのメッセージ送信に失敗する
- エンドユーザーが過去のメッセージのやりとりを閲覧できない

■ 原因
- 5月29日15時14分頃に接客表示用のWebViewに読み込ませるHTMLの配信元を別システムに切り替える作業を実施した
- 上記の作業時に設定に不備があったために、チャットサーバーへの接続に失敗したことで本事象が発生してしまった

■ 実施した対応
- システムの切り戻し作業を実施し復旧したことを確認

この度はご迷惑をおかけし、大変申し訳ございませんでした。
なお、本障害の詳細や事後対応については、追って記載します。
Posted May 30, 2023 - 19:31 JST
Monitoring
本障害の解決に向けた対応を実施しました。

■ 対象プロジェクト
- ネイティブアプリにKARTEの接客サービス機能でチャットのアクションを配信している全プロジェクト

■ 発生した現象
- KARTEからネイティブアプリに配信されたチャットのアクションにおいて、エンドユーザーにチャット入力画面は表示されるが、エンドユーザーからのメッセージ送信に失敗する
- エンドユーザーが過去のメッセージのやりとりを閲覧できない

■ 原因
- 5月29日15時14分頃に接客表示用のWebViewに読み込ませるHTMLの配信元を別システムに切り替える作業を実施したことにより本事象が発生した
- 詳細な原因については調査中

■ 実施した対応
- システムの切り戻し作業を実施し復旧したことを確認

現在、障害の解決を確認するために監視を続けています。
Posted May 30, 2023 - 14:00 JST
Investigating
ネイティブアプリに配信されたチャット機能で障害が発生しています。
想定される主な影響は次の通りです。

■ 対象プロジェクト
- 調査中

■ 発生している現象
- KARTEからネイティブアプリに配信されたチャットのアクションにおいて、エンドユーザーにチャット入力画面は表示されるが、エンドユーザーからのメッセージ送信に失敗する

現在、開発チームが原因を調査中です。
約1時間以内に続報を掲載します。
Posted May 30, 2023 - 12:34 JST
This incident affected: チャット.