Postmortem -
Read details
Sep 13, 17:55 JST
Resolved -
障害が解消したのでご報告します。
■ 発生期間
2021/09/13 14:45頃〜15:55頃
■ 対象プロジェクト
- Talk機能を利用中の全プロジェクト
■ 対象機能
- Talk機能
■ 発生している現象
- 管理画面上でチャットのメッセージが表示できない、時間がかかる
- エンドユーザーとオペレーターのメッセージの送受信ができない
- KARTE API V2 Talkでの以下APIでエラーが発生する
- Talk Message Send API (Operator)
- Talk Message Send API (User)
- KARTE Hook V2 TalkがHookリクエストが発生しない
■ 原因
- Talk機能で使用するデータベースサービス全体の負荷が増加し、パフォーマンスが劣化したため
■ 実施した対応
- データベースサービスへの負荷をかけている可能性のあるアプリケーションロジックを修正いたしました。
この度はご迷惑をおかけし、大変申し訳ございませんでした。
なお、本障害の詳細や事後対応については、追って記載します。
Sep 13, 16:22 JST
Monitoring -
本障害の解決に向けた対応を実施しました。
■ 対象プロジェクト
- Talk機能を利用中の全プロジェクト
■ 対象機能
- Talk機能
■ 発生している現象
- 管理画面上でチャットのメッセージが表示できない、時間がかかる
- エンドユーザーとオペレーターのメッセージの送受信ができない
- KARTE API V2 Talkでの以下APIでエラーが発生する
- Talk Message Send API (Operator)
- Talk Message Send API (User)
- KARTE Hook V2 TalkがHookリクエストが発生しない
■ 原因
- Talk機能で使用するデータベースサービス全体の負荷が増加し、パフォーマンスが劣化したため
■ 実施した対応
- データベースサービスへの負荷をかけている可能性のあるアプリケーションロジックを修正いたしました。
現在、障害の解決を確認するために監視を続けています。
Sep 13, 16:07 JST
Identified -
原因が特定できました。
現時点で分かっていることは次の通りです。
■ 対象プロジェクト
- Talk機能を利用中の全プロジェクト
■ 対象機能
- Talk機能
■ 発生している現象
- 管理画面上でチャットのメッセージが表示できない、時間がかかる
- エンドユーザーとオペレーターのメッセージの送受信ができない
- KARTE API V2 Talkでの以下APIでエラーが発生する
- Talk Message Send API (Operator)
- Talk Message Send API (User)
- KARTE Hook V2 TalkがHookリクエストが発生しない
■ 原因
- Talk機能で使用するデータベースサービス全体の負荷が増加し、パフォーマンスが劣化したため
現在、開発チームが本障害の解決に向けた対応を実施しています。
Sep 13, 16:00 JST
Update -
Talk関連のAPI V2やHook V2について影響範囲を追記いたしました。
Sep 13, 15:33 JST
Investigating -
管理画面のTalk機能で障害が発生しています。
想定される主な影響は次の通りです。
■ 対象プロジェクト
- 全プロジェクト
■ 対象機能
- Talk機能
■ 発生している現象
- 管理画面上でチャットのメッセージが表示できない、時間がかかる
- エンドユーザーとオペレーターのメッセージの送受信ができない
- KARTE API V2 Talkでの以下APIでエラーが発生する
- Talk Message Send API (Operator)
- Talk Message Send API (User)
- KARTE Hook V2 TalkがHookリクエストが発生しない
現在、開発チームが原因を調査中です。
Sep 13, 15:20 JST
