Postmortem -
Read details
Sep 22, 14:23 JST
Resolved -
障害が解消したのでご報告します。
■ 発生期間
2023/09/19 17:30頃 〜 2023/09/22 03:00頃
■ 対象プロジェクト
KARTE Live機能を利用中の全プロジェクト
■ 発生した現象
- KARTE Liveの過去動画データの大部分で生成処理の遅延が発生していました。
- Liveを再生することができる全ての画面において、Liveの再生ボタンが表示されない、もしくは表示されていてもクリックした際に「データの生成に失敗しました」と表示されていました。
- コールトラッキング検索(β)/リアルタイム再生には影響ありませんでした。
- 生成の遅延は発生していますが、欠損までには至らず復旧後データは遡って順次生成されています。
■ 原因
- 特定プロジェクトの特定ユーザーによるLiveデータ生成リクエスト数が急増していました。
■ 実施した対応
- 該当エンドユーザーのLiveデータの生成を止めました。これにより、影響を受けていたプロジェクトでストップしていたLiveデータの生成が開始されていることを確認しています。
この度はご迷惑をおかけし、大変申し訳ございませんでした。
なお、本障害の詳細や事後対応については、追って記載します。
Sep 22, 14:16 JST
Monitoring -
本障害の解決に向けた対応を実施しました。
■ 対象プロジェクト
- KARTE Live機能を利用中の全プロジェクト
■ 発生した現象
- KARTE Liveの過去動画データの大部分で生成処理の遅延が発生しています。
- Liveを再生することができる全ての画面において、Liveの再生ボタンが表示されない、もしくは表示されていてもクリックした際に「データの生成に失敗しました」と表示されます。
- コールトラッキング検索(β)/リアルタイム再生には影響ありません。
- 生成の遅延は発生していますが、欠損までには至らず復旧後データは遡って順次生成される見込みとなります。
■ 原因
- 特定プロジェクトの特定ユーザーによるLiveデータ生成リクエスト数が急増していました。
■ 実施した対応
- 該当エンドユーザーのLiveデータの生成を止めました。これにより、ストップしていたLiveデータの生成が開始されていることを確認しています。また、通常では考えられないイベント発生件数であるため、該当のクライアント様には個別でご連絡させていただいております。
現在、障害の解決を確認するために監視を続けています。
解決が確認でき次第、続報を掲載します。
Sep 22, 09:43 JST
Update -
KARTE Live機能で障害が発生しています。
想定される主な影響は次の通りです。
■ 発生期間
- 2023/9/19 17:30頃〜
■ 対象プロジェクト
- KARTE Liveを利用しているプロジェクト
■ 発生している現象
- KARTE Liveの過去動画データの大部分で生成処理の遅延が発生しています。
- Liveを再生することができる全ての画面において、Liveの再生ボタンが表示されない、もしくは表示されていてもクリックした際に「データの生成に失敗しました」と表示されます。
- コールトラッキング検索(β)/リアルタイム再生には影響ありません。
- 生成の遅延は発生していますが、欠損までには至らず復旧後データは遡って順次生成される見込みとなります。
引き続き障害解消に向け調査を実施しています。
原因が特定でき次第、続報を掲載します。
Sep 21, 16:06 JST
Update -
We are continuing to investigate this issue.
Sep 20, 17:57 JST
Update -
We are continuing to investigate this issue.
Sep 20, 17:56 JST
Investigating -
KARTE Live機能で障害が発生しています。
想定される主な影響は次の通りです。
■ 発生期間
- 2023/9/19 17:30頃〜
■ 対象プロジェクト
- KARTE Liveを利用しているプロジェクト
■ 発生している現象
- KARTE Liveの過去動画データの大部分で生成処理の遅延が発生しています。
- Liveを再生することができる全ての画面において、Liveの再生ボタンが表示されない、もしくは表示されていてもクリックした際に「データの生成に失敗しました」と表示されます。
- コールトラッキング検索(β)/リアルタイム再生には影響ありません。
- 生成の遅延は発生していますが、欠損までには至らず復旧後データは遡って順次生成される見込みとなります。
現在、開発チームが原因を調査中です。
Sep 20, 17:54 JST