【解決済み】管理画面で障害が発生しています

Incident Report for KARTE

Resolved

障害が解消したのでご報告します。

■ 発生期間
2021/12/22 10:00頃〜11:40頃

本障害の解決に向けた対応を実施しました。

■ 対象プロジェクト
- KARTE InsightやKARTE Actionを利用中の全プロジェクト

■ 対象機能
- 管理画面全般

■ 発生した現象
- 管理画面全般の表示が遅い
- ユーザーリスト画面のユーザーが表示されない
- ユーザーストーリー画面の一部情報が表示されない
- 接客数などの指標が表示されないことがある

■ 原因
- BigQueryの同時実行数上限に抵触したことで、管理画面表示で利用しているクエリの実行エラーが頻発した
- エラーハンドリングの処理にバグがあり、管理画面表示に利用しているサーバー全体の負荷が一時的に上がった

■ 実施した対応
- BigQueryの同時実行数を監視し、上限に抵触しない範囲まで減少するのを確認しました
- エラーハンドリングのバグを修正しました

この度はご迷惑をおかけし、大変申し訳ございませんでした。

Posted Dec 22, 2021 - 13:03 JST

Update

現時点で分かっていることは次の通りです。

■ 対象プロジェクト
- KARTE InsightやKARTE Actionを利用中の全プロジェクト

■ 対象機能
- 管理画面全般

■ 発生した現象
- 管理画面全般の表示が遅い
- ユーザーリスト画面のユーザーが表示されない
- ユーザーストーリー画面の一部情報が表示されない
- 接客数などの指標が表示されないことがある

■ 原因
- サーバーの負荷が高まり、管理画面表示に必要なリクエストの失敗確率が上がった

なお、負荷は改善傾向にあります。

現在、開発チームが根本原因の特定や本障害の解決に向けた対応を実施しています。
約1時間以内に続報を掲載します。

Posted Dec 22, 2021 - 11:56 JST

Investigating

ユーザーリスト、ユーザーストーリー機能など管理画面で障害が発生しています。
想定される主な影響は次の通りです。

■ 対象プロジェクト
- 調査中

■ 対象機能
- KARTE管理画面

■ 発生している現象
- ユーザーリスト画面のユーザーが表示されない
- ユーザーストーリー画面の一部情報が表示されない
- その他、一部の画面表示に不具合がある

現在、開発チームが原因を調査中です。
約1時間以内に続報を掲載します。

Posted Dec 22, 2021 - 10:57 JST

This incident affected: 管理画面.