【解決済み】Insight機能やジョブフロー機能で障害が発生していました

Incident Report for KARTE

Resolved

障害の影響調査を実施したので続報をお伝えします。
なお、KARTE管理画面の表示だけではなく、Datahubジョブフローの実行にも一部影響があったことがわかりました。
以下、次の2つに分けて記述します。

- 【1. Datahubジョブフローに関する障害】
- 【2. KARTE管理画面に関する障害】

■ 現状確認されている障害発生期間
【1. Datahubジョブフローに関する障害】
- 2023年4月1日 19:30頃〜22:12頃

【2. KARTE管理画面に関する障害】
- 2023年4月3日 17:23頃〜17:47頃
- 2023年4月3日 21:05頃〜21:27頃

■ 対象プロジェクト
影響が発生した可能性のあるプロジェクトは、全プロジェクトです

■ 発生した事象
- KARTEが主にログデータを保存しているデータベースサービスについて、データの取得が遅延したり失敗したりする確率が平常時より高くなった

■ 確認された主な現象
【1. Datahubジョブフローに関する障害】
- 上記データベースサービスに依存しているジョブフローの一部が、ネットワークのタイムアウトによりエラー終了した

【2. KARTE管理画面に関する障害】
上記データベースサービスに依存している一部画面で、次のような現象の発生が確認されました。

- ユーザーストーリー画面が表示されない、または通常時より表示に時間がかかった
- ユーザーダッシュボード画面が表示されない、または通常時より表示に時間がかかった

なお当該データベースサービスはKARTEの様々な機能で利用されていますが、たとえば障害発生期間に「イベントトラッキングが失敗する」、「接客サービスの配信失敗率が上がる」といった事象は、現時点では確認されていません。

■ 原因
- 当該データベースサービスの一部機能で障害が発生したため

■ 実施した対応
- 当該データベースサービスの提供企業に問い合わせを行いました
- 当該データベースサービスの障害の改善を待って、KARTEへの影響を調査しました
- 本障害の原因となったデータベースサービス側の障害について、データベースの提供企業側で対応や再発防止措置が進んでいることを確認しました

この度はご迷惑をおかけし、大変申し訳ございませんでした。

Posted Apr 04, 2023 - 16:30 JST

Monitoring

障害が解消したのでご報告します。
なお、詳細な発生期間や影響範囲については引き続き調査中です。

■ 現状確認されている障害発生期間
2023年4月3日 17:23〜17:47
2023年4月3日 21:05〜21:27

■ 対象プロジェクト
全プロジェクト

■ 発生した事象
- KARTEが主にログデータを保存しているデータベースサービスについて、データの取得が遅延したり失敗したりする確率が平常時より高くなった

■ 確認された主な現象
上記データベースサービスに依存している一部画面で、次のような現象の発生が確認されました。

- ユーザーストーリー画面が表示されない、または通常時より表示に時間がかかった
- ユーザーダッシュボード画面が表示されない、または通常時より表示に時間がかかった

なお当該データベースサービスはKARTEの様々な機能で利用されていますが、たとえば障害発生期間に「イベントトラッキングが失敗する」、「接客サービスの配信失敗率が上がる」、「Datahubジョブフローのエラー率が上がる」といった事象は、現時点では確認されていません。

■ 原因
- 当該データベースサービスの一部機能で障害が発生したため

■ 実施した対応
- 当該データベースサービスの提供企業に問い合わせを行いました
- 当該データベースサービスの障害の改善を待って、KARTEへの影響を調査しました
- 本障害の原因となったデータベースサービス側の障害について、データベースの提供企業側で対応や再発防止措置が進んでいることを確認しました

引き続き、詳細な発生期間や影響範囲について調査を進めています。

Posted Apr 04, 2023 - 12:25 JST

Update

同様の障害が再発しました。
発生期間は、下記「発生していた期間」に追記した通りです。

■ 発生していた期間
2023年4月3日 17:23〜17:47
2023年4月3日 21:05〜21:27

■ 発生した現象と対象
一部の管理画面で表示が正しく行われないなどの事象の発生が確認されています。
確認できた事象としては、次の通りです。

- ユーザーストーリー画面が表示されない、また表示に時間がかかっていた
- ユーザーダッシュボード画面が表示されない、また表示に時間がかかっていた

■ 原因
現在、原因と思われるデータベースサービスの提供企業と原因の確認を行なっています。

詳しい原因が判明し次第、続報を掲載します。

Posted Apr 03, 2023 - 21:54 JST

Update

■ 発生していた期間
2023年4月3日 17:23〜17:47

■ 発生した現象と対象
一部の管理画面で表示が正しく行われないなどの事象が発生していました。

■ 現在観測されている影響範囲
- ユーザーストーリーが表示されない、また表示に時間がかかっていた
- ユーザーダッシュボードが表示されない、また表示に時間がかかっていた

■ 原因
現在、原因と思われるデータベースサービスの提供企業と原因の確認を行なっています。

詳しい原因が判明し次第、続報を掲載します。

Posted Apr 03, 2023 - 19:02 JST

Investigating

Insight機能で障害が発生していました。
想定される主な影響があった点は次の通りです。

■ 発生した現象と対象
管理画面のユーザーストーリー、ユーザーダッシュボードの統計情報を閲覧することができないまたは取得までに時間がかかる。

■ 発生していた期間
2023年4月3日 17:23〜17:47

■ 影響範囲
- ユーザーストーリー
- ユーザーダッシュボード

■ 原因
調査中です

現在、開発チームが原因を調査中です。
約1時間以内に続報を掲載します。

Posted Apr 03, 2023 - 17:59 JST

This incident affected: 管理画面 and KARTE Datahub.