イベントトラッキングや接客の配信等で障害が発生しています
Incident Report for KARTE
Postmortem

以下の期間において障害が発生し、解消したことをご報告します。

■ 障害発生期間
2023年2月3日 13時28分 - 2023年2月3日 14時06分

■ 対象のプロジェクト
KARTE InsightやKARTE Actionを利用中の全プロジェクト

■ 発生した現象

  • あるいはイベントのトラッキング完了までに過度に時間がかかるケースが一時的に増加した
  • その結果、当該期間において発生していたイベントが欠損した(1日あたりに換算すると 約1.69%に該当)
  • また、一部のイベントを配信トリガーとする接客サービスの配信・実行が失敗した(1日あたりに換算すると 約3.33%に該当)

■ 発生原因

  • リアルタイム解析にて使用するデータベースのパフォーマンスが該当時間帯に急激に劣化した
  • そのパフォーマンス劣化によって一時的に処理リソースが過負荷となり、処理時間が急増した

■ 実施した対応

  • 手動でデータベースのリソースやリアルタイム解析処理リソースを増強し、過負荷状態を解消した

■ 今後の対応

  • データベースのパフォーマンス監視の強化および自動スケールタイミングを早めるよう調整する
  • データベースのパフォーマンス劣化の原因がクラウドインフラ側にあることが判明したため、引き続き根本原因の特定依頼および対応検討する

この度はご迷惑をおかけしてしまい、誠に申し訳ございませんでした。

Posted Feb 13, 2023 - 17:37 JST

Resolved
以下の期間において障害が発生し、解消したことをご報告します。

■ 障害発生期間
2023年2月3日 13時28分 - 2023年2月3日 14時06分

■ 対象のプロジェクト
KARTE InsightやKARTE Actionを利用中の全プロジェクト

■ 発生した現象
- あるいはイベントのトラッキング完了までに過度に時間がかかるケースが一時的に増加した
- その結果、当該期間において発生していたイベントが欠損した
- また、一部のイベントを配信トリガーとする接客サービスの配信・実行が失敗した


この度はご迷惑をおかけし、大変申し訳ございませんでした。
なお、本障害の詳細や事後対応については、追って記載します。
Posted Feb 03, 2023 - 16:26 JST
Update
We are continuing to monitor for any further issues.
Posted Feb 03, 2023 - 14:31 JST
Monitoring
一部のイベントでトラッキング完了までに過度に時間がかかる障害が発生していました。
現在は、正常にイベントトラッキングが行われています。

■ 対象プロジェクト
- KARTE InsightとKARTE Actionを利用中の全プロジェクト

■ 対象機能
- 接客サービス配信機能

■ 発生していた現象
- イベントのトラッキング完了までに過度に時間がかかるケースが一時的に増加している
- その結果、一部のイベントを配信トリガーとする接客サービスの配信・実行が失敗する

現在、開発チームが詳しい影響を調査・監視中です。
約1時間以内に続報を掲載します。
Posted Feb 03, 2023 - 14:30 JST
Investigating
一部のイベントでトラッキング完了までに過度に時間がかかる障害が発生しています。
想定される主な影響は次の通りです。

■ 対象プロジェクト
- KARTE InsightとKARTE Actionを利用中の全プロジェクト

■ 対象機能
- 接客サービス配信機能

■ 発生している現象
- イベントのトラッキング完了までに過度に時間がかかるケースが一時的に増加している
- その結果、一部のイベントを配信トリガーとする接客サービスの配信・実行が失敗する

現在、開発チームが原因を調査中です。
約1時間以内に続報を掲載します。
Posted Feb 03, 2023 - 14:03 JST
This incident affected: イベントトラッキング and 接客の配信.