イベントトラッキングや接客の配信等で障害が発生していました
Incident Report for KARTE
Postmortem

この度発生したイベントトラッキング及び接客配信に関する障害について、下記の通りご報告致します。


発生期間

2024/12/31 22時50分頃 〜 2025/1/1 1時40分頃

対象のプロジェクト

KARTE InsightとKARTE Actionを利用中の全プロジェクト

発生した現象

  • イベントのトラッキング完了までに過度に時間がかかるケースが一時的に増加し、一部イベントが欠損した(1日あたりに換算すると 約1.5%に該当)

  • その結果、一部のイベントを配信トリガーとする接客サービスの配信・実行が失敗した(1日あたりに換算すると 約1.8%に該当)

発生原因

  • KARTEの設定を保持しているデータベースに対して負荷が集中した結果、処理に時間がかかるようになったため

実施した対応

  • データベースへのキャッシュを含め、データベースのリソースを増強した

今後の対応

  • データベース同時接続のリミットを超えないように素早くリソースの増強処理ができるよう、停止原因の調査と対策を行う

  • 仮に同時接続数のリミットを超えた場合でも一定時間は稼働できる割合を増やす仕組みの検討を行う


この度はご迷惑をおかけしてしまい、誠に申し訳ございませんでした。

Posted Jan 10, 2025 - 13:39 JST

Resolved
障害が解消したのでご報告します。

■ 発生期間
-2024/12/31 22時50分頃 〜 2025/1/1 1時40分頃

■ 対象プロジェクト
- KARTE InsightとKARTE Actionを利用中の全プロジェクト

■ 発生していた現象
- イベントのトラッキング完了までに過度に時間がかかるケースが一時的に増加し、一部イベントが欠損した(1日あたりに換算すると 約1.5%に該当)
- その結果、一部のイベントを配信トリガーとする接客サービスの配信・実行が失敗した(1日あたりに換算すると 約1.8%に該当)

■ 原因
- KARTE の設定を保持しているデータベースに対して負荷が集中した結果、処理に時間がかかるようになったため

■ 実施した対応
- データベースへのキャッシュを含め、データベースのリソースを増強した

■ 今後の対応
- データベース同時接続のリミットを超えないように素早くリソースの増強処理ができるよう、停止原因の調査と対策を行う
- 仮に同時接続数のリミットを超えた場合でも一定時間は稼働できる割合を増やす仕組みの検討を行う

この度はご迷惑をおかけし、大変申し訳ございませんでした。
Posted Jan 01, 2025 - 02:45 JST
Monitoring
一部のイベントでトラッキング完了までに過度に時間がかかる障害が発生していました。
本障害解消のための対応を行いました。
想定される主な影響は次の通りです。

■ 対象プロジェクト
- KARTE InsightとKARTE Actionを利用中の全プロジェクト

■ 対象機能
- 接客サービス配信機能

■ 発生していた現象
- イベントのトラッキング完了までに過度に時間がかかるケースが一時的に増加していた
- その結果、一部のイベントを配信トリガーとする接客サービスの配信・実行が失敗した

■ 発生期間
2024年12月31日 22時50分頃 ~

現在、障害の解決を確認するために監視を続けています。
Posted Jan 01, 2025 - 01:08 JST
Identified
一部のイベントでトラッキング完了までに過度に時間がかかる障害が発生しています。
想定される主な影響は次の通りです。

■ 対象プロジェクト
- KARTE InsightとKARTE Actionを利用中の全プロジェクト

■ 対象機能
- 接客サービス配信機能

■ 発生していた現象
- イベントのトラッキング完了までに過度に時間がかかるケースが一時的に増加していた
- その結果、一部のイベントを配信トリガーとする接客サービスの配信・実行が失敗した

■ 発生期間
2024年12月31日 22時50分頃 ~

現在、開発チームが原因を調査中です。
約1時間以内に続報を掲載します。
Posted Jan 01, 2025 - 00:22 JST
Monitoring
一部のイベントでトラッキング完了までに過度に時間がかかる障害が発生していました。
本障害解消のための対応を行いました。
想定される主な影響は次の通りです。

■ 対象プロジェクト
- KARTE InsightとKARTE Actionを利用中の全プロジェクト

■ 対象機能
- 接客サービス配信機能

■ 発生していた現象
- イベントのトラッキング完了までに過度に時間がかかるケースが一時的に増加していた
- その結果、一部のイベントを配信トリガーとする接客サービスの配信・実行が失敗した

■ 発生期間
2024年12月31日 22時50分頃 ~

現在、障害の解決を確認するために監視を続けています。
Posted Jan 01, 2025 - 00:02 JST
Update
一部のイベントでトラッキング完了までに過度に時間がかかる障害が発生していました。
本障害解消のための対応を行いました。
想定される主な影響は次の通りです。

■ 対象プロジェクト
- KARTE InsightとKARTE Actionを利用中の全プロジェクト

■ 対象機能
- 接客サービス配信機能

■ 発生していた現象
- イベントのトラッキング完了までに過度に時間がかかるケースが一時的に増加していた
- その結果、一部のイベントを配信トリガーとする接客サービスの配信・実行が失敗した

■ 発生期間
2024年12月31日 22時50分頃 ~

現在、障害の解決を確認するために監視を続けています。
Posted Dec 31, 2024 - 23:59 JST
Investigating
一部のイベントでトラッキング完了までに過度に時間がかかる障害が発生しています。
想定される主な影響は次の通りです。

■ 対象プロジェクト
- KARTE InsightとKARTE Actionを利用中の全プロジェクト

■ 対象機能
- 接客サービス配信機能

■ 発生している現象
- イベントのトラッキング完了までに過度に時間がかかるケースが一時的に増加している
- その結果、一部のイベントを配信トリガーとする接客サービスの配信・実行が失敗する

現在、開発チームが原因を調査中です。
約1時間以内に続報を掲載します。
Posted Dec 31, 2024 - 23:29 JST
This incident affected: イベントトラッキング and 接客の配信.