【解決済み】イベントトラッキングや接客の配信等で障害が発生しました
Incident Report for KARTE
Postmortem

この度発生した「一部のイベントがトラッキングされず、接客サービスの配信・実行が失敗する障害」について、下記の通りご報告致します。


発生期間

2023/07/12 11:15 頃 - 2023/07/12 11:50 頃

対象プロジェクト

  • KARTE InsightやKARTE Actionを利用中の全プロジェクト

発生した現象

  • 当該期間において発生していたイベントが欠損しました(1日あたりに換算すると 約0.1%に該当)

  • また、一部のイベントを配信トリガーとする接客サービスの配信・実行が失敗しました(1日あたりに換算すると 約0.21%に該当)

発生原因

  • データベースのリージョン移行の検証に際し、サーバーから別のデータベースへの接続変更を行いました。その際の接続設定を誤ったため通信エラーが発生しました。

  • 検証する上でデータベースの読み込みを同期的に実行していたことにより、前述の通信エラーによるサーバーの負荷が増大し、システムの正常な動作の遅延が発生しました。

実施した対応

  • 直近で行なったサーバーの設定変更を以前の状態に戻しました

  • 一時的に増加した負荷を軽減するため、サーバーの数を増やしました

今後の対応

  • データベースへの負荷が増加した際のデータベースの自動スケールアップを強化します

  • 通信エラーの検知を見直し、強化することで同様の事象が発生した際の対応を改善します


この度はご迷惑をおかけし、大変申し訳ございませんでした。

Posted Jul 13, 2023 - 09:55 JST

Resolved
障害が解消したのでご報告します。

■ 発生期間
2023/07/12 11:15 頃 - 2023/07/12 11:50 頃

■ 対象プロジェクト
KARTE InsightやKARTE Actionを利用中の全プロジェクト

■ 発生した現象
- 当該期間において発生していたイベントが欠損しました(1日あたりに換算すると 約0.1%に該当)
- また、一部のイベントを配信トリガーとする接客サービスの配信・実行が失敗しました(1日あたりに換算すると 約0.21%に該当)

■ 原因
- データベースのリージョン移行の検証に際し、サーバーから別のデータベースへの接続変更を行いました。その際の接続設定を誤ったため通信エラーが発生しました。
- 検証する上でデータベースの読み込みを同期的に実行していたことにより、前述の通信エラーによるサーバーの負荷が増大し、システムの正常な動作の遅延が発生しました。

■ 実施した対応
- 直近で行なったサーバーの設定変更を以前の状態に戻しました
- 一時的に増加した負荷を軽減するため、サーバーの数を増やしました

この度はご迷惑をおかけし、大変申し訳ございませんでした。
なお、本障害の事後対応については、追って記載します。
Posted Jul 12, 2023 - 18:50 JST
Update
以下の期間において発生した「一部のイベントがトラッキングされず、接客サービスの配信・実行が失敗する障害」について、
影響範囲の特定ができましたのでご報告いたします。

■ 障害発生期間
2023/07/12 11:15 頃 - 2023/07/12 11:50 頃

■ 対象のプロジェクト
KARTE InsightやKARTE Actionを利用中の全プロジェクト

■ 発生した現象
- 当該期間において発生していたイベントが欠損しました(1日あたりに換算すると 約0.1%に該当)
- また、一部のイベントを配信トリガーとする接客サービスの配信・実行が失敗しました(1日あたりに換算すると 約0.21%に該当)

■ 原因
- 調査中になります

■ 実施した対応
- 直近で行なったサーバーの設定変更を以前の状態に戻しました
- 一時的に増加した負荷を軽減するため、サーバーの数を増やしました

発生原因については現在、開発チームにて調査中となります。

この度はご迷惑をおかけし、大変申し訳ございませんでした。
なお、本障害の原因や事後対応については、追って記載します。
Posted Jul 12, 2023 - 14:16 JST
Monitoring
以下の期間において一部のイベントがトラッキングされず、接客サービスの配信・実行が失敗する障害が発生していました。
現在は正常動作しております。

■ 障害発生期間
2023/07/12 11:15 頃 - 2023/07/12 11:50 頃

■ 対象プロジェクト
- KARTE InsightとKARTE Actionを利用中の全プロジェクト

■ 発生していた現象
- イベントのトラッキングが失敗しました
- その結果、接客サービスの配信・実行が失敗しました

■ 原因
- 調査中になります

現在、障害の解決を確認するために監視を続けています。
約1時間以内に続報を掲載します。
Posted Jul 12, 2023 - 12:50 JST
This incident affected: イベントトラッキング and 接客の配信.