【解消済】イベントトラッキングや接客の配信等で障害が発生しています
Incident Report for KARTE
Postmortem

この度発生したイベントトラッキング・接客配信の障害について、下記の通りご報告致します。


■ 発生期間
2021年10月12日21時21分頃 〜 23時30分頃

■ 対象のプロジェクト
全プロジェクト

■ 発生した現象

  • 該当時間内のトラッキング解析処理が遅延
    ※ エンドユーザーからKARTEに送られるイベントトラッキング自体の欠損はございません。KARTEに受け取ったイベントトラッキングの解析遅れのみとなります。
  • 接客サービスの配信・実行の一部失敗(断続的に90%以上が失敗。1日に換算すると、5.08%に該当します)

■ 原因
システム内部的なデータベース移行の準備作業に伴い、特定のデータベースへの負荷が高まりやすい状態になりました。その後、イベント数の増加に伴い、イベントトラッキングサーバ数の増大によって、上記特定のデータベースの負荷が実際に増加。イベントトラッキング処理にかかる時間が長くなってしまい、タイムアウト率が急上昇しました。

■ 実施した対応
システムの内部的なデータベース移行に際して、イベントトラッキングサーバから特定のデータベースにアクセスしないように処理を修正しました。

■ 今後の対応
特定データベースに関連するアーキテクチャの見直しを検討致します。また、サーバーの監視体制の強化および業務フローの見直しを行います。


この度はご迷惑をおかけしてしまい、誠に申し訳ございませんでした。

Posted Oct 18, 2021 - 13:04 JST

Resolved
本件に関しまして事象が解消しましたのでご連絡致します。

詳細な影響範囲、該当時間については、別途本ステータスページにてご報告致します。
この度はご迷惑をおかけいたしました。
Posted Oct 14, 2021 - 01:06 JST
Investigating
一部のイベントでトラッキングが失敗する障害が発生しています。
想定される主な影響は次の通りです。

■ 対象プロジェクト
- 全プロジェクト

■ 対象機能
- イベントトラッキング機能

■ 発生している現象
- ユーザーに対して発生したイベントの一部が欠損する
- 欠損した一部のイベントを配信トリガーとする接客サービスの配信・実行が失敗する

現在、開発チームが原因を調査中です。
Posted Oct 13, 2021 - 23:06 JST
This incident affected: イベントトラッキング and 接客の配信.