イベントトラッキングで障害が発生してます
Incident Report for KARTE
Postmortem

2020年3月22日22時32分頃 〜 3月23日00時57分頃にかけて発生した、イベントトラッキングの障害について、下記の通りご報告致します。


■発生日時

2020年3月22日22時32分頃 〜 3月23日00時57分頃

■発生した現象

一部イベントトラッキングの失敗(1日あたりに換算すると、約4.5%に該当します)
一部のアクション配信の失敗(1日あたりに換算すると、約10.0%に該当します)

なお、上記以外については問題なく動作していたことが確認できております。

■原因

KARTEのイベントトラッキング処理を行うサーバはGCPで稼働させています。今回GCP側で障害が発生したため、その影響を受け今回の障害が発生しました。詳細な原因に関しては、GCP側と調査を進めております。

■対応
復旧まで至りましたが、GCP側の調査で根本の原因が分かり次第対策を行います。


この度はご迷惑をおかけしてしまい、誠に申し訳ございませんでした。

Posted Mar 23, 2020 - 11:54 JST

Resolved
問題が再発しなくなったためResolvedとします。
本問題に対する影響等は後日報告いたします。
この度はご迷惑をおかけしました。
Posted Mar 23, 2020 - 01:30 JST
Monitoring
現在、問題の軽減処理が完了し、パフォーマンスは回復しています。
引き続き問題が再発しないかモニタリングしています。
Posted Mar 23, 2020 - 01:03 JST
Update
調査の結果、KARTEのリアルタイム処理で利用しているGCPのデータベースサービスで障害が発生していることが判明しました。
現在Googleとともに原因追求と問題影響の軽減に取り組んでいます。
ご迷惑をおかけして申し訳ありません。
Posted Mar 23, 2020 - 00:46 JST
Update
We are continuing to investigate this issue.
Posted Mar 22, 2020 - 23:22 JST
Investigating
イベントトラッキングで障害が発生してます。
現在、開発チームが調査を行っています。
Posted Mar 22, 2020 - 23:03 JST
This incident affected: イベントトラッキング and 接客の配信.