【解消済】イベントトラッキング・解析・チャットで障害が発生しています
Incident Report for KARTE
Postmortem

更新履歴

  • 2021/8/6 9:55:初報
  • 2021/8/6 11:38:接客の配信、イベントトラッキング、ユーザー解析の障害に関する影響について追記しました。
  • 2021/8/6 16:10:チャット障害に関する影響について追記しました。
  • 2021/8/6 17:20 : 原因及び今後の対策について追記しました。

概要

2021/8/5 17:46から20:17にかけて、KARTEで発生した一連の障害について、現在わかっている情報についてご報告いたします。

発生した事象は以下のとおりです。各事象の詳細については後述しています。

  • 事象1:接客の配信に関する障害
  • 事象2:イベントトラッキング・ユーザー解析に関する障害
  • 事象3:管理画面に関する障害
  • 事象4:チャット機能に関する障害

これらの事象につきましては、現在すべて解消済みとなっています。

事象1

発生期間

2021/8/5 17:46 〜 18:32

対象機能

接客の配信

発生した現象

一部のアクション配信の失敗

影響

1日あたりに換算して、約1.56%に該当するアクションの配信に失敗しました。

事象2

発生期間

2021/8/5 17:46 〜 20:17

対象機能

  • イベントトラッキング
  • 解析

発生した事象

一部イベントトラッキングの失敗(トラッキングした一部イベントの内容がユーザー統計情報に反映されていない)

影響

1日あたりに換算して、約13.4%に該当するイベントの解析(トラッキングしたイベントのユーザー統計情報への反映)が行われませんでした。

事象3

発生期間

2021/8/5 18:05 〜 20:17

対象機能

管理画面

発生した現象

  • 管理画面にログインできない
  • 管理画面にアクセスできない

事象4

発生期間

2021/8/5 18:05〜20:17

対象機能

  • チャット

発生した現象

  • 管理画面でトーク画面にアクセスできない
  • オペレーターからメッセージを送信できない
  • エンドユーザーからメッセージを送信できない

影響

  • 該当期間中、エンドユーザーによるメッセージ送信が全く行えない状態でした。
  • 該当期間中、オペレーターによるメッセージ送信が全く行えない状態でした。
  • 管理画面(トーク画面)にログインできない、ログイン済みユーザーもアクセスしづらい状況が発生していました。

原因

  1. 特定のユーザーのイベントデータが短期的に急増し、イベントトラッキング用のデータベースに過負荷がおきた結果、接客の配信に障害が発生しました(事象1)
  2. イベントトラッキング用のデータベースの過負荷によりユーザー解析処理が遅延した結果、解析処理用のデータベースの過負荷が発生し、一部イベントトラッキング及び解析が失敗しました(事象2)
  3. 該当の解析処理用データベースを管理画面、及びチャット機能でも利用していたため、過負荷の影響を受け、管理画面及びチャット機能の障害が発生しました(事象3,4)

今後の対策

  • 原因1. 瞬間的な負荷の増加にも対応できるよう、引き続きイベントトラッキングのインフラストラクチャの強化を行ってまいります
  • 原因2. 解析処理のインフラストラクチャの強化や解析用のデータベースの過負荷を回避・軽減可能なアーキテクチャへの移行を行ってまいります
  • 原因3. 該当の解析処理と管理画面及びチャット機能で利用するデータベースを分離し、解析障害の影響が波及しない構成に移行を行ってまいります
Posted Aug 06, 2021 - 09:56 JST

Resolved
イベントトラッキング、接客の配信、解析、チャットで発生していた障害が解消いたしました。

現在は各機能が正常に動作することを確認できております。

本障害の詳細につきましては、本Status page上で追ってご連絡いたします。

この度はご迷惑をおかけして、大変申し訳ありませんでした。
Posted Aug 05, 2021 - 20:39 JST
Update
本件、引き続き障害が発生しています。以下、アップデートになります。

・イベントトラッキング:問題は解消しています。
・接客の配信:問題は解消しています。
・チャット:引き続きエンドユーザーがメッセージを送信が失敗しやすい状態になっています。
・解析:ユーザの解析処理が遅延しています。

こちら大変ご迷惑をおかけして申し訳ありません。
Posted Aug 05, 2021 - 19:36 JST
Update
現在原因調査・対応中です。

現在判明している影響範囲は以下になります。

・イベントのトラッキングが一部失敗する
・接客の配信が一部失敗する
・エンドユーザーによるチャットのメッセージ送信が失敗することがある

引き続き開発チームで調査・対応を進めています。
Posted Aug 05, 2021 - 18:33 JST
Update
イベントトラッキングで障害が発生してます。

現在、開発チームが調査を行っています。
Posted Aug 05, 2021 - 18:04 JST
Investigating
イベントトラッキングで障害が発生してます。

現在、開発チームが調査を行っています。
Posted Aug 05, 2021 - 18:03 JST
This incident affected: イベントトラッキング, 解析, 接客の配信, and チャット.