【解決済み】8/29以降のイベントデータを利用する機能で障害が発生しています

Incident Report for KARTE

Resolved

障害が解消したのでご報告します。

■ 発生期間
2021/08/28 09:30頃〜
2021/08/31 16:05頃

※本障害が原因でクエリがエラーになる可能性のあった期間です

■ 対象プロジェクト
- 全プロジェクト

■ 対象機能
- 2021年08月29日分以降のイベントデータを参照している一部の機能

機能の例は次の通りです。

- ユーザーリストの検索機能
- Datahubのクエリ機能およびそれに依存する機能
- 行動チェーン(β)

なお、イベントデータを参照している他の機能に影響が出ていた可能性もあります。

■ 発生している現象
- 2021年08月29日分以降のイベントデータに対する抽出が一部失敗する

現象の例は次の通りです。

- ユーザーリスト画面で、検索条件を指定したユーザーの絞り込みに失敗することがある
- 2021年08月29日分以降のイベントデータを参照しているDatahubクエリがエラーになることがある
- 2021年08月29日分以降のイベントデータを参照しているDatahubクエリを使ったジョブがエラーになることがある
- 2021年08月29日分以降のイベントデータを参照しているDatahubクエリを使ったターゲット配信がエラーになり配信されないことがある

■ 原因
- イベントデータの保存や抽出に利用しているデータベース（BigQuery）で、2021年08月29日分以降のデータを抽出する一部のクエリが内部エラーで失敗するケースがあったため

■ 実施した対応
- データベース製品提供元に問い合わせを行い、障害対応を依頼しました
- 対応の実施報告を受け、障害の解消を確認するための調査を実施し、問題ないことが確認されました

この度はご迷惑をおかけし、大変申し訳ございませんでした。

Posted Aug 31, 2021 - 17:17 JST

Update

障害の解消が遅れており、申し訳ありません。

現在、データベース製品提供元に問い合わせを行い、調査や改善を依頼しています。
また、KARTE開発チームでも状況把握のための調査を続けています。

現在把握している状況は、次の通りです。

■ 対象プロジェクト
- 全プロジェクト

■ 対象機能
- 2021年08月29日分以降のイベントデータを参照している一部の機能

現在影響が確認されている個別の機能は、次の通りです。

- ユーザーリストの検索機能
- Datahubのクエリ機能およびそれに依存する機能
- 行動チェーン(β)

なお、イベントデータを参照している他の機能に影響が出る可能性もあります。

■ 発生している現象
- 2021年08月29日分以降のイベントデータに対する抽出が一部失敗する

現時点では、この影響で下記のような現象が確認されています。

- ユーザーリスト画面で、検索条件を指定したユーザーの絞り込みに失敗することがある
- 2021年08月29日分以降のイベントデータを参照しているDatahubクエリがエラーになることがある
- 2021年08月29日分以降のイベントデータを参照しているDatahubクエリを使ったジョブがエラーになることがある
- 2021年08月29日分以降のイベントデータを参照しているDatahubクエリを使ったターゲット配信がエラーになり配信されないことがある

■ 原因
- イベントデータの保存や抽出に利用しているデータベース（BigQuery）で、2021年08月29日分以降のデータを抽出する一部のクエリが内部エラーで失敗するケースがあるため

Posted Aug 31, 2021 - 09:30 JST

Update

本障害に関して、追加の情報をお伝えします。

障害の対象について
「2021年08月30日分のイベントデータを参照している機能」
と記載していましたが、2021年08月29日分のイベントデータ参照でもエラーになっていた事象が見つかりました。

影響範囲について、次のように修正させていただきます。

■ 対象プロジェクト
- 全プロジェクト

■ 対象機能
- 2021年08月29日分以降のイベントデータを参照している機能

現在影響が確認されている個別の機能は、次の通りです。

- ユーザーリストの検索機能
- Datahubのクエリ機能およびそれに依存する機能

なお、イベントデータを参照している他の機能に影響が出る可能性もあります。

■ 発生している現象
- 2021年08月29日分以降のイベントデータに対する抽出が失敗する

現時点では、この影響で下記のような現象が確認されています。

- ユーザーリスト画面で、検索条件を指定したユーザーの絞り込みに失敗することがある
- 2021年08月29日分以降のイベントデータを参照しているDatahubクエリがエラーになることがある
- 2021年08月29日分以降のイベントデータを参照しているDatahubクエリを使ったジョブがエラーになることがある
- 2021年08月29日分以降のイベントデータを参照しているDatahubクエリを使ったターゲット配信がエラーになり配信されないことがある

■ 原因
- イベントデータの保存や抽出に利用しているデータベース（BigQuery）で、2021年08月29日分以降のデータを抽出するクエリが内部エラーで失敗するケースがあるため

引き続き、開発チームが本障害の解決に向けた対応を実施しています。

Posted Aug 30, 2021 - 16:36 JST

Identified

原因が特定できました。
現時点で分かっていることは次の通りです。

■ 対象プロジェクト
- 全プロジェクト

■ 対象機能
- 2021年08月30日分のイベントデータを参照している機能

現在影響が確認されている個別の機能は、次の通りです。

- ユーザーリストの検索機能
- Datahubのクエリ機能およびそれに依存する機能

なお、イベントデータを参照している他の機能に影響が出る可能性もあります。

■ 発生している現象
- 2021年08月30日分のイベントデータに対する抽出が失敗する

現時点では、この影響で下記のような現象が確認されています。

- ユーザーリスト画面で、検索条件を指定したユーザーの絞り込みに失敗することがある
- 2021年08月30日分のイベントデータを参照しているDatahubクエリがエラーになる
- 2021年08月30日分のイベントデータを参照しているDatahubクエリを使ったジョブがエラーになる
- 2021年08月30日分のイベントデータを参照しているDatahubクエリを使ったターゲット配信がエラーになり配信されない

■ 原因
- イベントデータの保存や抽出に利用しているデータベース（BigQuery）で、2021年08月30日分のデータを抽出するクエリが内部エラーで失敗するため

現在、開発チームが本障害の解決に向けた対応を実施しています。

Posted Aug 30, 2021 - 11:19 JST

Investigating

ユーザーリストの検索機能で障害が発生しています。
想定される主な影響は次の通りです。

■ 対象プロジェクト
- 調査中

■ 対象機能
- ユーザーリストの検索機能

■ 発生している現象
- ユーザーリスト画面で、検索条件を指定したユーザーの絞り込み実行をした場合に、結果が返ってこない
- しばらく待つと、「読み込みに失敗しました」というエラーが表示される

現在、開発チームが原因を調査中です。

Posted Aug 30, 2021 - 10:08 JST

This incident affected: 管理画面 and 接客の配信.