【解決済み】接客/アクション/ディメンション/セグメント/フィルターイベント/ゴールの設定変更の反映が遅れる
Incident Report for KARTE
Postmortem

■ 発生期間
2021/10/28 13:50頃〜16:15頃

■ 対象のプロジェクト
発生期間中に、接客/アクション/ディメンション/セグメント/フィルターイベント/ゴールの設定を変更したプロジェクト

■ 発生した現象

  • 該当期間中に各種設定変更の反映が遅れる(解消後には全ての変更が反映されている)
  • 以下設定ごとに例を記載
  • 例:(接客)公開中にした接客が配信されない、停止したのに配信され続ける
  • 例:(アクション)変更前のアクションが配信される
  • 例:(ディメンション)変更したディメンション設定がイベントデータに反映されない
  • 例:(セグメント)変更前のセグメント条件を元にセグメント判定が行われる
  • 例:(フィルターイベント) 変更前のフィルター条件を元にイベントが発生する
  • 例:(ゴール) 変更前のゴール条件を元に集計される

■ 原因

  • システム内部での機能移行処理を追加したことにより、各種設定変更を反映する処理の遅延が発生した

■ 原因詳細

  • 新たに追加したシステム内部での機能移行処理にてエラーが発生し、同一コンピューター内のリソース(CPU)を大量に消費し、同一コンピューター内で動いていた接客やセグメントの設定反映処理効率が悪化した
  • 現状、設定反映の処理効率が悪くなると、さらに溜まりやすくなるシステム構造となっており、設定反映の遅延が拡大した

■ 実施した対応

  • 一旦機能移行処理を元に戻し、設定変更の反映処理の遅延を解消した

■ 今後の対応

  • エラー発生時にコンピューターのリソースを大量消費しないように処理を改善する
  • 設定反映の処理効率が悪化した際に、さらに溜まりやすくなる構造を改善する

また今回ステータスページの更新が障害発生時に行われなかったことに対して以下対策を行う

  • 配信にかかわる設定変更内容の監視及びステータスページ更新フローの見直し

この度はご迷惑をおかけしてしまい、誠に申し訳ございませんでした。

Posted Nov 01, 2021 - 18:19 JST

Resolved
以下時間帯にて障害が発生したため、ご報告します。

■ 発生期間
2021/10/28 13:50頃〜16:15頃

■ 対象のプロジェクト
発生期間中に、接客/アクション/ディメンション/セグメント/フィルターイベント/ゴールの設定を変更したプロジェクト

■ 発生した現象
- 該当期間中に各種設定変更の反映が遅れる(解消後には全ての変更が反映されている)
- 以下設定ごとに例を記載
- 例:(接客)公開中にした接客が配信されない、停止したのに配信され続ける
- 例:(アクション)変更前のアクションが配信される
- 例:(ディメンション)変更したディメンション設定がイベントデータに反映されない
- 例:(セグメント)変更前のセグメント条件を元にセグメント判定が行われる
- 例:(フィルターイベント) 変更前のフィルター条件を元にイベントが発生する
- 例:(ゴール) 変更前のゴール条件を元に集計される

■ 原因
- システム内部での機能移行処理を追加したことにより、各種設定変更を反映する処理の遅延が発生した

■ 実施した対応
- 一旦機能移行処理を元に戻し、設定変更の反映処理の遅延を解消した

この度はご迷惑をおかけし、大変申し訳ございませんでした。
なお、本障害の事後対応については、追って記載します。
Posted Oct 28, 2021 - 18:35 JST
This incident affected: 解析 and 接客の配信.