【解決済み】KARTE Blocks機能で障害が発生しています
Incident Report for KARTE
Postmortem

■ 障害発生期間

2023年6月17日 01時07分  - 2023年6月19日 23時17分

■ 対象のプロジェクト

KARTE Blocksの書き換えのうち、Blocksのセグメントを使い、かつ数字以外の条件でそのセグメントを設定していたもの。
上記条件に当てはまる書き換えを障害発生期間中に新しく設定していたプロジェクト。

※上記の障害発生期間に設定を変更していない場合は影響を受けません

■ 発生した現象

  • 当該期間においてセグメント判定が正しく行われず、本来セグメントに含まれるユーザーが、セグメントに含まれないと判定され、書き換えが行われなかった

■ 発生原因

  • KARTE Blocksで内部的に利用しているライブラリを更新した際に、TypeScriptの型情報の変更も行われたが、意図しない型変更も入れてしまっていた
  • 上記不具合が入っていたことをテストで補足できていたが、別の不具合対応のため一部テストをスキップしたため気づかずに緊急リリースを進めてしまった

■ 実施した対応

  • 該当の修正を変更前まで切り戻しした
  • 影響が発生していた書き換えスクリプトの一斉更新処理を実行した
  • テストを確認して再度不具合修正を行いリリースした

■ 今後の対応

  • 重要な書き換え機能については緊急時にも正しく不具合が補足される様、リリース前だけではなくリリース後の事後確認テストでも補足できるよう、複数のテストステップでチェックを行う
  • ユーザーに影響が出る書き換えに影響がある修正については、緊急時でもテストをスキップできないようにする
  • 開発チーム内で修正変更箇所ごとに、不具合が出た場合のユーザーへの影響について、再度認識共有を行い、チーム内で影響範囲への共通認識を作る
Posted Jun 27, 2023 - 18:14 JST
Resolved
原因箇所の修正（6/19 18:30ごろ）、および影響があった対象プロジェクトに修正を反映させるための対応をそれぞれ完了しました。

■ 対象プロジェクト
- KARTE Blocksを利用中のプロジェクト
- 2023/6/17（土） 1:10頃 〜 2023/6/19（月） 18:30頃の間に、KARTE Blocksの設定を更新したプロジェクト
- プロジェクトの「配信履歴」の画面で、上記時間にてログが記載されていれば対象です

■ 発生している現象
- 特定の条件を用いた「Blocksのセグメント」を指定した配信条件について、ブロック配信が実行されない

◾️ 発生日時
- 2023/6/17（土） 1:10頃　〜 2023/6/19（月） 23:20頃
- 正し、2023/6/19 （月） 18:30以降に、KARTE Blocksの設定を更新した場合、その時点から解消されています。

■ 原因
- 判定された「Blocksのセグメント」の一部を配信条件側で正しく参照できていなかったため
※ セグメントの判定およびデータの保存には問題は見当たりませんでした

■ 実施した対応
- 不具合が発生していた箇所のプログラムを修正し、元の状態に戻しました

再発防止に向けて具体的な改善策を検討・推進してまいります。
この度は多大なご迷惑をおかけし誠に申し訳ございませんでした。
Posted Jun 20, 2023 - 08:01 JST
Update
発生原因について判明いたしました。
原因箇所の修正は対応完了しておりますが、修正を各対象プロジェクトに反映させるための対応を進めています。

■ 対象プロジェクト
- KARTE Blocksを利用中のプロジェクト
- 2023/6/17（土） 1:10頃 〜 2023/6/19（月） 18:30頃の間に、KARTE Blocksの設定を更新したプロジェクト
- プロジェクトの「配信履歴」の画面で、上記時間にてログが記載されていれば対象です

■ 発生している現象
- 特定の条件を用いた「Blocksのセグメント」を指定した配信条件について、ブロック配信が実行されない

■ 原因
- 判定された「Blocksのセグメント」の一部を配信条件側で正しく参照できていなかったため
※ セグメントの判定およびデータの保存には問題は見当たりませんでした

■ 実施した対応
- 不具合が発生していた箇所のプログラムを修正し、元の状態に戻しました

現在、障害の解決を確認するために調査を続けています。
アップデートあり次第ご報告いたします。
Posted Jun 19, 2023 - 20:58 JST
Update
発生原因について判明いたしました。
原因箇所の修正は対応完了しておりますが、修正を各対象プロジェクトに反映させるための対応を進めています。

■ 対象プロジェクト
- KARTE Blocksを利用中のプロジェクト
- 2023/6/17（土） 1:10頃 〜 2023/6/19（月） 18:30頃の間に、KARTE Blocksの設定を更新したプロジェクト
- プロジェクトの「配信履歴」の画面で、上記時間にてログが記載されていれば対象です

■ 発生している現象
- 特定の条件を用いた「Blocksのセグメント」を指定した配信条件について、ブロック配信が実行されない

■ 原因
- 判定された「Blocksのセグメント」の一部を配信条件側で正しく参照できていなかったため
※ セグメントの判定およびデータの保存には問題は見当たりませんでした

■ 実施した対応
- 不具合が発生していた箇所のプログラムを修正し、元の状態に戻しました

現在、障害の解決を確認するために監視を続けています。
約1時間以内に続報を掲載します。
Posted Jun 19, 2023 - 19:24 JST
Identified
発生原因と思しき事象について判明いたしました。
現時点で分かっていることは次の通りです。

■ 対象プロジェクト
- KARTE Blocksを利用中のプロジェクト
- 2023/6/16（金）以降に、KARTE Blocksの設定変更を行なったプロジェクト

■ 発生している現象
- 「Blocksのセグメント」を指定した配信条件を利用したブロック配信が一部実行されない

■ 原因
- 「Blocksのセグメント」で条件設定方法により、一部のケースで正しくセグメント判定ができていない

現在、開発チームが本障害の解決に向けた対応を実施しています。
約1時間以内に続報を掲載します。
Posted Jun 19, 2023 - 17:43 JST
Investigating
KARTE Blocksのサイト書き換え機能で障害が発生しています。
想定される主な影響は次の通りです。

■ 対象プロジェクト
- KARTE Blocksを利用中のプロジェクト

■ 発生している現象
- Blocksで設定した書き換え情報が反映されない

現在、開発チームが原因を調査中です。
約1時間以内に続報を掲載します。
Posted Jun 19, 2023 - 16:30 JST
This incident affected: KARTE Blocks.
← Current Status Powered by Atlassian Statuspage