Messageβ機能で障害が発生していました

Incident Report for KARTE

Postmortem

この度発生したKARTE Message ß のキャンペーン配信機能に関する障害について、下記の通りご報告致します。

発生期間

2024/09/17 12:45頃 ~ 2024/09/17 15:25頃

対象のプロジェクト

KARTE Messageßをご利用中のプロジェクト

発生した現象

KARTE Messageßのメール配信キャンペーンで開始が遅延していました。
KARTE Messageßの一部メール配信キャンペーンで配信の実行がされませんでした。

※ なお、「メール配信キャンペーンの配信途中でエラーが発生し一部のユーザーのみに配信がされた」という事象は確認されませんでした。

発生原因

データベースの負荷が一時的に上昇しパフォーマンスが悪化してしまったため

実施した対応

データベースのパフォーマンスを一時的に引き上げました

対象キャンペーンの確認方法と再送の方法

確認方法
- キャンペーン管理画面にて、発生期間内に配信が実行されたキャンペーンのうち、キャンペーンのステータスが「停止済み」になっているキャンペーンをご覧いただくと、当障害の影響で停止されたキャンペーンを確認可能です。
再送方法
- 実行回数が「1回」の施策の場合：該当キャンペーンを複製し、再度配信を実施
- 実行回数が「繰り返し」の施策の場合：キャンペーン編集画面にて、再送したいキャンペーンを下書き状態に戻し、再度配信予約を実施

今後の対応

処理を分散しデータベースの負荷が上昇しにくいアーキテクチャに変更します。

この度はご迷惑をおかけしてしまい、誠に申し訳ございませんでした。

Posted Sep 26, 2024 - 11:08 JST

Resolved

障害が解消したのでご報告します。

■ 発生期間
2024/09/17 12:45頃 ~ 2024/09/17 15:25頃

■ 対象プロジェクト
- KARTE Messageßをご利用中のプロジェクト

■ 発生した現象
- KARTE Messageßのメール配信キャンペーンで開始が遅延していました。
- KARTE Messageßの一部メール配信キャンペーンで配信の実行がされませんでした。
※ なお、「メール配信キャンペーンの配信途中でエラーが発生し一部のユーザーのみに配信がされた」という事象は確認されませんでした。

■ 原因
- データベースの負荷が一時的に上昇しパフォーマンスが悪化してしまったため

■ 実施した対応
- データベースのパフォーマンスを一時的に引き上げました

■ 対象キャンペーンの確認方法と再送の方法
- 確認方法
- キャンペーン管理画面にて、発生期間内に配信が実行されたキャンペーンのうち、キャンペーンのステータスが「停止済み」になっているキャンペーンをご覧いただくと、当障害の影響で停止されたキャンペーンを確認可能です。

- 再送方法
- 実行回数が「1回」の施策の場合：該当キャンペーンを複製し、再度配信を実施
- 実行回数が「繰り返し」の施策の場合：キャンペーン編集画面にて、再送したいキャンペーンを下書き状態に戻し、再度配信予約を実施

この度はご迷惑をおかけし、大変申し訳ございませんでした。
なお、本障害の事後対応については、追って記載します。

Posted Sep 19, 2024 - 14:10 JST

Monitoring

※2024/09/18 08:35頃「対象キャンペーンの確認方法と再送の方法」について、「実行回数が1回の施策」の場合の追記を行っています

本障害の解決に向けた対応を実施しました。
配信が実行されなかったキャンペーンの再実行が可能になったため、必要に応じてご対応お願いいたします。

■ 対象プロジェクト
- KARTE Messageßをご利用中のプロジェクト

■ 発生した現象
- KARTE Messageßのメール配信キャンペーンで開始が遅延しています。
- KARTE Messageßの一部メール配信キャンペーンで配信の実行がされませんでした。
※なお、メール配信キャンペーンの配信途中でエラーが発生し、一部のユーザーのみに配信がされたという事象は確認されませんでした。

■ 発生期間
2024年9月17日 11時00分頃 ~

■ 対象キャンペーンの確認方法と再送の方法
- 確認方法
キャンペーン管理画面にて、キャンペーンのステータスが「停止済み」になっているキャンペーン

- 再送方法
- 実行回数が「1回」の施策の場合：該当キャンペーンを複製し、再度配信を実施
- 実行回数が「繰り返し」の施策の場合：キャンペーン編集画面にて、再送したいキャンペーンを下書き状態に戻し、再度配信予約を実施

現在、障害の解決を確認するために監視を続けています。
進捗があり次第ご報告いたします。

Posted Sep 17, 2024 - 17:34 JST

Update

KARTE Message ß のキャンペーン配信機能で障害が発生しています。
現象について詳細が判明したため更新いたします。

■ 対象プロジェクト
- KARTE Messageßをご利用中のプロジェクト

■ 発生している現象
- KARTE Messageßのメール配信キャンペーンで開始が遅延しています。
- KARTE Messageßの一部メール配信キャンペーンで配信の実行がされませんでした。
※なお、メール配信キャンペーンの配信途中でエラーが発生し、一部のユーザーのみに配信がされたという事象は確認されませんでした。

現在も、開発チームが原因の詳細を調査中です。進捗があり次第次第追って記載します。

Posted Sep 17, 2024 - 15:29 JST

Investigating

Messageβ機能で障害が発生しています。
想定される主な影響は次の通りです。

■ 対象プロジェクト
- KARTE Messageßをご利用中のプロジェクト

■ 発生している現象
- KARTE Messageßのキャンペーン配信開始が遅延しています。
- KARTE Messageßの一部キャンペーンが配信に失敗しております。

現在、開発チームが原因を調査中です。
約1時間以内に続報を掲載します。

Posted Sep 17, 2024 - 14:17 JST

This incident affected: KARTE Message.