【解決済み】KARTE message βの配信機能で障害が発生しています
Incident Report for KARTE
Postmortem

この度発生したKARTE message βの配信機能に関する障害について、下記の通りご報告致します。


発生期間

2023/10/12 18:00頃 〜 2023/10/13 04:10頃

対象のプロジェクト

  • KARTE Message βをご利用中で該当時間に配信を行っているプロジェクト。

発生した現象

  • 配信が開始されず、施策が実行されませんでした。当該時刻に実行した施策については一切配信されていません。

発生原因

  • 配信基盤システムでネットワークエラーが発生し、エラーを適切に処理することができず配信処理が行えない状態になっていました。

▼前提

  • 施策の配信に際して、各施策は複数の配信ステータスへ遷移します(配信準備、配信開始、配信終了等)。

▼原因詳細

  • 施策の配信ステータスを管理するサービスで、ネットワークエラーが発生しました。

  • ネットワークエラーの結果として、「配信開始」へのステータスの変更ができない状態になっていました。

  • これにより、配信開始時間になっても配信開始が行われない状態になっていました。

実施した対応

  • 配信ステータスを管理しているサービスの再起動を行い、サービスを正常稼働させました。

今後の対応

  • エラーを適切に処理できるようにして、特定のエラーによりステータスが変更できなくなることを防ぎます。

  • 施策の配信ステータスを管理しているサービスの構成を見直すことで、システムの稼働力を高めます。


この度はご迷惑をおかけしてしまい、誠に申し訳ございませんでした。

Posted Oct 13, 2023 - 19:47 JST

Resolved
障害が解消したのでご報告します。

■ 発生期間
2023/10/12 18:00頃 〜 2023/10/13 04:10頃

■ 対象プロジェクト
KARTE message βをご利用中で該当時間に配信を行っているプロジェクト。

■ 発生した現象
- 配信が開始されず、施策が実行されませんでした。当該時刻に実行した施策については一切配信されていません。

■ 原因
- ネットワークエラーが発生し、配信処理が開始されませんでした。
▼詳細
- 施策の配信ステータスを管理しているサービスの処理が詰まったことにより、ネットワークエラーが発生していました。
- 特定の内部エラーが発生した場合に負荷が上昇し続ける不具合があり、これによりサービスの処理が詰まっていました。

■ 実施した対応
- 配信ステータスを管理しているサービスの再起動を行いネットワークエラーを解消させました。

この度はご迷惑をおかけし、大変申し訳ございませんでした。
なお、本障害の詳細や事後対応については、追って記載します。
Posted Oct 13, 2023 - 16:42 JST
Monitoring
本障害の解消を確認し、現在は再発状況の監視を行っています。

■ 対象プロジェクト
- KARTE message βをご利用中で 2023/10/12 18:00 〜 2023/10/13 04:10に配信を行っているプロジェクト。

■ 発生した現象
- 配信が開始されず、施策が実行されませんでした。当該時刻に実行した施策については一切配信されていません。

■ 原因
- ネットワークエラーが発生し、配信処理が開始されませんでした。
▼詳細
- 施策の配信ステータスを管理しているサービスの処理が詰まったことにより、ネットワークエラーが発生していました。
- サービスの処理が詰まった原因については引き続き調査中です。

■ 実施した対応
- 配信ステータスを管理しているサービスの再起動を行いネットワークエラーを解消させました。

引き続き再発状況を確認し、続報を掲載します。
Posted Oct 13, 2023 - 11:06 JST
Investigating
KARTE message βの配信機能で障害が発生しています。
想定される主な影響は次の通りです。

■ 対象プロジェクト
- KARTE message βをご利用中で 2023/10/12 18:00 〜 2023/10/13 04:10に配信を行っているプロジェクト。

■ 発生している現象
- 配信が開始されず、施策が実行されませんでした。

現在、開発チームが原因を調査中です。
約1時間以内に続報を掲載します。
Posted Oct 13, 2023 - 09:52 JST
This incident affected: KARTE Message.