【調査中】Datahub ジョブフロー機能で障害が発生しています

Incident Report for KARTE

Resolved

障害が解消したのでご報告します。

■ 発生期間
- 2023/10/26 15:00 〜 16:00頃

■ 対象プロジェクト
- 上記期間内で以下ジョブの実行を予定していたプロジェクト
　・Datahubのジョブフロー
　・ターゲット配信のジョブ
　・KARTE Messageの配信ジョブ

■ 発生した現象
- ジョブ実行基盤の動作が全般的に不安定になったことにより、エラーになる割合が上がっていました。

■ 原因
- Datahubのジョブフローを定期実行する処理を管理しているサーバーにおいて、より効率的にリソースを使うために設定変更を行いました。その結果、上記日時においてジョブフローを実行する処理が起動する際にサーバー内でのリソースの確保が失敗してしまう事象が発生し、ジョブが実行できない場合がありました。
＊なお、ジョブフローの実行を管理するサーバーのリソースは、ジョブフロー以外の処理が行われているサーバーとの間で、自動で動的にリソースの配分調整が行われる構造となっております。

■ 実施した対応
- エラーが発生する事象を軽減するために、暫定的に、当該ジョブフローを実行するサーバーのみが使用できる追加のリソースを割り当てました。
- 上記の対応と合わせて、根本原因となったサーバーへの設定変更を、元の状態に切り戻しました。

- なお、再発防止策としてサーバーリソースの使用率の調査を再度行い、サーバーがより安定して稼働するために必要な、十分余裕を持ったリソースが予め確保できるように設定の調整を行います。

この度はご迷惑をおかけし、大変申し訳ございませんでした。
なお、本障害の詳細や事後対応については、追って記載します。

Posted Oct 26, 2023 - 19:33 JST

Investigating

Datahub ジョブフロー機能で障害が発生しています。
想定される主な影響は次の通りです。

■ 対象プロジェクト
- Datahub ジョブフローを利用している全プロジェクト

■ 発生している現象
- 2023/10/26 15:00 頃〜
　上記日時よりDatahub ジョブフローの動作が全般的に不安定になっており、ジョブがエラーになる割合が上がっている可能性がございます。

現在、開発チームが原因および影響範囲を調査中です。
約1時間以内に続報を掲載します。

Posted Oct 26, 2023 - 16:59 JST

This incident affected: KARTE Datahub.