【解決済み】紐付けテーブルの更新ジョブフローで障害が発生しています
Incident Report for KARTE
Postmortem

この度発生した、紐付けテーブルの更新ジョブフローに関する障害について、下記の通りご報告致します。


発生期間

  • 2023年11月09日16時03分頃 〜 20時14分頃

対象のプロジェクト

  • 上記期間で紐付けテーブルをご利用中の全プロジェクト

発生した現象

  • 紐付けテーブルを更新するジョブの起動が失敗し、更新が行われませんでした。

発生原因

  • ジョブフロー内部で使用しているジョブ管理ツールにおいて、処理に必要なリソース数が増加し、システムの上限を超過したため。

実施した対応

  • 不要なリソースを削除し、上限を超過しないようにしました。
  • 上記の対応で、対象機能が安定して稼働していることを確認しました。

今後の対応

  • 今回の障害への再発防止として以下の対応を行います。

    • ジョブフロー内部の処理に必要なリソース数を監視する仕組みの構築
    • 上記に対し、不要なリソースを削除する仕組みの構築

この度はご迷惑をおかけしてしまい、誠に申し訳ございませんでした。

Posted Nov 17, 2023 - 14:43 JST

Resolved
障害が解消したのでご報告します。

■ 障害発生期間
- 2023/11/09 16:03 頃 〜 20:14 頃

■ 影響範囲
- 上記期間で紐付けテーブルをご利用中のプロジェクト

■ 発生した現象
- 紐付けテーブルを更新するジョブの起動が失敗し、更新が行われませんでした。

■ 原因
- ジョブフロー内部で使用しているジョブ管理ツールにおいて、処理に必要なリソース数が増加し、システムの上限を超過したため。

■ 実施した対応
- 不要なリソースを削除し、上限を超過しないようにしました。
- 上記の対応で、対象機能が安定して稼働していることを確認しました。

この度はご迷惑をおかけし、大変申し訳ございませんでした。
なお、本障害の詳細や事後対応については、追って記載します。
Posted Nov 09, 2023 - 21:19 JST
Monitoring
本障害の解決に向けた暫定対応を実施し、紐付けテーブルの更新が再開されたことを確認しました。

■ 障害発生期間
- 2023/11/09 16:00 頃 から

■ 影響範囲
- 上記期間で紐付けテーブルをご利用中のプロジェクト

■ 発生した現象
- 紐付けテーブルを更新するジョブの起動が失敗し、更新が行われなかった。

■ 原因
- ジョブフロー内部で使用しているジョブ管理ツールにおいて、処理に必要なリソース数が増加し、システムの上限を超過したため。

■ 実施した対応
- 不要なリソースを削除し、上限を超過しないようにしました。

この度はご迷惑をおかけし、大変申し訳ございません。
現在、障害の解決を確認するために監視を続けています。
約1時間以内に続報を掲載します。
Posted Nov 09, 2023 - 20:45 JST
This incident affected: KARTE Datahub.