ジョブフロー機能に問題が発生しています
Incident Report for KARTE
Postmortem

2019年2月28日 〜 2019年3月10日 22:00頃にかけて発生していた、Datahubジョブフロー及びターゲット配信で意図しない実施条件となっていた件に関して、下記の通りご報告申し上げます。

発生日時

  • 2019年2月28日 〜 2019年3月10日

発生した現象

  • Datahubジョブフロー及びターゲット配信では、ジョブの繰り返し設定を行うことができますが、2月28日に実施されたアップデートの影響で、意図しない繰り返し条件になっていました

2月28日のアップデート内容

(1) hourly・daily処理

Datahubジョブフロー及びターゲット配信では「時間ごと」「日ごと」「週ごと」「月ごと」の設定が可能ですが、このうち「時間ごと」「日ごと」の定期実行と、「週ごと」の実行の同時指定は不可能でした。これを、同時指定ができるように機能のアップデートを実施しました

(2)weekly処理

「週ごと」の定期実行は「毎週設定した曜日に実行する」という処理でしたが、曜日を考慮せず「週1回実施する」という処理に変更されました

アップデートによって発生した事象

(1) hourly・daily処理

過去に「時間ごと」「日ごと」で設定したジョブフローに関しても自動で曜日のデータが設定されていましたが、機能の制約上、この曜日データは無効なデータとして動作していました。しかし、今回のアップデートにより、自動で保存されていた曜日データについても有効となってしまったため、意図しない曜日の設定が追加されており、「毎日(毎時)動作するはずの処理が動作しない」という事象が発生していました

(2)weekly処理

上記の仕様変更が発生したため、「設定した曜日に動作しない」という事象が発生していました。

原因

  • 機能アップデートにあわせて、データ状態を移行することが必要でしたが、影響範囲の確認が不十分であったことが原因だと考えています

今後の対策

データ移行が必要かどうかの判定を追加

KARTEの開発フローにおいては、全てのプログラムは、プログラムを構築した本人以外のコードレビューが実施された後に、自動テスト等のフローを経由し、本番へのアップデートが行われます。今後は、プログラムだけでなく、プログラムが影響するデータに対する判定およびレビューも実施するフローへと変更します

「詳細設定」に表示される情報の追加

設定されている繰り返し情報を全て表示させることにより、同種の問題が発生した場合に、目視でも気づくことができるような状態にします

Posted Mar 11, 2019 - 17:14 JST

Resolved
障害の解消を確認いたしました。
この度はご迷惑をおかけし、大変申し訳ございませんでした。

影響範囲を精査し、影響のあったお客様には個別にご連絡いたします
Posted Mar 10, 2019 - 23:37 JST
Update
一部ジョブフローを対象にデータ修正を行いました。現在修正の反映状況を確認をしております。
Posted Mar 10, 2019 - 23:37 JST
Investigating
「毎日」で定期実行していたジョブフローの「一部」で、「特定の曜日」にしか実行されない不具合が確認されています。只今調査及び修正に向けて検討を行っています。
Posted Mar 10, 2019 - 18:46 JST