イベントトラッキング、チャット、接客の配信に障害が発生しております。
Incident Report for KARTE
Postmortem

2021年4月30日15時13分頃 〜 15時39分頃にかけて発生した、イベントトラッキングの障害について、下記の通りご報告致します。


発生日時

2021年4月30日15時13分頃 〜 15時39分頃

発生した現象

一部イベントトラッキングの失敗(1日あたりに換算すると、約0.8%に該当します)
一部のアクション配信の失敗(1日あたりに換算すると、約2.03%に該当します)

なお、上記以外については問題なく動作していたことが確認できております。

原因

イベントトラッキング用サーバの更新時に上昇するサーバ負荷に対してサーバリソースが不足し、イベントトラッキングがタイムアウトする不具合が一定時間発生しておりました。
KARTEでは、イベントトラッキング用サーバの更新時には事前に自動でサーバリソースを増強させておりますが、十分には確保できておりませんでした。

対応

イベントトラッキング用サーバの更新時に適切にサーバーリソースを増強できるよう、自動でサーバリソースを増強させる機構の調整を行いました。


この度はご迷惑をおかけしてしまい、誠に申し訳ございませんでした。

Posted May 07, 2021 - 15:31 JST

Resolved
本件、障害復旧後に経過観察中でしたが、システムが正常に動作していることを確認できました。
詳細は追ってご連絡いたします。
この度はご迷惑をおかけして、申し訳ございませんでした。
Posted Apr 30, 2021 - 21:55 JST
Monitoring
イベントトラッキング・接客の配信・チャットメッセージ送信にて障害が発生しておりましたが、
障害が暫定復旧し、現在監視中でございます。
詳細は後ほどご連絡致します。
Posted Apr 30, 2021 - 16:04 JST
Investigating
イベントトラッキングで障害が発生してます。
事象を確認の上、現在、開発チームが調査を行っています。
Posted Apr 30, 2021 - 15:41 JST
This incident affected: イベントトラッキング, 接客の配信, and チャット.