AWSのEC2でRetire Notificationというのがきた
まとめ
突然EC2インスタンスが故障して、1時間後ぐらいにAWSからそのインスタンス修復不可能だからretireさせるよという通知がメールで来ました。 stopさせようにもstoppingでなかなか進捗しなかったので、開発環境だったからterminateしたけど、terminateも30分弱かかった。
基本、Datadog監視で気づくけど、こういうことがあるんだなぁということと、AWSはちゃんとしてるなーと思ったという話です。
詳細
AWSからメール（超意訳）
[Retirement Notification] Amazon EC2 Instance scheduled for retirement.
あなたが使ってるインスタンスがハードウェア的な修復不可能な感じで壊れました。多分、もう既につながらなくなってるかもしれないし、つながるかもしれない。指定日時に完全にterminateするからそれまでにAMI作って起動し直してね。
見てみたらこのメールよりも前に該当のEC2インスタンスが死亡していた
- Datadogからalertがあがっていた
- dashbordのstatus checkが 0/2 に（初めて見た）
- AWS Consoleを見るとこういう表示が
rebootしろと書いてあったが・・・
GUIからrebootしても、何も起きない。。
とりあえずstopもstopping...のまま10分ぐらい終わらない。
もしかしたら、これはもっと待てばstoppingしたかもしれない。
開発環境だったので、さくっとterraformとかで作り直しできるようになってたのでterminateした。でも、これも30分弱かかった。
