ec2의 인스턴스 상태 검사가 실패하면서 SSH 접속이 불가한 문제

Question

프리티어를 사용하고 있으며 OS는 Ubuntu입니다. 아마존 RDS를 사용하고 있습니다.
제목과 같이 ec2 인스턴스 대시보드에는 '인스턴스 상태 검사 실패'가 확인되며 SSH 접속이 안되는 상황이었습니다.
서버가 다운된 시간대에서 확인한 syslog는 아래와 같습니다.

```
Aug 18 06:53:25 ip-172-31-41-51 systemd-networkd[316]: eth0: Could not set DHCPv4 address: Connection timed out
Aug 18 07:00:55 ip-172-31-41-51 systemd-networkd[316]: eth0: Failed
Aug 18 07:41:35 ip-172-31-41-51 CRON[18688]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Aug 18 08:36:43 ip-172-31-41-51 CRON[18700]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Aug 18 09:23:31 ip-172-31-41-51 systemd[1]: snapd.service: Watchdog timeout (limit 5min)!
Aug 18 09:24:46 ip-172-31-41-51 systemd[1]: snapd.service: Killing process 371 (snapd) with signal SIGABRT.
Aug 18 09:25:01 ip-172-31-41-51 systemd[1]: snapd.service: State 'stop-watchdog' timed out. Killing.
Aug 18 09:25:05 ip-172-31-41-51 systemd[1]: snapd.service: Killing process 371 (snapd) with signal SIGKILL.
Aug 18 09:25:05 ip-172-31-41-51 CRON[18710]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Aug 18 09:25:05 ip-172-31-41-51 systemd[1]: snapd.service: Main process exited, code=killed, status=9/KILL
Aug 18 09:25:07 ip-172-31-41-51 systemd[1]: snapd.service: Failed with result 'watchdog'.
Aug 18 09:25:07 ip-172-31-41-51 systemd[1]: snapd.service: Consumed 8min 15.197s CPU time.
Aug 18 09:25:08 ip-172-31-41-51 systemd[1]: snapd.service: Scheduled restart job, restart counter is at 1.
Aug 18 09:25:09 ip-172-31-41-51 systemd[1]: Stopped Snap Daemon.
Aug 18 09:25:10 ip-172-31-41-51 systemd[1]: snapd.service: Consumed 8min 15.197s CPU time.
Aug 18 09:25:11 ip-172-31-41-51 systemd[1]: Starting Snap Daemon...
Aug 18 09:26:30 ip-172-31-41-51 systemd[1]: snapd.service: start operation timed out. Terminating.
Aug 18 09:27:35 ip-172-31-41-51 systemd[1]: snapd.service: Failed with result 'timeout'.
Aug 18 09:27:38 ip-172-31-41-51 systemd[1]: Failed to start Snap Daemon.
Aug 18 09:27:43 ip-172-31-41-51 systemd[1]: snapd.service: Consumed 41.768s CPU time.
Aug 18 09:27:46 ip-172-31-41-51 systemd[1]: snapd.service: Scheduled restart job, restart counter is at 2.
Aug 18 09:27:49 ip-172-31-41-51 systemd[1]: Stopped Snap Daemon.
```

Answer

인스턴스 상태 검사는 개별 인스턴스의 소프트웨어 및 네트워크를 모니터링하며, 일반적으로 다음과 같은 원인으로 검사 실패가 발생될 수 있습니다.

[+] https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/monitoring-system-instance-status-check.html#types-of-instance-status-checks

● 시스템 상태 확인 실패

● 잘못된 네트워킹 또는 스타트업 구성

● 메모리가 모두 사용됨

● 파일 시스템 손상

● 호환되지 않는 커널

따라서, 해당 인스턴스를 재시작(Reboot) 또는 중지 및 시작(Stop and Start)하여 동일한 이슈가 발생되는지 확인해 보실 필요가 있습니다.

만약 이후에도 동일 이슈가 반복된다면 해당 인스턴스에 대한 인스턴스 상태 검사 실패 발생 당시에 CPU/메모리 사용율, OS 레벨의 이벤트를 확인해 볼 필요가 있습니다. 
그리고 인스턴스 상태 검사 실패가 발생될 때 동시에 시스템 상태 검사 역시 실패 된다면 또는 지속적인 이슈 발생으로 영향도가 크다면 지원 플랜을 업그레이드하고 AWS Support(https://console.aws.amazon.com/support/home#/case/create?issueType=technical)에 지원을 요청하시는 것이 권장됩니다.

AWS 지원 플랜에 대한 자세한 정보는 다음 링크에서 확인하실 수 있습니다.

[+] https://aws.amazon.com/ko/premiumsupport/plans/

ec2의 인스턴스 상태 검사가 실패하면서 SSH 접속이 불가한 문제

관련 콘텐츠