문제
갑자기 Docker 컨테이너가 모두 내려가있었습니다...
AWS 인스턴스 하나를 운영 보조용으로 사용하고 있었습니다.
평소처럼 로그를 확인하러 그라파나에 접속했고 모두 내려가있었습니다.
일단 제가 내린적이 없기 때문에 시스템이 종료된적이 있나 확인해보았습니다.
사용된 명령어는 다음과 같습니다.
# 서버의 재부팅 기록을 확인
last reboot
확인결과 2026-02-02 04:56에 서버가 재시작 되었다는걸 알 수 있었습니다.
AWS에 들어가서 확인해보았습니다.
설명에 Scheduled Reboot를 보고 AWS에서 13:00(KST)에 인스턴스 재부팅 예약이 있었다는걸 알 수 있었습니다.
서버에서 확인한 부팅 시각은 04:56이었고, 서버 시간이 UTC 기준이라면 KST로는 13:56입니다.
AWS 콘솔의 scheduled reboot 시점과 함께 보면 AWS 유지보수에 의해 재부팅된 상황으로 판단했습니다.
그럼 왜 이런일이 일어났나 확인해봤습니다.
알림에 들어가보았습니다.
미리 유지보수 관련해서 알림을 보내놨더군요..
문제 해결
'앞으로는 알림을 잘 확인해야겠다' 가 이번 사건에서 얻은 가장 큰 교훈입니다.
또한 혹시 모를일에 항상 대비하자는 교훈을 얻었습니다.
docker에는 restart옵션이 있습니다.
docker의 restart policy를 설정해두면 컨테이너 비정상 종료나 서버 재부팅 시 자동으로 다시 올라오게 할 수 있습니다.
version: "3"
services:
app:
image: my-app
restart: always # <- 요거
저는 제가 직접 종료하는거 아니면 컨테이너가 꺼질일이 없다고 생각하였습니다.
다른 작업할때 restart 설정이 되어있으면 불편해서 일부러 옵션을 설정하지 않았지만, 이런일을 겪고 나니 항상 생각나는 안전장치는 모두 해놔야겠다고 다짐하게 되었습니다.