opsnote - 초보 인프라 노트

운영 중인 리눅스 서버에서 서비스가 갑자기 내려갔다는 연락을 받으면 가장 먼저 떠오르는 대응 중 하나가 재시작입니다.systemctl restart 서비스명 서비스를 빨리 살려야 하는 상황에서는 필요한 조치일 수 있습니다.하지만 바로 재시작해 버리면 왜 서비스가 종료됐는지 확인할 수 있는 단서를 놓칠 수 있습니다.특히 메모리 부족으로 Linux 커널의 OOM Killer가 프로세스를 종료한 상황이라면 단순히 서비스를 다시 올리는 것만으로는 원인이 해결되지 않습니다.저라면 서비스가 갑자기 죽었을 때 다음 순서로 확인합니다.서비스 종료 확인→ OOM 로그 확인→ 어떤 프로세스가 종료됐는지 확인→ 현재 메모리와 Swap 확인→ 메모리를 많이 사용하는 프로세스 확인→ 서비스 상태와 로그 확인→ 조치→ 재확인이번..

리눅스 서버를 운영하다 보면 서비스가 안 뜨는 상황을 만날 때가 있습니다.처음에는 단순하게 보입니다.서비스가 안 뜬다.프로세스가 죽은 것 같다.restart 하면 되지 않을까?저도 처음에는 이렇게 생각했습니다.그런데 운영 서버에서는 서비스가 안 뜬다고 바로 restart부터 하는 것이 항상 좋은 선택은 아닙니다.서비스가 실패한 이유를 확인하지 않고 재기동하면, 잠깐 살아나는 것처럼 보여도 같은 문제가 다시 반복될 수 있습니다.또는 실패 원인이 로그에 남아 있었는데 재기동 과정에서 중요한 단서를 놓칠 수도 있습니다.이번 글에서는 리눅스 서버에서 서비스가 안 뜰 때, systemctl status와 journalctl을 이용해서 원인을 좁혀가는 실제 점검 흐름을 정리해보겠습니다.핵심은 단순합니다.서비스가 안..

리눅스 서버를 운영하다 보면 어느 날 갑자기 이런 말을 듣게 됩니다.서버가 느립니다.접속이 안 됩니다.서비스가 안 뜹니다.디스크가 가득 찼습니다.로그가 계속 쌓입니다.재기동하면 될까요? 처음에는 마음이 급해집니다.서버 화면을 열고, top을 보고, df -h를 보고, 로그를 열어보다가 어느 순간 이런 생각이 듭니다.뭘 먼저 봐야 하지?이거 바로 재기동해도 되나?파일 하나 지워도 괜찮은 건가? 초보 운영자에게 가장 어려운 부분은 명령어 자체보다 순서입니다.명령어를 하나씩 아는 것도 중요하지만, 운영 서버에서는 어떤 순서로 확인하고 어느 시점에서 조치할지 판단하는 것이 더 중요합니다.순서를 잘못 잡으면 장애를 해결하기보다 원인 단서를 먼저 지워버릴 수 있습니다.로그를 지우거나, 프로세스를 종료하거나, 서버를..

리눅스 서버에서 서비스가 안 뜨거나, 재기동은 됐는데 정상 동작이 아닌 것 같을 때 초보 운영자가 자주 하는 실수가 있습니다.바로 로그 파일 경로부터 먼저 헤매는 것입니다./var/log에 로그가 있나?서비스 로그 파일명이 뭐였지?nginx 로그는 어디였지?애플리케이션 로그는 어디 있지? 물론 서비스별 로그 파일을 확인하는 것도 중요합니다. 하지만 systemd로 관리되는 서비스라면 먼저 journalctl로 systemd 로그를 확인하는 것이 더 빠를 때가 많습니다.systemctl status는 서비스 상태를 보여주고, journalctl은 그 서비스가 왜 실패했는지, 어떤 로그를 남겼는지 더 자세히 보여줍니다.이번 글에서는 리눅스 서버에서 systemctl status만으로 부족할 때 journal..

리눅스 서버에서 서비스가 안 뜨거나, 서버 재기동 후 뭔가 이상할 때 보통 특정 서비스 하나를 찍어서 systemctl status로 확인합니다.systemctl status nginx 그런데 실제 운영 상황에서는 어떤 서비스가 문제인지 처음부터 정확히 모를 때도 있습니다.웹 서비스가 안 되는 것처럼 보이지만, 실제로는 관련된 worker 서비스가 실패했을 수도 있고, Redis나 DB 연동 서비스처럼 의존 서비스 쪽에 문제가 있을 수도 있습니다.이럴 때 먼저 확인해볼 수 있는 명령어가 있습니다. systemctl --failed systemctl --failed는 systemd 기준으로 실패 상태에 있는 unit 목록을 한 번에 보여주는 명령어입니다.이번 글에서는 리눅스 서버에서 systemctl --..

리눅스 서버를 운영하다 보면 “서비스가 안 떠요”, “접속이 안 됩니다”, “프로세스가 죽은 것 같습니다” 같은 상황을 만날 수 있습니다.이럴 때 초보 운영자 입장에서 가장 먼저 떠오르는 조치는 보통 재시작입니다.systemctl restart 서비스명 물론 재시작으로 해결되는 경우도 있습니다. 하지만 실제 운영 서버에서는 바로 재시작부터 하면 원인을 놓칠 수 있습니다.서비스가 정말 죽은 것인지, 실행 중인데 접속만 안 되는 것인지, 자동 재시작 중인지, 설정 오류로 실패한 것인지 먼저 확인해야 합니다.그때 가장 기본으로 확인하는 명령어가 systemctl status입니다.이번 글에서는 리눅스 서버에서 서비스가 안 뜨는 것 같을 때 systemctl status로 무엇을 먼저 확인하면 좋은지 정리합니다..