아무도 안 보던 TLS 인증서가 만료됐다
두 시스템을 잇는 채널의 TLS 인증서가 갱신되지 않은 채 만료됐고, 연동이 production에서 끊겼다. 만료일을 지켜보는 건 아무것도 없었다.
두 시스템을 잇는 연동의 TLS 인증서가 만료됐고, 그 사이의 통신이 production에서 끊겼다.
두 시스템은 제조 현장의 파이프라인 위에 있었다 — 한쪽은 운영 데이터를 밀어 올리는 상위 시스템, 다른 쪽은 TLS 채널로 그 데이터를 받는 연동 서버. 1년 넘게 인증서를 아무도 건드리지 않은 채 그대로 돌았다. 그러다 인증서가 만료일에 도달했다.
만료되는 순간부터 handshake가 실패하기 시작했다. 상위 시스템은 연동 서버와 더는 통신하지 못했고, 평소 그 길로 흐르던 데이터가 안 들어왔다. 인증서가 끊기기 전이 아니라, 데이터가 멈추고 나서 발견됐다.
인증서 만료는 모니터링하고 갱신을 자동화하거나 일정에 맞춰 알림이 오게 해서, production에서 조용히 만료일에 도달하는 일이 없도록 해야 한다. 그땐 그 단계가 없었다.