AWSCloudWatch의 용량이 갑자기 하루만에 1000% 증가 하였습니다.

Question

**운영 환경:**
EKS(Amazon Elastic Kubernetes Service)를 사용하여 서비스 운영 중이며 Clodwatch로 모니터링 함

**문제 상황:**
9월 18일 이후 CloudWatch의 저장 사용량이 하루 만에 10000% 증가
하루에 수백 기가의 로그가 쌓임. CloudWatch의 IncomingBytes가 비정상적으로 증가
CloudWatch 요금이 하루에 500달러 이상으로 급증(이전: 1-2달러/일). 3일동안 유지하였음
현재는 CloudWatch Observability  플러그인을 비활성화하여 현재는 발생하지 않음.

**문제 발생 시점:**
EKS Plugin의 CloudWatch Observability 업데이트 이후 갑자기 발생

**추정 원인:**
CloudWatch Plugin의 오류로 판단됨
아래 로그가 1초에 수십~수백개씩 쌓임
@message	
{"time":"2024-09-18T15:00:00.183420141Z","stream":"stdout","_p":"P","log":"2024-09-18 15:00:00 +0000 [warn]: #0 [in_tail_fluentd_logs] pattern not matched: "2024-09-18T14:59:57.020846089Z stdout P 2024-09-18 14:59:57 +0000 [warn]: #0 [in_tail_fluentd_logs] pattern not matched: \"2024-09-18T14:59:46.08281019Z stdout P 2024-09-18 14:59:46 +0000 [warn]: #0 [in_tail_fluentd_logs] pattern not matched: \\\"2024-09-18T14:59:40.624972596Z stdout P \\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\...............

**요청 사항:**
이 상황에 대한  증가분에 대한 요금 해결 문의 드립니다

![반복적인비정상로그](/media/postImages/original/IMcJocQmiQTrWEhAFCNgQBGg)

froguin · Answer

안녕하세요.

rePost 는 커뮤니티로 AWS 엔지니어의 지원을 받으시거나 요금 등 문의를 하시려면 AWS 콘솔 우측 상단 [지원 센터](https://support.console.aws.amazon.com/support/home)를 통해 문의하셔야 합니다.

해당 부분은 로그를 수집하는 fluentd 데몬이 어떠한 사유로 인해 로그를 파싱하지 못하는 상황으로 예상되며, 구글에서 찾은 몇 가지 case 를 공유 드립니다. 해당 부분이 사용하는 시스템에서 발생하는 오류와 정확히 일치하지 않을 수도 있으므로, AWS 의 support plan 에서 최소 developer 이상을 가입하시어, 기술 문의 case 를 올려보시는 것을 추천 드립니다.

참고
* https://velog.io/@hnnynh/Fluentd-intailcontainerlogs-pattern-not-matched-%ED%95%B4%EA%B2%B0%EB%B2%95
* https://github.com/fluent/fluentd-kubernetes-daemonset/issues/571

AWSCloudWatch의 용량이 갑자기 하루만에 1000% 증가 하였습니다.

관련 콘텐츠