AWS EKS의 애플리케이션 로그를 AWS OpenSearch로 수집하고 관리하기 위한 내용을 정리한다. 로그 전송은 Fluent Bit을 사용했다.

내용은 간단하지만 한 개의 포스팅에 포함하려니 내용이 길어지고 가독성을 해쳐서 몇 개의 파트로 나눴다.

본 포스팅은 로그 수집 구성 내용을 다룬다.

파트 목차

로그 수집 구성 개요

Amazon EKS Workshop 튜토리얼을 통해 매우 쉽게 로깅 구축이 가능함을 알게 되었다. 이미 내가 EKS와 OpenSearch를 다뤄봤기 때문에 쉽게 진행했던 것일 수도 있지만 샘플링해보기에는 괜찮은 튜토리얼이다.
실제 구축을 할 때는 조금의 수정이 필요했다.
- 튜토리얼에서는 administrator 권한을 가지고 eksctl 및 aws 명령으로 작업을 한다.
- 현재 회사는 개발자에게 IAM 권한을 주지 않아 튜토리얼 그대로 구축은 불가능하기 때문에 IRSA는 eksctl을 사용하지 않고 진행했다.
- 그리고 운영을 위해서는 로그 용량 관리가 필요하고, 필요에 따라서는 로그 포멧팅을 추가하게 되는데 이는 FluentBit 설정을 수정하면서 진행했다.
본 포스팅들에서는 서비스(샘플) 애플리케이션과 OpenSearch에서 로그 찾기 등의 기초적인 내용은 다루지 않는다. 로깅 설정에만 초점을 맞췄다.