내용으로 건너뛰기

컨테이너 로그를 AWS Fargate의 Amazon ECS에 있는 여러 대상으로 전송하려면 어떻게 해야 합니까?

4분 분량
0

AWS Fargate에서 실행되는 애플리케이션 컨테이너가 Amazon CloudWatch, Amazon Data Firehose 또는 Splunk와 같은 여러 대상에 로그를 전달하기를 원합니다.

간략한 설명

Amazon Elastic Container Service(Amazon ECS) 작업 정의에서는 지정된 컨테이너에 대해 단일 로그 구성 객체만 지정할 수 있습니다. 이 제한은 로그를 단일 대상으로만 전달할 수 있음을 의미합니다. Fargate의 Amazon ECS에서 여러 대상에 로그를 전달하려면 FireLens를 사용하면 됩니다.

참고: FireLens는 Fluent Bit 및 Fluentd 로그 전달자에서 모두 작동합니다. 이 해결 방법에서는 Fluent Bit가 Fluentd보다 리소스 효율이 더 높기 때문에 Fluent Bit를 사용합니다.

해결 방법

참고: AWS Command Line Interface(AWS CLI) 명령 실행 시 오류가 발생하는 경우, AWS CLI 오류 해결을 참조하십시오. 또한 최신 AWS CLI 버전을 사용하고 있는지 확인하십시오.

시작하기 전에 다음 사항을 이해했는지 확인하십시오.

  • FireLens는 Fluent Bit 출력 정의를 생성하기 위해 ECS 작업 정의의 logConfiguration 객체에 옵션으로 지정된 키-값 쌍을 사용합니다. FireLens가 로그를 라우팅하는 대상은 Fluent Bit 구성 파일의 [OUTPUT] 정의 섹션에 지정됩니다. 자세한 내용은 Fluent Bit 웹 사이트에서 출력을 참조하십시오. 옵션을 지정하지 않으면 출력이 생성되지 않습니다.
  • FireLens가 사용자를 대신하여 구성 파일을 만들지만 사용자 지정 구성 파일을 지정할 수도 있습니다. 이 구성 파일을 Amazon Simple Storage Service(Amazon S3)에서 호스팅할 수 있습니다. 또는 이미지에 사용자 지정 출력 구성 파일이 추가된 사용자 지정 Fluent Bit Docker 이미지를 만들 수 있습니다.
  • Fluent Bit용 사용자 지정 플러그 인이 필요하지 않은 경우 Amazon ECS와 Fargate를 사용하여 Amazon S3에서 사용자 지정 구성 파일을 가져올 수 있습니다.

Fluent Bit 사용자 지정 출력 구성 파일을 만들어 Amazon S3에 업로드

선택한 [OUTPUT] 정의로 logDestinations.conf라는 사용자 지정 Fluent Bit 구성 파일을 만드십시오. 예를 들어, 구성 파일에는 CloudWatch, Amazon Data Firehose 및 Splunk에 대해 정의된 구성이 포함되어 있습니다. Match 지시문은 데이터를 라우팅합니다. Amazon ECS는 Fluent Bit 구성을 채울 때 컨테이너 이름 앞에 자동 생성 이름을 붙여 입력 스트림에 태그를 지정합니다. 이 예제에서는 접두사 service가 사용됩니다.

[OUTPUT]   
    Name                firehose   
    Match               service*
    region              us-west-2
    delivery_stream     nginx-stream  
[OUTPUT]
    Name                cloudwatch
    Match               service*
    region              us-east-1
    log_group_name      firelens-nginx-container
    log_stream_prefix   from-fluent-bit
    auto_create_group   true   
[OUTPUT]
    Name                splunk
    Match               service*
    Host                127.0.0.1
    Splunk_Token        xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxx
    Splunk_Send_Raw     On

참고: 대상에 따라 [OUTPUT] 정의에 지정해야 하는 필드가 다릅니다. 예시는 GitHub 웹 사이트에서 amazon-ecs-firelens-examples를 참조하십시오.

이 파일을 제어하는 Amazon S3 버킷에 업로드하려면 AWS CLI cp 명령을 실행합니다.

aws s3 cp logDestinations.conf s3://example-bucket/logDestinations.conf

IAM 권한 만들기

작업 역할이 S3 구성 파일을 획득할 수 있도록 AWS Identity and Access Management(IAM) 권한을 만듭니다. 작업 역할이 로그를 다른 대상으로 라우팅하도록 허용하십시오. 예를 들어, 대상이 Amazon Data Firehose인 경우 firehose:PutRecordBatch API를 호출할 수 있는 작업 권한을 부여해야 합니다.

참고: Fluent Bit는 플러그 인을 로그 대상으로 지원합니다. CloudWatch 및 Kinesis와 같은 대상에는 logs:CreateLogGroup, logs:CreateLogStream, logs:DescribeLogStreams, logs:PutLogEvents 및 kinesis:PutRecords를 포함하는 권한이 필요합니다. 자세한 내용은 GitHub 웹 사이트에서 CloudWatch 및 Kinesis에 대한 권한을 참조하십시오.

예제 IAM 정책에서 작업 역할은 구성 파일에 대한 s3:GetObject 액세스 권한을 부여합니다. 작업 자체 출력을 다른 CloudWatch 로그 그룹에 기록하는 데 필요한 권한을 작업에 부여하는 것이 좋습니다.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "ConfigurationFileAccess",
      "Action": [
        "s3:GetObject"
      ],
      "Effect": "Allow",
      "Resource": "arn:aws:s3:::example-bucket/logDestinations.conf"
    },
    {
      "Sid": "CloudWatchLogGroupPermissions",
      "Action": [
        "logs:CreateLogGroup",
        "logs:CreateLogStream"
      ],
      "Effect": "Allow",
      "Resource": "arn:aws:logs:us-east-1:555555555555:log-group:firelens-log-router"
    },
    {
      "Sid": "CloudWatchLogStreamPermissions",
      "Action": [
        "logs:CreateLogStream",
        "logs:PutLogEvents"
      ],
      "Effect": "Allow",
      "Resource": "arn:aws:logs:us-east-1:555555555555:log-group:firelens-log-router:log-stream:*"
    }
  ]
}

참고: 작업 IAM 역할 및 필수 권한을 만드는 방법에 대한 자세한 내용은 Amazon ECS 작업 실행 IAM 역할을 참조하십시오.

예제 IAM 작업 역할은 예제 대상에서 사용되는 CloudWatch 및 Amazon Data Firehose 드라이버에 필요한 권한을 부여합니다.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "DataFirehosePermissions",
      "Action": [
        "firehose:PutRecordBatch"
      ],
      "Effect": "Allow",
      "Resource": "arn:aws:firehose:us-west-2:555555555555:deliverystream/nginx-stream"
    },
    {
      "Sid": "CloudWatchLogGroupPermissions",
      "Action": [
        "logs:CreateLogGroup",
        "logs:CreateLogStream"
      ],
      "Effect": "Allow",
      "Resource": "arn:aws:logs:us-east-1:555555555555:log-group:firelens-nginx-container"
    },
    {
      "Sid": "CloudWatchLogStreamPermissions",
      "Action": [
        "logs:CreateLogStream",
        "logs:PutLogEvents"
      ],
      "Effect": "Allow",
      "Resource": "arn:aws:logs:us-east-1:555555555555:log-group:firelens-nginx-container:log-stream:*"
    }
  ]
}

작업 정의 만들기

작업 정의에서 AWS for Fluent Bit 이미지를 사용하여 추가 필수 컨테이너를 포함하십시오. 이 예제는 공식 nginx 컨테이너를 실행합니다. AWS CLI 또는 Amazon ECS 콘솔을 사용하여 완전한 작업 정의를 만드십시오.

{
    "family": "firelens-example-task",
    "taskRoleArn": "arn:aws:iam::012345678901:role/exampleTaskRole",
    "taskExecutionRoleArn": "arn:aws:iam::444455556666:role/exampleTaskExecutionRole",
    "networkMode": "awsvpc",
    "requiresCompatibilities": ["FARGATE"],
    "cpu": "256",
    "memory": "512",
    "containerDefinitions": [
        {
            "essential": true,
            "image": "public.ecr.aws/docker/library/nginx:latest",
            "name": "service_web_app",
            "logConfiguration": {
                "logDriver": "awsfirelens"
            }
        },
        {
            "essential": true,
            "image": "public.ecr.aws/aws-observability/aws-for-fluent-bit:stable",
            "name": "log_router",
            "logConfiguration": {
                "logDriver": "awslogs",
                "options": {
                    "awslogs-group": "firelens-log-router",
                    "awslogs-region": "us-east-1",
                    "awslogs-create-group": "true",
                    "awslogs-stream-prefix": "firelens-router-logs"
                }
            },
            "firelensConfiguration": {
                "type": "fluentbit",
                "options": {
                    "config-file-type": "s3",
                    "config-file-value": "arn:aws:s3:::example-bucket/logDestinations.conf"
                }
            }
        }
    ]
}

참고: 문제 해결을 위해 예제 구성은 Fluent Bit 컨테이너 출력을 다른 접두사 아래의 다른 CloudWatch 로그 그룹으로 전달합니다.

AWS 공식업데이트됨 일 년 전
댓글 없음