CloudWatch Logs から Amazon EKS コントロールプレーンのログを取得する方法を教えて下さい。
所要時間4分
0
Amazon Elastic Kubernetes Service (Amazon EKS) の問題のトラブルシューティングを行っており、EKS コントロールプレーンで実行されているコンポーネントからログを収集する必要があります。
簡単な説明
Amazon CloudWatch Logs でログを表示するには、Amazon EKS コントロールプレーンのログを有効にする必要があります。EKS コントロールプレーンのログは、/aws/eks/cluster-name/cluster ロググループにあります。詳細については、「クラスターコントロールプレーンのログを表示する」を参照してください。
注意: cluster_name を使用しているクラスター名に置き換えます。
CloudWatch Logs Insights を使用して、EKS コントロールプレーンのログデータを検索できます。詳細については、「CloudWatch Insights を使用したログデータの分析」を参照してください。
重要: クラスターでコントロールプレーンのログを有効にしなければ、CloudWatch Logs でログイベントを表示できません。CloudWatch Logs Insights でクエリを実行する時間範囲を選択する前に、コントロールプレーンのログが有効になっていることを確認します。
解決方法
CloudWatch インサイトを検索する
- CloudWatch コンソールを開きます。
- 左側のナビゲーションペインで、[Logs] (ログ) を選択してから、[Log Insights] (ログインサイト) を選択します。
- [Select log group(s)] (ロググループを選択) メニューで、クエリするクラスタロググループを選択します。
- [Run] (実行) を選択して結果を表示します。
注意: 結果を.csv ファイルとしてエクスポートしたり、結果をクリップボードにコピーしたりするには、[Export results] を選択します。サンプルクエリを変更して、特定のユースケースのデータを取得できます。一般的な EKS ユースケースについては、以下のクエリ例を参照してください。
一般的な EKS ユースケースのクエリ例
クラスター作成者を見つけるには、kubernetes-admin ユーザーにマッピングされている IAM エンティティを検索します。
クエリ:
fields @logStream, @timestamp, @message | sort @timestamp desc | filter @logStream like /authenticator/ | filter @message like "username=kubernetes-admin" | limit 50
出力例:
@logStream, @timestamp @message authenticator-71976 ca11bea5d3083393f7d32dab75b,2021-08-11-10:09:49.020,"time=""2021-08-11T10:09:43Z"" level=info msg=""access granted"" arn=""arn:aws:iam::12345678910:user/awscli"" client=""127.0.0.1:51326"" groups=""[system:masters]"" method=POST path=/authenticate sts=sts.eu-west-1.amazonaws.com uid=""heptio-authenticator-aws:12345678910:ABCDEFGHIJKLMNOP"" username=kubernetes-admin"
この出力では、IAM ユーザー「arn: aws: iam:: 12345678910: user/awscli」がユーザー「kubernetes-admin」にマッピングされています。
特定のユーザーが実行したリクエストを見つけるには、「kubernetes-admin」ユーザーが実行した操作を検索します。
クエリの例:
fields @logStream, @timestamp, @message | filter @logStream like /^kube-apiserver-audit/ | filter strcontains(user.username,"kubernetes-admin") | sort @timestamp desc | limit 50
出力例:
@logStream,@timestamp,@message kube-apiserver-audit-71976ca11bea5d3083393f7d32dab75b,2021-08-11 09:29:13.095,"{...""requestURI"":""/api/v1/namespaces/kube-system/endpoints?limit=500";","string""verb"":""list"",""user"":{""username"":""kubernetes-admin"",""uid"":""heptio-authenticator-aws:12345678910:ABCDEFGHIJKLMNOP"",""groups"":[""system:masters"",""system:authenticated""],""extra"":{""accessKeyId"":[""ABCDEFGHIJKLMNOP""],""arn"":[""arn:aws:iam::12345678910:user/awscli""],""canonicalArn"":[""arn:aws:iam::12345678910:user/awscli""],""sessionName"":[""""]}},""sourceIPs"":[""12.34.56.78""],""userAgent"":""kubectl/v1.22.0 (darwin/amd64) kubernetes/c2b5237"",""objectRef"":{""resource"":""endpoints"",""namespace"":""kube-system"",""apiVersion"":""v1""}...}"
特定の userAgent が行った API コールを検索するには、次のクエリ例を使用できます。
fields @logStream, @timestamp, userAgent, verb, requestURI, @message | filter @logStream like /kube-apiserver-audit/ | filter userAgent like /kubectl\/v1.22.0/ | sort @timestamp desc | filter verb like /(get)/
短縮された出力例:
@logStream,@timestamp,userAgent,verb,requestURI,@message kube-apiserver-audit-71976ca11bea5d3083393f7d32dab75b,2021-08-11 14:06:47.068,kubectl/v1.22.0 (darwin/amd64) kubernetes/c2b5237,get,/apis/metrics.k8s.io/v1beta1?timeout=32s,"{""kind"":""Event"",""apiVersion"":""audit.k8s.io/v1"",""level"":""Metadata"",""auditID"":""863d9353-61a2-4255-a243-afaeb9183524"",""stage"":""ResponseComplete"",""requestURI"":""/apis/metrics.k8s.io/v1beta1?timeout=32s"",""verb"":""get"",""user"":{""username"":""kubernetes-admin"",""uid"":""heptio-authenticator-aws:12345678910:AIDAUQGC5HFOHXON7M22F"",""groups"":[""system:masters"",""system:authenticated""],""extra"":{""accessKeyId"":[""ABCDEFGHIJKLMNOP""],""arn"":[""arn:aws:iam::12345678910:user/awscli""],""canonicalArn"":[""arn:aws:iam::12345678910:user/awscli""],""sourceIPs"":[""12.34.56.78""],""userAgent"":""kubectl/v1.22.0 (darwin/amd64) kubernetes/c2b5237""...}"
aws-auth ConfigMap に加えられた変更を検出するには、次のクエリ例を使用できます。
fields @logStream, @timestamp, @message | filter @logStream like /^kube-apiserver-audit/ | filter requestURI like /\/api\/v1\/namespaces\/kube-system\/configmaps/ | filter objectRef.name = "aws-auth" | filter verb like /(create|delete|patch)/ | sort @timestamp desc | limit 50
短縮された出力例:
@logStream,@timestamp,@message kube-apiserver-audit-f01c77ed8078a670a2eb63af6f127163,2021-10-27 05:43:01.850,{""kind"":""Event"",""apiVersion"":""audit.k8s.io/v1"",""level"":""RequestResponse"",""auditID"":""8f9a5a16-f115-4bb8-912f-ee2b1d737ff1"",""stage"":""ResponseComplete"",""requestURI"":""/api/v1/namespaces/kube-system/configmaps/aws-auth?timeout=19s"",""verb"":""patch"",""responseStatus"": {""metadata"": {},""code"": 200 },""requestObject"": {""data"": { contents of aws-auth ConfigMap } },""requestReceivedTimestamp"":""2021-10-27T05:43:01.033516Z"",""stageTimestamp"":""2021-10-27T05:43:01.042364Z"" }
拒否された要求を検索するには、次のクエリ例を使用できます。
fields @logStream, @timestamp, @message | filter @logStream like /^authenticator/ | filter @message like "denied" | sort @timestamp desc | limit 50
出力例:
@logStream,@timestamp,@message authenticator-8c0c570ea5676c62c44d98da6189a02b,2021-08-08 20:04:46.282,"time=""2021-08-08T20:04:44Z"" level=warning msg=""access denied"" client=""127.0.0.1:52856"" error=""sts getCallerIdentity failed: error from AWS (expected 200, got 403)"" method=POST path=/authenticate"
ポッドがスケジュールされているノードを検索するには、kube-scheduler ログをクエリします。
クエリの例:
fields @logStream, @timestamp, @message | sort @timestamp desc | filter @logStream like /kube-scheduler/ | filter @message like "aws-6799fc88d8-jqc2r" | limit 50
出力例:
@logStream,@timestamp,@message kube-scheduler-bb3ea89d63fd2b9735ba06b144377db6,2021-08-15 12:19:43.000,"I0915 12:19:43.933124 1 scheduler.go:604] ""Successfully bound pod to node"" pod=""kube-system/aws-6799fc88d8-jqc2r"" node=""ip-192-168-66-187.eu-west-1.compute.internal"" evaluatedNodes=3 feasibleNodes=2"
この出力例では、ポッド「aws-6799fc88d8-jqc2r」がノード「ip-192-168-66-187.eu-west-1.compute.internal」でスケジュールされていました。
Kubernetes API サーバーリクエストの HTTP 5xx サーバーエラーを見つけるには、次のクエリ例を使用できます。
fields @logStream, @timestamp, responseStatus.code, @message | filter @logStream like /^kube-apiserver-audit/ | filter responseStatus.code >= 500 | limit 50
短縮された出力例:
@logStream,@timestamp,responseStatus.code,@message kube-apiserver-audit-4d5145b53c40d10c276ad08fa36d1f11,2021-08-04 07:22:06.518,503,"...""requestURI"":""/apis/metrics.k8s.io/v1beta1?timeout=32s"",""verb"":""get"",""user"":{""username"":""system:serviceaccount:kube-system:resourcequota-controller"",""uid"":""36d9c3dd-f1fd-4cae-9266-900d64d6a754"",""groups"":[""system:serviceaccounts"",""system:serviceaccounts:kube-system"",""system:authenticated""]},""sourceIPs"":[""12.34.56.78""],""userAgent"":""kube-controller-manager/v1.21.2 (linux/amd64) kubernetes/d2965f0/system:serviceaccount:kube-system:resourcequota-controller"",""responseStatus"":{""metadata"":{},""code"":503},..."}}"
CronJob アクティベーションのトラブルシューティングを行うには、cronjob-controller がする API コールを検索します。
クエリの例:
fields @logStream, @timestamp, @message | filter @logStream like /kube-apiserver-audit/ | filter user.username like "system:serviceaccount:kube-system:cronjob-controller" | display @logStream, @timestamp, @message, objectRef.namespace, objectRef.name | sort @timestamp desc | limit 50
短縮された出力例:
{ "kind": "Event", "apiVersion": "audit.k8s.io/v1", "objectRef": { "resource": "cronjobs", "namespace": "default", "name": "hello", "apiGroup": "batch", "apiVersion": "v1" }, "responseObject": { "kind": "CronJob", "apiVersion": "batch/v1", "spec": { "schedule": "*/1 * * * *" }, "status": { "lastScheduleTime": "2021-08-09T07:19:00Z" } } }
この出力例では、デフォルトの名前空間の hello ジョブは毎分実行され、スケジュールは、2021-08-09T07:19:00Z でした。
replicaset-controller が行った API コールを見つけるには、次のクエリ例を使用できます。
fields @logStream, @timestamp, @message | filter @logStream like /kube-apiserver-audit/ | filter user.username like "system:serviceaccount:kube-system:replicaset-controller" | display @logStream, @timestamp, requestURI, verb, user.username | sort @timestamp desc | limit 50
出力例:
@logStream,@timestamp,requestURI,verb,user.username kube-apiserver-audit-8c0c570ea5676c62c44d98da6189a02b,2021-08-10 17:13:53.281,/api/v1/namespaces/kube-system/pods,create,system:serviceaccount:kube-system:replicaset-controller kube-apiserver-audit-4d5145b53c40d10c276ad08fa36d1f11,2021-08-04 0718:44.561,/apis/apps/v1/namespaces/kube-system/replicasets/coredns-6496b6c8b9/status,update,system:serviceaccount:kube-system:replicaset-controller
Kubernetes リソースに対して行われるオペレーションを検索するには、次のクエリ例を使用します。
fields @logStream, @timestamp, @message | filter @logStream like /^kube-apiserver-audit/ | filter verb == "delete" and requestURI like "/api/v1/namespaces/default/pods/my-app" | sort @timestamp desc | limit 10
前述のクエリ例では、ポッド [my-app] の[default] の名前空間で [delete] API コールをフィルタリングします。
短縮された出力例:
@logStream,@timestamp,@message kube-apiserver-audit-e7b3cb08c0296daf439493a6fc9aff8c,2021-08-11 14:09:47.813,"...""requestURI"":""/api/v1/namespaces/default/pods/my-app"",""verb"":""delete"",""user"":{""username""""kubernetes-admin"",""uid"":""heptio-authenticator-aws:12345678910:ABCDEFGHIJKLMNOP"",""groups"":[""system:masters"",""system:authenticated""],""extra"":{""accessKeyId"":[""ABCDEFGHIJKLMNOP""],""arn"":[""arn:aws:iam::12345678910:user/awscli""],""canonicalArn"":[""arn:aws:iam::12345678910:user/awscli""],""sessionName"":[""""]}},""sourceIPs"":[""12.34.56.78""],""userAgent"":""kubectl/v1.22.0 (darwin/amd64) kubernetes/c2b5237"",""objectRef"":{""resource"":""pods"",""namespace"":""default"",""name"":""my-app"",""apiVersion"":""v1""},""responseStatus"":{""metadata"":{},""code"":200},""requestObject"":{""kind"":""DeleteOptions"",""apiVersion"":""v1"",""propagationPolicy"":""Background""}, ..."
Kubernetes API サーバーに対して行われたコールの HTTP レスポンスコードの数を取得するには、次のクエリ例を使用します。
fields @logStream, @timestamp, @message | filter @logStream like /^kube-apiserver-audit/ | stats count(*) as count by responseStatus.code | sort count desc
出力例:
responseStatus.code,count 200,35066 201,525 403,125 404,116 101,2
[kube-system] 名前空間の DaemonSets/Addons に加えられた変更を見つけるには、次のクエリ例を使用します。
filter @logStream like /^kube-apiserver-audit/ | fields @logStream, @timestamp, @message | filter verb like /(create|update|delete)/ and strcontains(requestURI,"/apis/apps/v1/namespaces/kube-system/daemonsets") | sort @timestamp desc | limit 50
出力例:
{ "kind": "Event", "apiVersion": "audit.k8s.io/v1", "level": "RequestResponse", "auditID": "93e24148-0aa6-4166-8086-a689b0031612", "stage": "ResponseComplete", "requestURI": "/apis/apps/v1/namespaces/kube-system/daemonsets/aws-node?fieldManager=kubectl-set", "verb": "patch", "user": { "username": "kubernetes-admin", "groups": [ "system:masters", "system:authenticated" ] }, "userAgent": "kubectl/v1.22.2 (darwin/amd64) kubernetes/8b5a191", "objectRef": { "resource": "daemonsets", "namespace": "kube-system", "name": "aws-node", "apiGroup": "apps", "apiVersion": "v1" }, "requestObject": { "REDACTED": "REDACTED" }, "requestReceivedTimestamp": "2021-08-09T08:07:21.868376Z", "stageTimestamp": "2021-08-09T08:07:21.883489Z", "annotations": { "authorization.k8s.io/decision": "allow", "authorization.k8s.io/reason": "" } }
この出力例では、kubernetes-admin ユーザーは kubectl v1.22.2 を使用して aws-node DaemonSet にパッチを適用しました。
ノードを削除したユーザーを検索するには、次のクエリ例を使用できます。
fields @logStream, @timestamp, @message | filter @logStream like /^kube-apiserver-audit/ | filter verb == "delete" and requestURI like "/api/v1/nodes" | sort @timestamp desc | limit 10
短縮された出力例:
@logStream,@timestamp,@message kube-apiserver-audit-e503271cd443efdbd2050ae8ca0794eb,2022-03-25 07:26:55.661,"{"kind":"Event","verb":"delete","user":{"username":"kubernetes-admin","groups":["system:masters","system:authenticated"],"arn":["arn:aws:iam::1234567890:user/awscli"],"canonicalArn":["arn:aws:iam::1234567890:user/awscli"],"sessionName":[""]}},"sourceIPs":["1.2.3.4"],"userAgent":"kubectl/v1.21.5 (darwin/amd64) kubernetes/c285e78","objectRef":{"resource":"nodes","name":"ip-192-168-37-22.eu-west-1.compute.internal","apiVersion":"v1"},"responseStatus":{"metadata":{},"status":"Success","code":200},"requestObject":{"kind":"DeleteOptions","apiVersion":"v1","propagationPolicy":"Background"},"responseObject":{"kind":"Status","apiVersion":"v1","metadata":{},"status":"Success","details":{"name":"ip-192-168-37-22.eu-west-1.compute.internal","kind":"nodes","uid":"518ba070-154e-4400-883a-77a44a075bd0"}},"requestReceivedTimestamp":"2022-03-25T07:26:55.355378Z",}}"
AWS公式更新しました 1年前
コメントはありません
関連するコンテンツ
- 質問済み 9ヶ月前
- AWS公式更新しました 2年前
- AWS公式更新しました 2年前
- AWS公式更新しました 9ヶ月前
- AWS公式更新しました 2年前
