Come posso risolvere i problemi relativi all'integrazione di Secrets Manager con Amazon EKS?

Breve descrizione

Se i tuoi pod non entrano nello stato In esecuzione, viene visualizzato un errore quando integri Secrets Manager con Amazon EKS. Per risolvere questo problema, controlla i log dei pod del driver dell'Interfaccia di archiviazione del container (CSI) di Secrets Store per individuare i pod non funzionanti.

Risoluzione

Per visualizzare i pod del driver Secrets Store CSI, esegui il seguente comando:

kubectl --namespace=kube-system get pods -l "app=secrets-store-csi-driver"

Per visualizzare i log dei pod Secrets Store CSI, esegui il seguente comando:

kubectl --namespace=kube-system logs -f -l "app=secrets-store-csi-driver"

I seguenti log mostrano che ogni pod sta funzionando bene:

I1120 20:21:19.135834       1 secrets-store.go:74] Driver: secrets-store.csi.k8s.io
I1120 20:21:19.135857       1 secrets-store.go:75] Version: v0.2.0, BuildTime: 2021-08-12-18:55
I1120 20:21:19.135868       1 secrets-store.go:76] Provider Volume Path: /etc/kubernetes/secrets-store-csi-providers
I1120 20:21:19.135874       1 secrets-store.go:77] GRPC supported providers will be dynamically created
I1120 20:21:19.135895       1 driver.go:80] "Enabling controller service capability" capability="CREATE_DELETE_VOLUME"
I1120 20:21:19.135912       1 driver.go:90] "Enabling volume access mode" mode="SINGLE_NODE_READER_ONLY"
I1120 20:21:19.135922       1 driver.go:90] "Enabling volume access mode" mode="MULTI_NODE_READER_ONLY"
I1120 20:21:19.135938       1 main.go:172] starting manager
I1120 20:21:19.136210       1 server.go:111] Listening for connections on address: //csi/csi.sock
I1120 20:21:18.956092       1 exporter.go:33] metrics backend: prometheus

Nota: i pod che eseguono le stesse azioni vengono visualizzati come voci duplicate.

Se SecretProviderClass in volumeMount non esiste nello stesso spazio dei nomi del pod, viene visualizzato il seguente errore:

"Warning FailedMount 3s (x4 over 6s) kubelet, kind-control-plane MountVolume.SetUp failed for volume "secrets-store-inline" : rpc error: code = Unknown desc = failed to get secretproviderclass default/aws, error: secretproviderclasses.secrets-store.csi.x-k8s.io "aws" not found"

SecretProviderClass deve esistere nello stesso spazio dei nomi del pod.

Il driver Secrets Store CSI viene implementato come daemonset. Se i pod del driver CSI non sono in esecuzione sul nodo, viene visualizzato il seguente errore:

"Warning FailedMount 1s (x4 over 4s) kubelet, kind-control-plane MountVolume.SetUp failed for volume "secrets-store-inline" : kubernetes.io/csi: mounter.SetUpAt failed to get CSI client: driver name secrets-store.csi.k8s.io not found in the list of registered CSI drivers"

Se il nodo è contaminato, aggiuungi una tolleranza per la contaminazione nel daemibset del driver Secrets Store CSI.

Controlla se ci sono selettori di nodo che non consentono l'esecuzione dei pod del driver Secrets Store CSI sul nodo:

kubectl --namespace=kube-system describe pods -l "app=secrets-store-csi-driver" | grep Node-Selectors*

Ottieni le etichette associate ai nodi worker nel pod:

kubectl get node --selector=kubernetes.io/os=linux

Confronta i risultati dei comandi precedenti. Assicurati che le etichette corrispondano ai valori del selettore dei nodi.

Controlla se il driver CSI è stato implementato nel cluster e se tutti i pod sono in stato Running:

kubectl get pods -l app=secrets-store-csi-driver -n kube-system

-oppure-

kubectl get daemonset csi-secrets-store-secrets-store-csi-driver -n kube-system

Esempio di output:

kubectl get csidriver
NAME                       ATTACHREQUIRED   PODINFOONMOUNT   MODES       AGE
secrets-store.csi.k8s.io   false            true             Ephemeral   110m

L'output precedente mostra che il driver era stato implementato nel cluster. Se non trovi secrets-store.csi.k8s.io, reinstalla il driver.

Il pod secrets-store-csi-driver-provider-aws è distribuito come daemonset. Se il pod non è in esecuzione nel nodo worker in cui il pod dell'applicazione sta tentando l'avvio, verrà visualizzato l'errore seguente:

"MountVolume.SetUp failed for volume "volumename" : rpc error: code = Unknown desc = failed to mount secrets store objects for pod namespace/pod, err: error connecting to provider "aws": provider not found: provider "aws"" (Errore di MountVolume.SetUp per il volume "volumename" : errore rpc: codice = Sconosciuto descrizione = impossibile montare gli oggetti secrets store per il pod namespace/pod, errore: errore di connessione al provider "aws": provider non trovato: provider "aws")

Per verificare il numero di pod di secrets-store-csi-driver-provider-aws in esecuzione nel cluster e il numero di nodi, esegui i due comandi seguenti:

kubectl get ds csi-secrets-store-provider-aws -n kube-system

kubectl get nodes

Se il parametro desiredNumberScheduled del daemonset è inferiore al numero di nodi nel cluster, controlla il parametro Tolerations del daemonset:

kubectl get ds csi-secrets-store-provider-aws -n kube-system -o yaml

Nell'output del comando, sotto tolerations:, cerca operator: Exists. Se non trovi operator: Exists, questo potrebbe essere il motivo per cui il pod del daemonset secrets-store-csi-driver-provider-aws non è stato eseguito su quel nodo. Il daemonset secrets-store-csi-driver-provider-aws, infatti, non tollera i taint per impostazione predefinita. Per risolvere il problema, aggiungi la tolleranza. Per ulteriori informazioni, consulta Taints and Tolerations sul sito web di Kubernetes.

Se i file inseriti da SecretProviderClass sono più grandi di 4 mebibyte (MiB), potresti ricevere avvisi FailedMount. Il messaggio di errore include grpc: received message larger than max (grpc: messaggio ricevuto più grande del valore massimo). Per accettare risposte di dimensioni superiori a 4 MiB, specifica --max-call-recv-msg-size=dimensione in byte nel container di Secrets Store nel daemonset csi-secrets-store.

Nota: sostituisci dimensione in bytes con la dimensione che desideri che il driver accetti. Poiché risposte di grandi dimensioni possono aumentare il consumo di risorse di memoria del container secrets-store, potrebbe essere necessario aumentare il limite di memoria. Se i problemi persistono, controlla gli eventi del log in ordine cronologico per vedere se si sono verificati altri errori:

kubectl get events -n kube-system --sort-by='.metadata.creationTimestamp'