跳至內容
使用 AWS re:Post 即表示您同意 AWS re:Post 使用條款
AWS re:Postre:Post
關於 re:Post

如何對連線至 Amazon MSK 叢集時遇到的問題進行疑難排解？

7 分的閱讀內容
0

當我嘗試連線到 Amazon Managed Streaming for Apache Kafka (Amazon MSK) 叢集時收到錯誤。

解決方法

與特定驗證類型無關的錯誤

當您嘗試連線到 Amazon MSK 叢集時，無論您使用的驗證類型為何，都可能會遇到以下錯誤之一。

java.lang.OutOfMemoryError： Java 堆積空間

在沒有用戶端屬性檔案的情況下執行叢集操作命令時，您會收到 OutOfMemoryError 錯誤。若要解決此問題，請根據 client.properties 檔案中的驗證類型包含適當的屬性。

僅具有 AWS Identity and Access Management (IAM) 驗證連接埠的命令範例：

./kafka-topics.sh --create --bootstrap-server $BOOTSTRAP:9098 --replication-factor 3 --partitions 1 --topic TestTopic

具有 IAM 驗證連接埠和用戶端屬性檔案的命令範例：

./kafka-topics.sh --create --bootstrap-server $BOOTSTRAP:9098  --command-config client.properties --replication-factor 3 --partitions 1 --topic TestTopic

org.apache.kafka.common.errors.TimeoutException: Timed out waiting for a node assignment.Call: createTopics

當用戶端應用程式與 Amazon MSK 叢集之間存在網路設定錯誤時，您可能會收到 TimeoutException 錯誤。

若要對此問題進行疑難排解，請從用戶端電腦執行以下連線測試：

telnet bootstrap-broker port-number

注意： 使用 Amazon MSK 叢集中的其中一個代理程式地址取代 bootstrap-broker。根據您叢集啟用的驗證，將 port-number 替換為適當的連接埠值。

如果用戶端電腦可以存取代理程式，就不存在連線問題。如果用戶端電腦無法存取代理程式，請檢查網路連線。檢查安全群組的傳入和傳出規則。

org.apache.kafka.common.errors.TopicAuthorizationException: Not authorized to access topics: [test_topic]

當您使用 IAM 驗證且存取政策封鎖主題作業 (如 WriteData 和 ReadData) 時，您會收到 TopicAuthorizationException 錯誤。

注意： 權限界限和服務控制策略 (SPC) 也會封鎖未獲得授權的使用者連線至叢集。

如果您使用非 IAM 的驗證，請檢查是否新增了封鎖作業的主題層級存取控制清單 (ACL)。

執行下列命令以列出套用至主題的 ACL：

bin/kafka-acls.sh --bootstrap-server $BOOTSTRAP:PORT --command-config adminclient-configs.conf --list --topic testtopic

ZooKeeperClientTimeoutException

當用戶端嘗試透過 Apache ZooKeeper 字串連線到叢集時，您可能會收到 ZooKeeperClientTimeoutException 錯誤，並且無法建立連線。當 Apache ZooKeeper 字串不正確時，您也可能會收到此錯誤。

錯誤的 Apache Zookeeper 字串範例：

./kafka-topics.sh --zookeeper z-1.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:2181,z-2.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:2181,z-3.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:2181 --list[2020-04-10 23:58:47,963] WARN Client session timed out, have not heard from server in 10756ms for sessionid 0x0 (org.apache.zookeeper.ClientCnxn)

輸出範例：

[2020-04-10 23:58:58,581] WARN Client session timed out, have not heard from server in 10508ms for sessionid 0x0 (org.apache.zookeeper.ClientCnxn)
[2020-04-10 23:59:08,689] WARN Client session timed out, have not heard from server in 10004ms for sessionid 0x0 (org.apache.zookeeper.ClientCnxn)
Exception in thread "main" kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for connection while in state: CONNECTING
    at kafka.zookeeper.ZooKeeperClient.$anonfun$waitUntilConnected$3(ZooKeeperClient.scala:259)
    at scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.java:23)
    at kafka.utils.CoreUtils$.inLock(CoreUtils.scala:253)
    at kafka.zookeeper.ZooKeeperClient.waitUntilConnected(ZooKeeperClient.scala:255)
    at kafka.zookeeper.ZooKeeperClient.<init>(ZooKeeperClient.scala:113)
    at kafka.zk.KafkaZkClient$.apply(KafkaZkClient.scala:1858)
    at kafka.admin.TopicCommand$ZookeeperTopicService$.apply(TopicCommand.scala:321)
    at kafka.admin.TopicCommand$.main(TopicCommand.scala:54)
    at kafka.admin.TopicCommand.main(TopicCommand.scala)

若要解決此錯誤，請執行下列動作：

  • 確認您使用的是正確的 Apache ZooKeeper 字串。
  • 確認您的 Amazon MSK 叢集的安全群組在 Apache ZooKeeper 連接埠上允許來自用戶端安全群組的傳入流量。

代理程式可能無法使用

「Topic 'topicName' not present in metadata after 60000 ms. or Connection to node -<node-id> (<broker-host>/<broker-ip>:<port>) could not be established.Broker may not be available. (org.apache.kafka.clients.NetworkClient)」

當以下情況之一成立時，您可能會收到上述錯誤：

  • 生產者或取用者無法連線至代理程式主機和連接埠。
  • 代理程式字串不正確。

如果用戶端或代理程式連線最初能正常運作，您仍收到此錯誤，則表示代理程式可能無法使用。

當您使用代理程式字串產生資料以從虛擬私有雲端 (VPC) 外部存取叢集時，您也可能會收到此錯誤。

生產者代理程式字串範例：

./kafka-console-producer.sh --broker-list b-2.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9092,b-1.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9092 --topic test

輸出範例：

[2020-04-10 23:51:57,668] ERROR Error when sending message to topic test with key: null, value: 1 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
org.apache.kafka.common.errors.TimeoutException: Topic test not present in metadata after 60000 ms.

取用者代理程式字串範例：

./kafka-console-consumer.sh --bootstrap-server b-2.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9092,b-1.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9092 --topic test

輸出範例：

[2020-04-11 00:03:21,157] WARN [Consumer clientId=consumer-console-consumer-88994-1, groupId=console-consumer-88994] Connection to node -1 (b-2.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com/172.31.6.19:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
[2020-04-11 00:04:36,818] WARN [Consumer clientId=consumer-console-consumer-88994-1, groupId=console-consumer-88994] Connection to node -2 (b-1.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com/172.31.44.252:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
[2020-04-11 00:05:53,228] WARN [Consumer clientId=consumer-console-consumer-88994-1, groupId=console-consumer-88994] Connection to node -1 (b-2.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com/172.31.6.19:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

若要對該問題進行疑難排解，請執行下列動作：

主題未出現在中繼資料中

「org.apache.kafka.common.errors.TimeoutException： Topic test not present in metadata after 60000 ms」

當您嘗試寫入的主題在 Amazon MSK 中不存在時，就會收到上述錯誤。檢查您的 Amazon MSK 叢集中是否存在該主題。確認您在用戶端組態中使用的是正確的代理程式字串和連接埠。如果該主題不存在，請在 Amazon MSK 中建立主題，或在叢集組態中將 auto.create.enable 設為 true。當 auto.create.enable 設定為 true 時，會自動建立主題。

當主題存在但分區不存在時，您也可能會收到此錯誤。例如，您有一個分區 [0]，而您的生產者嘗試傳送到分區 [1]。

確認 Amazon MSK 叢集的安全群組允許來自用戶端應用程式安全群組的適當連接埠的傳入流量。

如果系統先前正常運作後突然發生錯誤，請採取下列步驟檢查 Amazon MSK 代理程式的狀態：

  • 檢查 ActiveControllerCount 指標。該值必須為 1。當該指標為其他值時，表示叢集中的某個代理程式無法使用。
  • 檢查 ZooKeeprSessionState 指標，以確認代理程式與 ZooKeeper 節點持續保持通訊。
  • 監控 KafkaDataLogsDiskUsed 指標，以確保代理程式的儲存空間沒有用盡。

確認您沒有嘗試在沒有正確組態的情況下從 VPC 外部存取叢集。預設情況下，Amazon MSK 資源是在 VPC 中佈建。您必須透過同一 VPC 中的私有網路進行連線。

如果您嘗試從 VPC 外部存取叢集，請務必設定必要的網路組態，例如 AWS Client VPN 或 AWS Direct Connect。

Kafka 用戶端生產者或取用者組態不正確

若要解決 Kafka 用戶端生產者或取用者的錯誤組態，請確認用戶端的組態是否包含正確的啟動程序伺服器。還要確認設定包括必要的安全設定，以及 Kafka-client 和 Spring Boot 的相容版本。

特定於 TLS 用戶端驗證的錯誤

啟動程序代理程式已中斷連線

「Bootstrap broker <broker-host>:9094 (id: -<broker-id> rack: null) disconnected」

當您嘗試連線至已啟用 SSL/TLS 用戶端驗證的叢集時，可能會收到上述錯誤。

當生產者或取用者嘗試透過 TLS 連接埠 9094 連線到 SSL/TLS 加密叢集，但不傳遞 SSL/TLS 組態時，您也可能會收到此錯誤。若要解決此問題，請設定 SSL/TLS 組態。

在以下範例中，當生產者嘗試連線到叢集時發生錯誤：

./kafka-console-producer.sh --broker-list b-2.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9094,b-1.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9094 --topic test[2020-04-10 18:57:58,019] WARN [Producer clientId=console-producer] Bootstrap broker b-1.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9094 (id: -2 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)

輸出範例：

[2020-04-10 18:57:58,342] WARN [Producer clientId=console-producer] Bootstrap broker b-1.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9094 (id: -2 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
[2020-04-10 18:57:58,666] WARN [Producer clientId=console-producer] Bootstrap broker b-2.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9094 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)

在以下範例中，當取用者嘗試連線到叢集時發生錯誤：

./kafka-console-consumer.sh --bootstrap-server b-2.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9094,b-1.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9094 --topic test[2020-04-10 19:09:03,277] WARN [Consumer clientId=consumer-console-consumer-79102-1, groupId=console-consumer-79102] Bootstrap broker b-2.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9094 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)

輸出範例：

[2020-04-10 19:09:03,596] WARN [Consumer clientId=consumer-console-consumer-79102-1, groupId=console-consumer-79102] Bootstrap broker b-2.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9094 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
[2020-04-10 19:09:03,918] WARN [Consumer clientId=consumer-console-consumer-79102-1, groupId=console-consumer-79102] Bootstrap broker b-1.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9094 (id: -2 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)

如果您的叢集啟用了用戶端驗證，則必須為您的 AWS 私有憑證授權單位包含其他參數。如需詳細資訊，請參閱 Amazon MSK 的相互 TLS 用戶端驗證。

金鑰存放區存取錯誤

「ERROR Modification time of key store could not be obtained: <configure-path-to-truststore>」

- 或 -

「Failed to load keystore」

當您的信任存放區設定錯誤，並為生產者和取用者載入信任存放區檔案時，可能會收到上述錯誤。若要解決此問題，請在 SSL/TLS 組態中提供正確的信任存放區檔案路徑。

錯誤的取用者代理程式字串範例：

./kafka-console-consumer --bootstrap-server b-2.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9094,b-1.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9094 --topic test --consumer.config /home/ec2-user/ssl.config

輸出範例：

[2020-04-11 10:39:12,194] ERROR Modification time of key store could not be obtained: /home/ec2-ser/certs/kafka.client.truststore.jks (org.apache.kafka.common.security.ssl.SslEngineBuilder)
java.nio.file.NoSuchFileException: /home/ec2-ser/certs/kafka.client.truststore.jks
[2020-04-11 10:39:12,253] ERROR Unknown error when running consumer: (kafka.tools.ConsoleConsumer$)  
Caused by: org.apache.kafka.common.KafkaException: org.apache.kafka.common.KafkaException: org.apache.kafka.common.KafkaException: Failed to load SSL keystore /home/ec2-ser/certs/kafka.client.truststore.jks of type JKS

當您的信任存放區或金鑰存放區檔案損壞，或信任存放區檔案密碼不正確時，也可能會出現此錯誤。

SSL/TLS 信號交換失敗

「Error when sending message to topic test with key: null, value: 0 bytes with error (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) org.apache.kafka.common.errors.SslAuthenticationException: SSL handshake failed」

- 或 -

「Connection to node -<broker-id> (<broker-hostname>/<broker-hostname>:9094) failed authentication due to: SSL handshake failed (org.apache.kafka.clients.NetworkClient)」

當您未正確設定生產者或取用者的金鑰存放區並發生驗證失敗時，您可能會收到上述錯誤之一。請確定您已正確設定金鑰存放區。

生產者金鑰儲存區的錯誤代理程式字串範例：

./kafka-console-producer --broker-list b-2.tlscluster.5818ll.c7.kafka.us-east-1.amazonaws.com:9094,b-1.tlscluster.5818ll.c7.kafka.us-east-1.amazonaws.com:9094,b-4.tlscluster.5818ll.c7.kafka.us-east-1.amazonaws.com:9094 --topic example --producer.config/home/ec2-user/ssl.config

輸出範例：

[2020-04-11 11:13:19,286] ERROR [Producer clientId=console-producer] Connection to node -3 (b-4.tlscluster.5818ll.c7.kafka.us-east-1.amazonaws.com/172.31.6.195:9094) failed authentication due to: SSL handshake failed (org.apache.kafka.clients.NetworkClient)

取用者金鑰儲存區的錯誤代理程式字串範例：

./kafka-console-consumer --bootstrap-server b-2.tlscluster.5818ll.c7.kafka.us-east-1.amazonaws.com:9094,b-1.tlscluster.5818ll.c7.kafka.us-east-1.amazonaws.com:9094,b-4.tlscluster.5818ll.c7.kafka.us-east-1.amazonaws.com:9094 --topic example --consumer.config/home/ec2-user/ssl.config

輸出範例：

[2020-04-11 11:14:46,958] ERROR [Consumer clientId=consumer-1, groupId=console-consumer-46876] Connection to node -1 (b-2.tlscluster.5818ll.c7.kafka.us-east-1.amazonaws.com/172.31.15.140:9094) failed authentication due to: SSL handshake failed (org.apache.kafka.clients.NetworkClient)
[2020-04-11 11:14:46,961] ERROR Error processing message, terminating consumer process: (kafka.tools.ConsoleConsumer$)
org.apache.kafka.common.errors.SslAuthenticationException: SSL handshake failed

金鑰存放區密碼不正確

「java.io.IOException: keystore password was incorrect」

當金鑰存放區或信任存放區的密碼不正確時，您可能會收到上述錯誤。

若要解決此問題，請執行下列命令，以檢查金鑰存放區或信任存放區密碼是否正確：

keytool -list -keystore kafka.client.keystore.jksEnter keystore password:
Keystore type: PKCS12
Keystore provider: SUN
Your keystore contains 1 entry
schema-reg, Jan 15, 2020, PrivateKeyEntry,
Certificate fingerprint (SHA1): 4A:F3:2C:6A:5D:50:87:3A:37:6C:94:5E:05:22:5A:1A:D5:8B:95:ED

如果金鑰存放區或信任存放區的密碼不正確，您會收到以下錯誤：

「keytool error: java.io.IOException: keystore password was incorrect」

若要查看上一個命令的詳細輸出，請新增 -v 旗標：

keytool -list -v -keystore kafka.client.keystore.jks

您也可以執行上述命令來檢查金鑰存放區是否已損壞。

當生產者和取用者 SSL/TLS 組態中未正確設定與別名相關的金鑰時，您也可能會收到此錯誤。若要檢查是否有此問題，請執行以下命令：

keytool -keypasswd -alias schema-reg -keystore kafka.client.keystore.jks

如果別名密碼的密碼正確，則會要求您輸入金鑰的新密碼：

Enter keystore password:
Enter key password for <schema-reg>
New key password for <schema-reg>:
Re-enter new key password for <schema-reg>:

否則，該命令將失敗，並顯示以下訊息：

「keytool error: java.security.UnrecoverableKeyException: Get Key failed: Given final block not properly padded.Such issues can arise if a bad key is used during decryption.」

若要確認別名是否是金鑰存放區的一部分，請執行以下命令：

keytool -list -keystore kafka.client.keystore.jks -alias schema-reg

輸出範例：

Enter keystore password:
schema-reg, Jan 15, 2020, PrivateKeyEntry,
Certificate fingerprint (SHA1): 4A:F3:2C:6A:5D:50:87:3A:37:6C:94:5E:05:22:5A:1A:D5:8B:95:ED

特定於 IAM 用戶端驗證的錯誤

驗證失敗，拒絕存取

「Connection to node -1 (b-1.testcluster.abc123.c2.kafka.us-east-1.amazonaws.com/10.11.111.123:9098) failed authentication due to: Access denied」

- 或 -

「org.apache.kafka.common.errors.SaslAuthenticationException: Access denied」

當存取政策、權限界限和 SCP 封鎖未通過所需授權的使用者時，您會收到上述錯誤之一。

若要解決此問題，請使用 IAM 存取控制來確保 IAM 角色可以執行叢集作業。

SaslAuthenticationException

「org.apache.kafka.common.errors.SaslAuthenticationException: Too many connects」

- 或 -

「org.apache.kafka.common.errors.SaslAuthenticationException: Internal error」

當您在具有 IAM 存取控制的 kafka.t3.small 代理程式類型上執行叢集，並且超出連線配額時，您會收到上述錯誤。kafka.t3.small 執行個體類型每秒只接受每個代理程式一個 TCP 連線。當您超出連線配額時，建立測試將會失敗。如需詳細資訊，請參閱 Amazon MSK 如何與 IAM 搭配使用。

若要解決這些問題，請執行以下動作：

特定於 SASL/SCRAM 用戶端驗證的錯誤

**用戶端 SASL 機制已關閉 **

「Connection to node -1 (b-1-testcluster.abc123.c7.kafka.us-east-1.amazonaws.com/3.11.111.123:9098) failed authentication due to: Client SASL mechanism 'SCRAM-SHA-512' not enabled in the server, enabled mechanisms are [AWS_MSK_IAM]」

- 或 -

「Connection to node -1 (b-1-testcluster.abc123.c7.kafka.us-east-1.amazonaws.com/3.11.111.123:9096) failed authentication due to: Client SASL mechanism 'AWS_MSK_IAM' not enabled in the server, enabled mechanisms are [SCRAM-SHA-512]」

當連接埠號碼與用戶端屬性檔案中的簡單驗證和安全層 (SASL) 機制不符時，您會收到上述錯誤。這是您在命令中用於執行叢集作業的屬性檔案。

若要與使用簡單驗證和安全層/加鹽挑戰回應驗證機制 (SASL/SCRAM) 的叢集中的代理程式進行通訊，請使用下列連接埠：

  • 連接埠 9096 用於從 AWS 內部存取
  • 連接埠 9196 用於公開存取

若要與使用 IAM 存取控制的叢集中代理程式進行通訊，請使用連接埠 9098 從 AWS 內部存取，使用連接埠 9198 進行公共存取。

SASL 憑證認證錯誤

「Connection to node -1 (b-3.testcluster.abc123.c2.kafka.us-east-1.amazonaws.com/10.11.111.123:9096) failed authentication due to: Authentication failed during authentication due to invalid credentials with SASL mechanism SCRAM-SHA-512」

請確認您已將使用者憑證儲存在 AWS Secrets Manager，並將該憑證與 Amazon MSK 叢集建立關聯。

當您透過連接埠 9096 存取叢集時，AWS Secrets Manager 中的使用者和密碼必須與用戶端屬性相同。

當您執行 get-secret-value 命令來擷取金鑰時，請確保 AWS Secrets Manager 中的密碼不包含任何特殊字元。

ClusterAuthorizationException

「org.apache.kafka.common.errors.ClusterAuthorizationException: Request Request(processor=11, connectionId=INTERNAL_IP-INTERNAL_IP-0, session=Session(User:ANONYMOUS,/INTERNAL_IP), listenerName=ListenerName(REPLICATION_SECURE), securityProtocol=SSL, buffer=null) is not authorized」

當以下兩個條件都成立時，您會收到上述錯誤：

  • 您的 Amazon MSK 叢集已啟用 SASL/SCRAM 驗證。
  • 在叢集的 ACL 中，resourceType 設定為 CLUSTER，operation 設定為 CLUSTER_ACTION。

Amazon MSK 叢集不支援上述設定，因為這些設定會封禁止內部 Apache Kafka 複製。在代理程式之間的通訊中，代理程式的身分顯示為 ANONYMOUS。如果您的叢集必須支援 ACL 並使用 SASL/SCRAM 驗證，則允許 ANONYMOUS 使用者使用 ALL 作業。

執行以下命令，將 ALL 作業授權給 ANONYMOUS 使用者：

./kafka-acls.sh --authorizer-propertieszookeeper.connect=example-ZookeeperConnectString --add --allow-principal User:ANONYMOUS --operation ALL --cluster

相關資訊

連線到 Amazon MSK 佈建叢集

如何對使用 Amazon MSK 叢集和 SASL/SCRAM 驗證時的常見問題進行疑難排解？

主題
Analytics
標籤
Amazon Managed Streaming for Apache Kafka (Amazon MSK)
語言
中文 (繁體)
AWS 官方已更新 1 年前
沒有評論

相關內容