如何解决我在尝试创建 Amazon MSK 复制器时遇到的错误?

3 分钟阅读
0

我想解决我在尝试创建新的 Amazon Managed Streaming for Apache Kafka (Amazon MSK) 复制器时遇到的错误。

解决方法

创建 MSK 复制器时,可能会收到一种或多种类型的错误消息。确定错误并按照相关说明进行故障排除。

错误: “Invalid parameter kafkaCluster: The subnets in the source and target Amazon MSK clusters have partial overlap.Keep it distinct or have complete overlap.(无效的参数 kafkaCluster:源和目标 Amazon MSK 集群中的子网存在部分重叠。保持彼此不同或完全重叠。)”

当源集群和目标集群的子网部分重叠时,就会出现此错误。这意味着您必须为源集群和目标集群选择相同的子网。或者,必须为每个 MSK 集群选择不同的子网。

错误: “There is an issue with your replicator Code: InvalidInput.InvalidKafkaCluster Message: The specified Amazon MSK Cluster has less than 3 brokers.Cluster ARN: arn:aws:kafka:us-east-1:012345678911:cluster/mTls/ad3edd97-d6d9-479c-a886-fb56f3749b01-11.(您的复制器代码存在问题:InvalidInput.InvalidKafkaCluster 消息:指定的 Amazon MSK 集群拥有少于三个代理。集群 ARN:arn:aws:kafka:us-east-1:012345678911:cluster/mTls/ad3edd97-d6d9-479c-a886-fb56f3749b01-11。)”

当您的源或目标 MSK 集群配置的代理少于三个时,就会出现此错误。如果您对 MSK 集群使用两个可用区 (AZ),请在 MSK 复制器的两个可用区中总共创建四个代理。

错误: “There is an issue with your replicator Code: InvalidInput.InvalidKafkaCluster Message: IAM Auth is not enabled for the Amazon MSK Cluster arn:aws:kafka:us-east-1:012345678911:cluster/targetMSK/1e01c82c-66d0-4d09-8bae-6f47e8ad9c81-11.(您的复制器代码存在问题:InvalidInput.InvalidKafkaCluster 消息:未对 Amazon MSK 集群 arn:aws:kafka:us-east-1:012345678911:cluster/targetMSK/1e01c82c-66d0-4d09-8bae-6f47e8ad9c81-11 启用 IAM 身份验证。)”

当您的源 MSK 集群具有 AWS Identity and Access Management (IAM) 身份验证但目标集群没有,则会收到此错误。确保您的源集群和目标集群均已激活身份验证。

错误: “There is an issue with your replicator Code: InvalidInput.InvalidVpcConfig Message: The subnet(s) you have provided for Amazon MSK Clusters do not belong to the same Availability Zones.(您的复制器代码存在问题:InvalidInput.InvalidVpcConfig 消息:您为 Amazon MSK 集群提供的子网不属于同一个可用区。)”

如果您的源 MSK 集群可用区和目标 MSK 集群可用区不相关,则会收到错误。

要解决此错误,请确保源和目标 MSK 集群的可用区重叠。但是,两个 MSK 集群的子网定义必须保持彼此不同或完全重叠。

错误: “There is an issue with your Replicator Code: InvalidInput.UnsupportedBrokerInstanceType Message: The Broker Instance Type is not supported for cluster ARN: arn:aws:kafka:us-east-2:012345678911:cluster/Cross-region/d65a6e2e-c6ee-4805-a5cf-5328ac349a94-6, please use a different Instance Type.(您的复制器代码存在问题:InvalidInput.UnsupportedBrokerInstanceType 消息:以下集群 ARN 不支持代理实例类型:arn:aws:kafka:us-east-2:012345678911:cluster/Cross-region/d65a6e2e-c6ee-4805-a5cf-5328ac349a94-6,请使用不同的实例类型。)”

MSK 复制器不支持 Kafka T3.small 实例类型。确保您的源和目标 MSK 集群的实例类型为 Kafka M5.large 或更高版本。有关详细信息,请参阅使用 AWS 管理控制台更新代理类型

错误: “The MSK source cluster must have a cluster-based permissions policy.(MSK 源集群必须拥有基于集群的权限策略。)”

出现此错误是因为您在跨区域的源 MSK 集群中激活了多虚拟私有云(多 VPC),但没有定义基于集群资源的策略。

确保您的跨区域 MSK 复制器拥有足够的权限使用 AWS PrivateLink 连接您的源 MSK 集群。按照以下步骤更新您的基于资源的集群策略:

  1. 登录 Amazon MSK 控制台
  2. 在左侧面板中,选择 Clusters(集群)。然后,选择 Properties(属性)选项卡。
  3. Security settings(安全设置)下,选择 Edit cluster policy(编辑集群策略)
  4. 将主体替换为您的账户 ID。

有关策略权限的详细信息,请参阅多 VPC 私有连接的权限

错误: “There is an issue with your Replicator Code: ConnectivityError.SourceBrokerUnreachable Message: The source Kafka broker is not reachable, please check network connectivity.(您的复制器代码存在问题:ConnectivityError.SourceBrokerUnreachable 消息:无法访问源 Kafka 代理,请检查网络连接。)”

当您的源 MSK 集群的安全组没有所需的入站和出站规则时,就会出现此错误。

例如,对于您的源安全组 (sg-0f2c249b8675a8d9f) 和目标安全组 (sg-0bc6196de6bc0f028),规则如下:

Inbound Rule:  
~~~~~~~~~~~~~~  
- Allow 'All traffic' from both cluster Security Group sg-0f2c249b8675a8d9f and sg-0bc6196de6bc0f028.  

Outbound Rule:  
~~~~~~~~~~~~~~  
- Allow all traffic to 0.0.0.0/0. Or, you can also provide VPC CIDR range of Target MSK cluster.

有关详细信息,请参阅选择您的源集群

错误: “There is an issue with your replicator Code: ConnectivityError.TargetBrokerUnreachable Message: The target Kafka broker is not reachable, please check network connectivity.(您的复制器代码存在问题:ConnectivityError.TargetBrokerUnreachable 消息:无法访问目标 Kafka 代理,请检查网络连接。)”

当目标 MSK 集群的安全组没有所需的入站和出站规则时,就会收到此错误。

例如,对于您的源安全组 (sg-0f2c249b8675a8d9f) 和目标安全组 (sg-0bc6196de6bc0f028),规则如下:

Inbound Rule:  
~~~~~~~~~~~~~~  
- Allow 'All traffic' from both cluster Security Group sg-0f2c249b8675a8d9f and sg-0bc6196de6bc0f028.  

Outbound Rule:  
~~~~~~~~~~~~~~  
- Allow all traffic to 0.0.0.0/0. Or, you can also provide VPC CIDR range of Source MSK cluster.

有关详细信息,请参阅选择您的目标集群

相关信息

创建 Amazon MSK 复制器的要求和注意事项

对 MSK 复制器进行故障排除

AWS 官方
AWS 官方已更新 10 个月前