スキップしてコンテンツを表示
AWS re:Postを使用することにより、以下に同意したことになります AWS re:Post 利用規約
AWS re:Postre:Post
re:Postに関して

Amazon MSK Connect を使用してコネクタを作成する際のエラーをトラブルシューティングする方法を教えてください。

所要時間3分
0

Amazon Managed Streaming for Apache Kafka (Amazon MSK) Connect を使用してコネクタを作成する際、エラーが発生します。

解決策

"Last operation failed" エラー

MSK Connect がコネクタを作成できず、コネクタが Failed ステータスに移行した場合、次のエラーメッセージが表示されます。

"There is an issue with the connector Code: UnknownError.UnknownMessage: The last operation failed.Retry the operation."

障害の原因を特定するには、MSK Connect のログイベントを確認します。

"Required field is missing" エラー

構成の最後にキャリッジリターン (/r) 文字を使用した場合、次のエラーメッセージが表示されます。

"Invalid parameter connectorConfiguration: The following required field is missing or has invalid value: tasks.max"

この問題を解決するには、次の手順を実行します。

  • コネクタ構成のダイアログボックスに構成情報を手動で入力します。別のソースから構成情報をコピーペーストすることは避けてください。
  • Windows オペレーティングシステム (OS) では、テキストエディタを使用してキャリッジリターンとラインフィード (CRLF) 文字、および行末 (EOL) 文字を削除します。キャリッジリターンを削除するには、構成をコピーしてテキストエディタに貼り付けます。テキストエディタで [表示] を選択し、[シンボルを表示] を選択します。次に、[すべての文字を表示] を選択します。すべての CRLF 文字 (\r\n) をラインフィード (LF) 文字 (\n) に置き換えます。

"Invalid parameter" エラー

MSK Connect サービスリンクロールを使用してコネクタを作成した場合、次のエラーメッセージが表示されます。

"Invalid parameter serviceExecutionRoleArn: A service linked role ARN cannot be provided as service execution role ARN."

サービスリンクロール AWSServiceRoleForKafkaConnect をサービス実行ロールとして使用することはできません。代わりに、別途サービスロールを作成する必要があります。次に、コネクタが使用するためのロールを指定します。

"Failed to find any class that implements Connector" エラー

次のエラーメッセージが表示されます。

"org.apache.kafka.connect.errors.ConnectException: Failed to find any class that implements Connector and which name matches..."

この問題を解決するには、次の手順を実行します。

  • コネクタ構成に含まれる CRLF 文字を削除します。
  • コネクタプラグインが複数のファイルを必要とする場合は、圧縮ファイルに各ファイルを含めます。圧縮ファイル内の JAR ファイルにも、プラグインで想定されるファイル構造が必要です。MSK Connect でログを有効にしてレビューすることで、ファイル構造の適切性を確認することをおすすめします。

"TimeOutException" エラー

コネクタが MSK クラスターにアクセスできない場合、次のエラーメッセージが表示されます。

"org.apache.kafka.common.errors.TimeoutException: Timed out waiting to send the call.Call: fetchMetadata"

上記のエラーメッセージを解決するには、次の手順を実行します。

"SaslAuthenticationException" エラー

MSK クラスターが AWS Identity and Access Management (IAM) アクセス制御が設定された kafka.t3.small ブローカータイプで実行されている場合は、接続クォータを確認します。kafka.t3.small インスタンスタイプは、1 秒につき、ブローカーごとに 1 つの TCP 接続のみを受け入れます。

接続クォータを超過した場合、作成テストが失敗し、次のエラーメッセージが表示されます。

"org.apache.kafka.common.errors.SaslAuthenticationException: Too many connects"

MSK クラスターと IAM アクセス制御の詳細については、「Amazon MSK と IAM の連携メカニズム」を参照してください。

"SaslAuthenticationException" エラーを解決するには、次のいずれかの手順を実行します。

"Unable to connect to S3" エラー

コネクタが Amazon Simple Storage Service (Amazon S3) に接続できない場合、次のエラーメッセージが表示されます。

"org.apache.kafka.connect.errors.ConnectException: com.amazonaws.SdkClientException: Unable to execute HTTP request: Connect to s3.us-east-1.amazonaws.com:443 failed: connect timed out"

この問題を解決するには、クラスターの VPC から Amazon S3 への Amazon Virtual Private Cloud (Amazon VPC) エンドポイントを作成する必要があります。

次の手順を実行します。

  1. Amazon VPC コンソールを開きます。
  2. ナビゲーションペインで [エンドポイント] を選択します。
  3. [エンドポイントを作成] を選択します。
  4. [タイプ] で [AWS サービス] を選択します。
  5. [サービス] で [サービス名] のフィルターを選択し、com.amazonaws.region.s3 を選択します。
    注: region を実際の AWS リージョンに置き換えてください。
  6. [タイプ] フィルターを選択し、[ゲートウェイ] を選択します。
  7. [VPC] でクラスターの VPC を選択します。
  8. [ルートテーブル] でクラスターのサブネットに関連付けられたルートテーブルを選択します。
  9. [エンドポイントを作成] を選択します。

Firehose で発生する "Unable to execute HTTP request" エラー

コネクタが Amazon Data Firehose に接続できない場合、次のエラーメッセージが表示されます。

"org.apache.kafka.connect.errors.ConnectException: com.amazonaws.SdkClientException: Unable to execute HTTP request: Connect to firehose.us-east-2.amazonaws.com:443 failed: connect timed out"

この問題を解決するには、上記セクションの手順を実行し、クラスターの VPC から Amazon Data Firehose への VPC エンドポイントを作成します。[サービス名] で com.amazonaws.region.kinesis-firehose をフィルターします。

"Access denied" エラー

MSK Connect の IAM ユーザーにはコネクタの作成に必要な権限が欠けている場合、次のエラーメッセージが表示されます。

"Connection to node - 1 (b1.<cluster>.<region>.amazonaws.com) failed authentication due to : Access Denied"

MSK Connect でコネクタを作成する場合、その操作に使用する IAM ロールを指定する必要があります。MSK Connect がロールを引き受けるには、サービス実行ロールに次の信頼ポリシーが必要です。

{    "Version": "2012-10-17",
    "Statement": [{
        "Effect": "Allow",
        "Principal": {
            "Service": "kafkaconnect.amazonaws.com"
        },
        "Action": "sts:AssumeRole",
        "Condition": {
            "StringEquals": {
                "aws:SourceAccount": "Account-ID"
            },
            "ArnLike": {
                "aws:SourceArn": "MSK-Connector-ARN"
            }
        }
    }]
}

コネクタで使用する MSK クラスターが IAM 認証を使用する場合、コネクタのサービス実行ロールに次の権限ポリシーを追加する必要があります。

{    "Version": "2012-10-17",
    "Statement": [{
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:Connect",
                "kafka-cluster:DescribeCluster"
            ],
            "Resource": [
                "cluster-arn"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:ReadData",
                "kafka-cluster:DescribeTopic"
            ],
            "Resource": [
                "ARN of the topic that you want a sink connector to read from"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:WriteData",
                "kafka-cluster:DescribeTopic"
            ],
            "Resource": [
                "ARN of the topic that you want a source connector to write to"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:CreateTopic",
                "kafka-cluster:WriteData",
                "kafka-cluster:ReadData",
                "kafka-cluster:DescribeTopic"
            ],
            "Resource": [
                "arn:aws:kafka:region:account-id:topic/cluster-name/cluster-uuid/__amazon_msk_connect_*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:AlterGroup",
                "kafka-cluster:DescribeGroup"
            ],
            "Resource": [
                "arn:aws:kafka:region:account-id:group/cluster-name/cluster-uuid/__amazon_msk_connect_*",
                "arn:aws:kafka:region:account-id:group/cluster-name/cluster-uuid/connect-*"
            ]
        }
    ]
}

詳細については、「承認ポリシーリソース」を参照してください。

"Failed to find AWS IAM Credentials" エラー

コネクタの作成に使用した IAM ロールには必要な権限が欠けている場合、次のエラーメッセージが表示されます。

"ERROR Connection to node -3 (b-1.<cluster>.<region>.amazonaws.com/INTERNAL\ _IP) 認証が失敗した理由は次のとおりです。 エラー :(java.security .PrivilegedActionException: javax.security .sasl.saslException: Failed to find AWS IAM Credentials [Caused by aws_msk_iam_auth_shadow.com.amazonaws.SdkClientException: Unable to load AWS credentials from any ...........Unable to load AWS credentials from environment variables (AWS_ACCESS_KEY_ID (or AWS_ACCESS_KEY) and AWS_SECRET_KEY (or AWS_SECRET_ACCESS_KEY))"

上記のエラーメッセージをトラブルシューティングするには、コネクタの IAM ロールのアクセスポリシーと信頼関係を確認します。詳細については、「サービス実行ロールについて」を参照してください。

関連情報

Kafka-Kinesis-Connector を使用して Amazon MSK クラスターに接続する方法を教えてください

MSK Connect について

Amazon MSK クラスターのトラブルシューティング

トピック
Analytics
タグ
Amazon Managed Streaming for Apache Kafka (Amazon MSK)
言語
日本語
AWS公式更新しました 8ヶ月前
コメントはありません

関連するコンテンツ