跳至內容

如何疑難排解 AWS Glue 無法連線至外部資料來源的問題?

2 分的閱讀內容
0

我想疑難排解 AWS Glue 無法連線至外部資料來源的問題。

解決方法

首先,疑難排解測試連線失敗的問題。如果 AWS Glue 仍無法連線至資料來源,請依照您使用的連接器完成以下疑難排解步驟。

OpenSearch 連線問題

如果收到「Cannot detect OpenSearch version」錯誤,請採取以下動作:

  • 在雲端或廣域網路 (WAN) 環境的連線屬性中,將 opensearch.nodes.wan.only 設為 true。
  • 如果您使用 Elasticsearch,請在叢集中輸入以下程式碼,啟用相容模式:
    PUT /_cluster/settings  
    {  
      "persistent": {  
        "compatibility.override_main_response_version": true  
      }  
    }

Kafka 連線問題

Kafka 僅接受 .jks 格式的金鑰儲存區。如果收到「Failed to load SSL keystore」錯誤,請確認金鑰儲存區採用 .jks 格式。

MongoDB 連線問題

請根據您收到的錯誤完成對應的解決方法。

MongoDB 驗證失敗

如果收到「Exception authenticating MongoCredential」錯誤,請確認以下組態:

  • 您的使用者名稱和密碼與應用程式使用的 MongoDB 憑證相符。
  • 驗證方法指定了正確的驗證資料庫。
  • MongoDB 連線網址中的驗證機制和驗證來源格式正確。

如需更多資訊,請參閱 MongoDB 網站上的安裝 Java 資料庫連線 (JDBC) 驅動程式。

AWS Glue 4.0 中的 MongoDB 或 DocumentDB 連線錯誤

如果使用 AWS Glue 4.0 時收到以下錯誤,請確認您已正確設定MongoDB 連接器的屬性和網址格式:

「Mongo/DocumentDB connection URL is not supported.」

如需更多資訊,請參閱 MongoDB 網站上的批次讀取組態選項。

Snowflake 連線錯誤

首先,請確認以下組態:

  • 您的 AWS Glue 作業使用 Snowflake 連線。
  • 您已依照 user、database、role_name 和 warehouse 的順序設定 Snowflake 連線的網址參數。
  • 您的連線符合 AWS Glue 的Snowflake 連接器限制。

接著,請根據您收到的錯誤完成對應的解決方法。

使用 Boto3 建立的連線發生錯誤

如果您使用 Boto3 建立 Snowflake 連線,請檢查是否已正確設定 SparkProperties 參數。

正確設定屬性的組態範例:

{  
     "Connection": {  
         "Name": "Snowflake connection",  
         "Description": "",  
         "ConnectionType": "SNOWFLAKE",  
         "ConnectionProperties": {  
             "SparkProperties": "{\"sfUrl\":\"https://account.snowflakecomputing.com\",\"secretId\":\"mySecret\"}"  
         },  
         "CreationTime": 1708694242.804,  
         "LastUpdatedTime": 1708694242.804,  
         "LastUpdatedBy": "..."  
     }  
 }

HTTP 回應代碼 403

如果收到「HTTP Response code: 403, request: POST」錯誤,請確認 Snowflake 連線的網址、使用者名稱和密碼正確無誤。接著,請確認網路組態正確無誤。如需 Snowflake 角色權限的詳細資訊,請參閱 Snowflake 網站上的存取控制注意事項。

JDBC 通訊錯誤:連線逾時

如果收到「JDBC driver encountered communication」錯誤,請確認連線使用私有子網路。接著,在 AWS Glue 連線的子網路中設定 NAT 閘道,將流量路由至 Snowflake。

Snowflake Marketplace Connector 發生 ConnectTimeoutError

如果收到以下錯誤,請在 AWS Glue 連線的子網路中設定 NAT 閘道:

「Connect timeout on endpoint URL.」

NAT 閘道必須允許存取您的 Amazon Elastic Container Registry (Amazon ECR) 儲存庫。

OCSP 憑證撤銷錯誤

如果收到「Driver is connecting to an HTTPS endpoint without OCSP based Certificate Revocation」錯誤,請停用線上憑證狀態通訊協定 (OCSP) 檢查。如需更多資訊,請參閱 Snowflake 網站上的如何: 在 Snowflake 用戶端驅動程式中關閉 OCSP 檢查。

Teradata Vantage 連線問題

請根據您收到的錯誤完成對應的解決方法。

連線登入逾時

如果收到「Login timeout for connection」錯誤,請確認網路組態允許 AWS Glue 存取 Teradata Vantage 主機。

Mechanism TD2 不支援單一登入

如果收到「Single sign-on not supported for Mechanism TD2」錯誤,請確認網路組態正確無誤。接著,請確認連線字串包含正確的使用者名稱和密碼。請勿使用單一登入憑證。

Vertica 連線問題

請確認網路組態允許 AWS Glue 存取 Vertica 主機。

AWS 官方已更新 2 年前