為什麼 Amazon FSx for Lustre 資料儲存庫關聯無法將檔案匯出至 Amazon S3?

2 分的閱讀內容
0

我想疑難排解 Amazon FSx for Lustre 資料儲存庫關聯 (DRA) 無法將檔案匯出至 Amazon Simple Storage Service (Amazon S3) 的問題。

解決方法

檢查檔案系統設定問題

  • 檢查 FSx for Lustre 資料儲存庫是否設定正確。
  • 請確定檔案系統掛載正確。

檢查匯出設定問題

檢查 FSx for Lustre 資料儲存庫和 Amazon S3 儲存貯體之間的匯出設定。在建立資料儲存庫關聯 (DRA) 時,請確定選取正確的匯出選項。確認資料是否以 UTF-8 相容格式儲存,以便 FSx for Lustre 可以將資料匯出至 S3 儲存貯體。Amazon S3 物件金鑰的最大長度為 1,024 位元組。FSx for Lustre 不會匯出具有 S3 物件金鑰長度超過 1,024 位元組的檔案。

檢閱錯誤和日誌

檢查 FSx for Lustre 日誌和 S3 儲存貯體日誌是否有任何與同步操作相關的錯誤或警告。這些日誌有助於識別所有必須解決的問題。如需詳細資訊,請參閱使用 Amazon CloudWatch Logs 進行記錄。檢查 CloudWatch 上檔案系統的 AgeOfOldestQueuedMessage 指標。此指標可協助您判斷從檔案系統至 S3 的同步處理時間延遲長度。

注意: 若要進一步調查,請檢查與 AgeOfOldestQueuedMessage 開始增加時間對應的錯誤和故障日誌。

如已開啟 FSx for Lustre 檔案系統的記錄功能,則可以在 Cloudwatch/aws/fsx/lustre 日誌群組下找到對應的日誌。如果有無法匯出至 S3 的檔案相關資訊,請使用相對檔案路徑搜尋日誌字串,例如 dir1/file.txt。資料儲存庫任務失敗和自動匯出失敗在日誌群組中有對應的 JSON 物件項目。您可以從這些項目中找到特定的 errorCode。如需有關這些日誌訊息和根本原因的詳細資訊,請參閱資料儲存庫事件日誌

檢查權限問題

確認與 FSx for Lustre 資料儲存庫相關聯的 AWS Identity and Access Management (IAM) 角色具有存取 S3 儲存貯體的必要權限。此 IAM 角色必須具備必要的權限,才能在 S3 儲存貯體上執行所需的操作,例如列出、讀取和寫入物件。如果 IAM 角色沒有正確的權限,同步操作則會失敗。

若要檢查和修改與 FSx for Lustre 資料儲存庫相關聯的 IAM 角色權限,請完成以下步驟:

  1. 開啟 IAM 主控台
  2. 在導覽窗格中,選擇角色
  3. 角色下,搜尋類似於 AWSServiceRoleForFSxS3Access\_fs-01234567890 的 IAM 角色。這是與 FSx for Lustre 資料儲存庫相關聯的 IAM 角色。
  4. 選擇 IAM 角色。
  5. 選擇權限索引標籤以檢閱與角色相關的權限。
  6. 展開附加的客戶內嵌政策。然後,檢閱政策以確保角色具有存取 S3 儲存貯體的必要權限。此角色至少必須具有 s3:ListBuckets3:GetObjects3:PutObject 權限。

請注意,S3 儲存貯體政策必須允許與 FSx for Lustre 資料儲存庫相關聯的 IAM 角色進行存取。此外,請檢查 Amazon S3 主控台中的 S3 儲存貯體政策,必要時修改此政策以允許從 IAM 角色進行存取。

**重要事項:**您必須在下列任一情況下正確設定 AWS Key Management System (AWS KMS) 權限:

  • 您有跨帳戶設定,例如位於不同 AWS 帳戶的檔案系統和 S3 儲存貯體。
  • 您將 AWS KMS 用於 Amazon S3 儲存貯體。

如需詳細資訊,請參閱將檔案系統連結至 S3 儲存貯體

檢查檔案位置

確認檔案位於 DRA 命名空間內。如果檔案不在這些命名空間中,則會遭跳過。例如,如果 DRA 命名空間是 /ns1/dir1/ns1/file.txt 之類的檔案則會遭跳過。

AWS 官方
AWS 官方已更新 10 個月前