为什么 Amazon FSx for Lustre 数据存储库关联无法将文件导出到 Amazon S3?

2 分钟阅读
0

我想解决 Amazon FSx for Lustre 数据存储库关联 (DRA) 无法将文件导出至 Amazon Simple Storage Service (Amazon S3) 这一问题。

解决方法

查找文件系统配置问题

  • 检查 FSx for Lustre 数据存储库配置是否正确。
  • 确保文件系统已正确装载。

查找导出配置问题

检查 FSx for Lustre 数据存储库和 Amazon S3 桶之间的导出配置。在创建数据存储库关联 (DRA) 时,请确保选择正确的导出选项。验证数据是否以 UTF-8 兼容格式存储,以便 FSx for Lustre 可以将数据导出至 S3 桶。Amazon S3 对象密钥最大长度为 1024 字节。FSx for Lustre 不会导出 S3 对象密钥长度超过 1024 字节的文件。

查看错误和日志

查看 FSx for Lustre 日志和 S3 桶日志中是否存在与同步操作相关的错误或警告。这些日志可帮助发现任何必须解决的问题。有关更多信息,请参阅使用 Amazon CloudWatch Logs 进行日志记录。在 CloudWatch 上查看文件系统的 AgeOfOldestQueuedMessage 指标。此指标可帮助您确定从文件系统到 S3 的同步延迟了多长时间。

**注意:**要进一步调查,请查看与 AgeOfOldestQueuedMessage 开始增长的时间相对应的错误和故障日志。

如已开启 FSx for Lustre 文件系统的日志记录,则可在 Cloudwatch/aws/fsx/lustre 日志组下找到相应的日志。如有无法导出到 S3 的文件的信息,请使用相对文件路径搜索日志字符串,如 dir1/file.txt。数据存储库任务失败和自动导出失败在日志组中有相应的 JSON 对象条目。可以从这些条目中找到特定的 errorCode。有关这些日志消息和根本原因的更多信息,可参阅数据存储库事件日志

查找权限问题

确认与 FSx for Lustre 数据存储库关联的 AWS Identity and Access Management (IAM) 角色具有访问 S3 桶所需的权限。此 IAM 角色必须具有必要的权限才能在 S3 桶上执行所需操作,例如列出、读取和写入对象。如果 IAM 角色没有正确的权限,则同步操作将失败。

要检查和修改与 FSx for Lustre 数据存储库关联的 IAM 角色的权限,请完成以下步骤:

  1. 打开 IAM 控制台
  2. 在导航窗格中,选择角色
  3. 角色下,搜索类似于 AWSServiceRoleForFSxS3Access\_fs-01234567890 的 IAM 角色。这是与 FSx for Lustre 数据存储库关联的 IAM 角色。
  4. 选择 IAM 角色。
  5. 选择权限选项卡,以查看与角色关联的权限。
  6. 扩展所附的客户内联政策。然后,查看策略,确保该角色具有访问 S3 桶所需的权限。此角色起码必须有 s3:ListBuckets3:GetObject 以及 s3:PutObject 权限。

请注意,S3 桶策略必须允许与 FSx for Lustre 数据存储库关联的 IAM 角色进行访问。此外,请在 Amazon S3 控制台中查看 S3 桶策略,必要时修改此策略以允许 IAM 角色进行访问。

**重要事项:**须针对以下任一条件,正确配置 AWS Key Management System (AWS KMS) 权限:

  • 您拥有跨账户设置,例如位于不同 AWS 账户中的文件系统和 s3 桶。
  • 您将 AWS KMS 用于 Amazon S3 桶。

有关更多信息,请参阅将文件系统关联到 S3 桶

查找文件位置

确认文件位于 DRA 命名空间中。如果文件不在这些命名空间中,则系统会跳过它们。例如,如果 DRA 命名空间为 /ns1/dir1/,则会跳过诸如 ns1/file.txt 的文件。

AWS 官方
AWS 官方已更新 10 个月前