跳至内容

为什么我的 Amazon EBS 卷卡滞在正在连接状态?

3 分钟阅读
0

我将 Amazon Elastic Block Store (Amazon EBS) 卷连接到 Amazon Elastic Compute Cloud (Amazon EC2) 实例。10-15 分钟后,Amazon EBS 卷仍处于正在连接状态。

解决方法

注意: 如果您在运行 AWS 命令行界面 (AWS CLI) 命令时收到错误,请参阅排查 AWS CLI 错误。此外,请确保您使用的是最新版本的 AWS CLI。

要对 Amazon EBS 卷卡滞在正在连接状态的问题进行故障排除,请完成以下步骤。

验证实例的卷连接限制

Amazon EC2 实例最多可以有多少 Amazon EBS 卷取决于操作系统 (OS) 和实例类型。如果您的实例达到实例级别限制,请更改实例类型。Linux 和 Windows 实例都有实例卷限制。有关更多信息,请参阅 Amazon EC2 实例的 Amazon EBS 卷限制。

要查看有多少卷连接到您的实例,请运行以下 describe-instances 命令:

aws ec2 describe-instances --instance-ids i-1234567890abcdef0 --query 'Reservations[].Instances[].BlockDeviceMappings[].Ebs.VolumeId'

要解决正在连接状态问题,请参阅更改 Amazon EC2 实例的实例类型。

验证 Amazon EBS 卷的设备名称

将 Amazon EBS 卷连接到 EC2 实例时,您可以为卷指定设备名称。默认情况下,块设备驱动程序会为您创建一个名称。实例的块设备驱动程序会在您挂载卷时为卷分配一个名称。分配的卷名称可能与您创建的名称不同。

要验证设备名称,请在 Amazon EC2 控制台或 AWS CLI 中完成以下步骤:

Amazon EC2 控制台

  1. 打开 Amazon EC2 控制台,然后选择您的 EC2 实例。
  2. 在 Storage(存储)选项卡下,查找已连接 Amazon EBS 卷所列出的 device name(设备名称)(例如 /dev/sdf 或 /dev/xvda)和 Volume ID(卷 ID)。
  3. 验证设备名称。

AWS CLI

  1. 要查找连接到实例的卷的设备名称,请运行 describe-volumes 命令:

    aws ec2 describe-volumes --filters Name=attachment.instance-id,Values=YOUR_INSTANCE_ID --region YOUR_REGION

    注意: 将 YOUR_INSTANCE_ID 替换为您的实例 ID,将 YOUR_REGION 替换为您的 AWS 区域。

  2. 连接到实例,然后运行以下命令查看所有块设备及其挂载点:

    lsblk

有关详细信息,请参阅 Amazon EC2 实例上卷的设备名称。

检查为 Amazon EBS 卷指定的设备名称是否还未使用

连接 Amazon EBS 卷时,需要指定设备名称。例如,您可以指定 /dev/sdf。实例的块设备驱动程序会挂载该卷,并可能在内部分配不同的名称。如果您指定的设备名称已被使用,则连接操作将失败。卷会保持正在连接状态。

发生这种情况的原因可能如下:

  • 块设备驱动程序重新映射设备名称。在从基于硬件虚拟机 (HVM) 的亚马逊机器映像 (AMI) 启动的 EC2 实例上,块设备驱动程序会将 /dev/sda1 重新映射为 /dev/xvda。如果您将辅助 Amazon EBS 卷连接到 /dev/xvda,则操作将失败,因为根卷已使用该设备。
  • 块设备驱动程序尚未释放设备名称。如果您已经使用某个设备名称来连接卷,则块设备驱动程序可能仍保留对该名称的引用。在这种情况下,您无法为新卷使用相同的名称。

要排查设备名称尚未被使用的情况,请根据您的环境执行以下操作:

Linux

要检查实例正在使用的设备名称,请在实例上运行以下命令:

lsblk

输出示例:

NAME    MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
  xvda    202:0    0   8G  0 disk
  └─xvda1 202:1    0   8G  0 part /
  xvdf    202:80   0  10G  0 disk /data
  xvdg    202:96   0  20G  0 disk

输出示例显示该实例使用 /dev/xvda、/dev/xvdf 和 /dev/xvdg。如果您使用这些设备名称中的任何一个来连接新卷,则连接操作将失败。请选择未使用的设备名称,例如 /dev/xvdh。

基于 Nitro 的实例 (NVMe)

Amazon EBS 卷会显示为 NVMe 设备,例如 /dev/nvme0n1,而不是 /dev/xvd*。

要确定连接时指定的设备名称对应哪个 NVMe 设备,请运行以下命令:

lsblk -o NAME,SIZE,MOUNTPOINT,SERIAL

输出示例:

NAME           SIZE MOUNTPOINT SERIAL
nvme0n1          8G            vol0abc1234def567890
└─nvme0n1p1      8G /
nvme1n1         10G /data      vol0def4567abc890123
nvme2n1         20G            vol0789abc123def4560

SERIAL 列显示卷 ID。要检查实例是否已使用该设备名称,请将 SERIAL 列中的卷 ID 与您要连接的卷的卷 ID 进行匹配。

Windows

要查看 Windows EC2 实例上的磁盘配置,请运行以下 PowerShell 命令:

Get-Disk | Format-Table Number, FriendlyName, SerialNumber, Size, PartitionStyle

输出示例:

Number FriendlyName          SerialNumber             Size PartitionStyle
----- ------------          ------------             ---- --------------
  0     Amazon Elastic Block  vol0abc1234def567890    30 GB GPT
  1     Amazon Elastic Block  vol0def4567abc890123    50 GB GPT

输出中列出的磁盘对应已连接的 Amazon EBS 卷。SerialNumber 映射到不带 vol- 前缀的卷 ID。如果您要使用的设备名称已映射到其中一个磁盘,请选择其他设备名称。

有关可用和推荐的设备名称的更多信息,请参阅 Amazon EC2 实例上卷的设备名称。

排查 Amazon EKS 或 Kubernetes 卷连接问题

如果您将 Amazon Elastic Kubernetes Service (Amazon EKS) 与 Amazon EBS Container Storage Interface (CSI) 驱动程序配合使用,则您的卷可能会卡滞在正在连接状态。卷卡住是因为存在过时的 VolumeAttachment 对象。当集群替换节点或节点无法访问时,Kubernetes 会创建过时的 VolumeAttachment 对象,但是 Kubernetes 不会清理旧节点的 VolumeAttachment 资源。过时的对象还可能在新节点尝试连接同一个卷时导致多重挂载错误。

要排查卷挂载问题,请完成以下步骤:

  1. 要检查是否存在过时的挂载,请运行以下命令:

    kubectl get volumeattachments
  2. 查找引用已不存在或处于 NotReady 状态的节点的 VolumeAttachment 对象。

  3. 要删除过时的卷挂载,请运行以下命令:

    kubectl delete volumeattachment YOUR_ATTACHMENT

    注意: 将 YOUR_ATTACHMENT 替换为您的挂载名称。

Amazon EBS CSI 驱动程序会在正确的节点上创建新的挂载。

注意: 在极少数情况下,对于大型集群,节点替换可能生成足够多的 Amazon EC2 API 调用,从而导致节流。如果您在 Amazon EBS CSI 控制器容器组 (pod) 日志中看到 ThrottlingException 错误,请参阅 Amazon EC2 API 的请求节流。

有关更多信息,请参阅如何排查在 Amazon EKS 中挂载 Amazon EBS 卷时出现的问题?

检查是否存在加密或 AWS KMS 密钥权限问题

如果您的卷使用 AWS Key Management Service (AWS KMS) 客户管理型密钥加密,则挂载操作可能会静默失败。然后,您的卷会卡滞在正在连接状态。当执行挂载操作的 AWS Identity and Access Management (IAM) 主体没有所需的 KMS 权限时,操作会失败。

确保 IAM 用户或角色对 KMS 密钥具有以下权限:

  • kms:Decrypt
  • kms:CreateGrant
  • kms:GenerateDataKeyWithoutPlaintext
  • kms:ReEncryptFrom
  • kms:ReEncryptTo
  • kms:DescribeKey

另外,请检查 KMS 密钥策略是否允许该主体使用密钥。如果密钥位于不同账户中,则密钥策略和 IAM 策略都必须向该主体授予对 KMS 密钥的访问权限。有关更多信息,请参阅为什么我无法使用自定义 AWS KMS 密钥来创建或挂载加密的 Amazon EBS 卷?

强制分离并重新挂载卷

重要事项: 在开始之前,请先备份您的数据。有关详细信息,请参阅 Amazon EC2 的最佳实践。

如果上述解决方法不起作用,请完成以下步骤:

  1. 打开 Amazon EC2 控制台。
  2. 在导航窗格中,选择 Volumes(卷),然后选择出现问题的卷。
  3. 选择 Actions(操作),然后选择 Force detach volume(强制分离卷)。
  4. 使用不同的设备名称,然后再次将卷挂载到 EC2 实例。例如,在 Linux 实例中,使用 /dev/sdg 而不是 /dev/sdf。在 Windows 实例中,使用 /dev/xvdg 而不是 /dev/xvdf。
    注意: 实例必须处于正在运行状态。

如果上述故障排除步骤不起作用,或者必须使用不能使用的设备名称,请完成以下步骤:

  1. 重启实例。
  2. 停止并启动实例,将实例迁移到新硬件。

如果在启动和停止实例后问题仍然存在,请联系 AWS Support。

重要事项: 停止实例时,实例存储卷上存储的所有数据都会丢失。有关更多信息,请参阅适用于 EC2 实例的实例存储临时块存储和 Amazon EC2 实例的根卷。

由于 Amazon EBS 服务存在以下问题之一,卷可能会卡滞在正在连接状态:

  • 卷之前可以正常工作,即使您未修改配置,问题也开始出现。
  • 您强制分离并重新挂载了卷,但问题仍然存在。
  • 同一可用区中的多个卷受到影响。

要检查您的 AWS 账户、区域或可用区中是否存在可能导致问题的服务相关事件,请使用 AWS Health Dashboard。如果未列出任何事件且问题仍然存在,请联系 Support。

相关信息

如何为 Amazon EC2 Windows 实例附加和映射卷

为什么我无法将 Amazon EBS 卷连接到 Amazon EC2 实例?

修改卷时,为什么我的 Amazon EBS 卷卡滞在“正在优化”状态?

How do I resolve an Amazon EBS volume that's stuck in the Detaching state?(如何解决卡滞在“正在分离”状态的 Amazon EBS 卷?)

初始化 Amazon EBS 卷

Amazon EBS 快速快照还原

AWS 官方已更新 7 个月前