如何解决我的 Lambda 函数中 DynamoDB Streams 存在的问题？

2 分钟阅读

我想通过我的 AWS Lambda 函数使用 Amazon DynamoDB Streams 或解决存在的问题。

解决方法

以下是使用带 Lambda 函数的 DynamoDB Streams 时的常见问题：

在 DynamoDB 表上打开 DynamoDB 流时，Amazon DynamoDB 会为每个分区关联一个分片。例如，如果您的 DynamoDB 表有 10 个分区，在此表上启用了 DynamoDB Streams，则您有 10 个分片。

如果表中的分区数量增加，则流中的分片数量也会增加。

DynamoDB 表上的每个分区最多可以处理 3000 个读取容量单位 (RCU)、1000 个写入容量单位 (WCU) 和 10 GB 数据。超出任何参数都会导致以下结果：

批处理大小和批处理窗口有助于控制流中的数据处理。

**批处理窗口：**设置调用之前等待记录的时间。批处理窗口可以控制来自 DynamoDB 流的数据处理。请注意，此行为取决于流中的数据可用性。

**批处理大小：**设置批次中的最大记录数。

在满足以下条件之前，不会调用 Lambda 函数：

并行化因子允许更多的并发执行，可以快速处理大量记录。您可以设置并行化系数（默认： 1 到 10）增加已处理的分片数量。启用并行化因子时，请确保使用随机或唯一的分区键以实现最高吞吐量。

计算：并行化系数（每个分片的并发批次）\ * 分片 = 并发执行

如果 Lambda 函数失败，当 BisectBatchonFunctionError 选项设置为真时，批处理将拆分为两个部分。然后重试拆分的批次，直到找到问题记录为止。根据最大重试时间和记录时间设置来处理重试。

如果重试尝试选项设置为 0，则不会尝试对失败的记录进行重试。在这种情况下，DynamoDB Stream 会丢弃失败的记录或将其发送到死信队列 (DLQ)（如果已配置）。

示例 1

在以下示例中，'p' 代表问题记录，重试次数设置为 0。

批处理记录：\ [1,2,3p,4,5p]

拆分 1：\ [3p,4,5p]

拆分 2：\ [3p]\ [4,5p] 重试会丢弃\ [3p]，因为它被识别为问题记录。如果已配置，还可以将其发送到 DLQ。

拆分 3：\ [4] 已处理。\ [5p] 被丢弃或发送到 DLQ（如果已配置）。

示例 2

在以下示例中，'x' 代表问题记录。重试次数设置为**\ -1 **。

已插入批处理记录：\ [1,2,3x,4,5x]

\ [3x,4,5x]

以下是 Lambda 中 IteratorAge 增加的常见原因：

DynamoDB 直播中有一条不良记录。
流中有大量的写入操作（PutItem 到 BatchWriteItem）。Lambda 函数可能无法跟上处理高写入量的速度。如果出现这种情况，增加 DynamoDB 表的预置容量以增加每 1000 个 WCU 的分区数。增加预置容量会增加并发 Lambda 执行的次数。有关更多信息，请参阅上一节 DynamoDB Stream 作为触发器时为什么我的 Lambda 函数无法扩展？
DynamoDB 分区的数量有所下降，例如迁移到新账户或新表。
Lambda 函数中存在限制或函数错误。AWS Lambda 会重试记录，直到成功完成整个批处理或记录有效期到期。此外，DynamoDB Streams 会保留 24 小时。为避免数据丢失，最好设置 DLQ。如果配置了 DLQ，在停用完成或记录有效期到期后，AWS Lambda 会向 DLQ 发送失败的记录批次。
要解决 Lambda 函数错误，请查看 Amazon CloudWatch 日志，了解有关错误的详细信息。
Lambda 函数的持续时间有所增加。
必须优化错误处理和并行化系数。