使用数据转换Lambda函数在Amazon Kinesis Firehose中连接流数据和S3中的数据,通过Athena进行。

0

【以下的问题经过翻译处理】 一个连接到Kinesis Firehose的Lambda数据转换函数能否通过Athena在S3中的数据与Kinesis Firehose中的流式数据进行连结,并将结果传递给Kinesis Analytics进行进一步处理?这个功能是否被支持?

profile picture
专家
已提问 5 个月前25 查看次数
1 回答
0

【以下的回答经过翻译处理】 理论上是可以的。

但是,Lambda的同步调用模式对请求和响应都有6 MB的负载大小限制。确保您发送请求到函数的缓冲区大小小于或等于6 MB。另外,确保您的函数返回的响应不超过6 MB。

Kinesis Data Firehose支持每次调用限制为5分钟的Lambda执行。如果您的Lambda函数超过5分钟,将会出现以下错误:“在调用AWS Lambda时,Firehose遇到了超时错误。支持的最大函数超时时间为5分钟。”

首选方法是执行查找而不是查询。考虑查询DynamoDB表。

此外,考虑使用附加到您的Kinesis Data Analytics应用程序的Lambda函数预处理记录,并在S3中执行参考数据查找。阅读以下链接: https://docs.aws.amazon.com/kinesisanalytics/latest/dev/lambda-preprocessing.htmlhttps://docs.aws.amazon.com/firehose/latest/dev/data-transformation.html

profile picture
专家
已回答 5 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则