使用数据转换Lambda函数在Amazon Kinesis Firehose中连接流数据和S3中的数据,通过Athena进行。

0

【以下的问题经过翻译处理】 一个连接到Kinesis Firehose的Lambda数据转换函数能否通过Athena在S3中的数据与Kinesis Firehose中的流式数据进行连结,并将结果传递给Kinesis Analytics进行进一步处理?这个功能是否被支持?

profile picture
EXPERTE
gefragt vor 6 Monaten31 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 理论上是可以的。

但是,Lambda的同步调用模式对请求和响应都有6 MB的负载大小限制。确保您发送请求到函数的缓冲区大小小于或等于6 MB。另外,确保您的函数返回的响应不超过6 MB。

Kinesis Data Firehose支持每次调用限制为5分钟的Lambda执行。如果您的Lambda函数超过5分钟,将会出现以下错误:“在调用AWS Lambda时,Firehose遇到了超时错误。支持的最大函数超时时间为5分钟。”

首选方法是执行查找而不是查询。考虑查询DynamoDB表。

此外,考虑使用附加到您的Kinesis Data Analytics应用程序的Lambda函数预处理记录,并在S3中执行参考数据查找。阅读以下链接: https://docs.aws.amazon.com/kinesisanalytics/latest/dev/lambda-preprocessing.htmlhttps://docs.aws.amazon.com/firehose/latest/dev/data-transformation.html

profile picture
EXPERTE
beantwortet vor 6 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen