如何使用IoT rule 将设备消息集中保存到S3中

0

【以下的问题经过翻译处理】 我想将由Greengrass [ML Feedback Connector]生成的“prediction”MQTT消息在一定时期内汇总到S3的JSON-Lines文件中:然后可以将其用作SageMaker Ground Truth输入清单,或用于其他分析。 在[IoT Rules S3 action]的文档中没有清楚描述,如何操作:

*通过规则将多个(可能是高并发/同时)消息推送到同一个S3存储桶的同一个前缀是否可靠 *消息是否会被连接到一个文件中(带分隔符?)或被覆盖

  • [IoT SQL functions]中是否有足够的灵活性来控制聚合的级别(似乎日/周/月会很困难,但可以通过整数或timestamp数字进行划分来完成某些操作

似乎这个案例是通过[IoT Analytics]的工具来处理的消息的(https://aws.amazon.com/blogs/iot/integrating-iot-data-with-your-data-lake-with-new-aws-iot-analytics-features/),但我的需求只是试图将消息保存在一起,而不需要执行分析任务。

profile picture
EXPERTE
gefragt vor 5 Monaten18 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 一种可行的方式是使用Firehose批处理IoT消息,流程如下:

IoT Core --> Rule --> Firehose --> S3

在此流程中,Firehose作为消息队列,先将消息批量换存在队列中,当达到阈值后,批量写入存储在S3中的对象。

profile picture
EXPERTE
beantwortet vor 5 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen