标记有以下标签的问题: Amazon Kinesis
内容语言: 中文 (简体)
Select up to 5 tags to filter
排序方式 最新
浏览下面列出的问题和回答,或者筛选和排序以缩小结果范围。
【以下的问题经过翻译处理】 我有一个Kinesis消费者代码,它执行DescribeStream,然后针对每个ShardId启动一个新的Java线程来消费每个Shard。我在Stream中仅配置了3个Shard,但我得到了8个ShardId,为什么会这样?我不想有额外的5个线程不断消费并获取零记录。您可以看到,我正记录每个Shard上处理的记录总数。
‘‘’
2020-11-19 08:59:49...
1
回答
0
点赞数
20
检视次数
【以下的问题经过翻译处理】 我应该如何使用 KCL 处理 Java 中的实际记录?
我正在按照提供的指导 <https://docs.aws.amazon.com/streams/latest/dev/kcl2-standard-consumer-java-example.html>,我可以连接到数据流,我可以得到可用记录数,但是该示例未显示的是如何实际获取记录(Json...
1
回答
0
点赞数
69
检视次数
【以下的问题经过翻译处理】 我知道可能会存在CFN支持新功能延迟导致CDK支持新功能的限制。
我正在尝试通过此控制台菜单从DDB流中启用KDS (Kinesis Data Stream)。
从CDK是否可能实现这个功能?我搜索了一下最终放弃了。
我想知道你是否知道如何使用CDK实现这个功能。
1
回答
0
点赞数
56
检视次数
【以下的问题经过翻译处理】 你好,
我的客户正在寻找一种架构,使用Aurora数据库活动流特性来提供一些数据库活动监控(DAM)功能。
他们调查了Imperva第三方提供的方案,并得出结论,认为其不具备可扩展性,他们希望使用无服务器的Kinesis和Lambda。有没有人对这种设置有经验?我的客户想知道如何最好地构建它,并在给定调用次数的情况下需要多少费用。
他们目前设想的设置是:DAS...
1
回答
0
点赞数
61
检视次数
【以下的问题经过翻译处理】 需要比较Kinesis Firehose和IoT Core用于流数据摄取的首选项。
根据我的观察,
* IoT Core更适合从许多IoT设备摄取不频繁、双向和网络受限的IoT数据。
* Kinesis...
1
回答
0
点赞数
32
检视次数
【以下的问题经过翻译处理】 你好,
我按照AWS提供的默认方案创建了数据投递流,并创建了IAM角色,但仍然遇到错误。
"访问被拒绝。请确保所提供的IAM角色的信任策略允许Firehose假定此角色,并且访问策略允许访问S3存储桶。"
虽然IAM角色由AWS自动定义,但现在我该怎么办?如果需要添加什么内容,应该添加什么?希望能得到简要的帮助。
1
回答
0
点赞数
15
检视次数
【以下的问题经过翻译处理】 大家好!
有人可以向我解释一下在以下文档中发现的Kinesis Data Stream相关的限制吗?
<https://docs.aws.amazon.com/streams/latest/dev/service-sizes-and-limits.html>
1. GetRecords 每次调用可以从单个分片中检索最多 10 MiB 的数据,每次调用最多可以检索...
1
回答
0
点赞数
50
检视次数
Kinesis 容量规划和最佳实践lg...
【以下的问题经过翻译处理】 一位客户正在考虑增加 Kinesis Stream 的消费者。
目前,他们有一个每分钟轮询一次的消费者脚本,他们还想增加Firehose做为消费者。
他们应该注意哪些约束和限制,以及如何计算支持增加的消费者数量所需的最佳分片数量?
这种这种方法是否正确?
1
回答
0
点赞数
51
检视次数
【以下的问题经过翻译处理】 根据AWS博客文章[Dynamic...
1
回答
0
点赞数
39
检视次数
【以下的问题经过翻译处理】 客户希望使用 **PySpark 在 Spark Streaming 中处理流数据,并希望将结果输出到 Kinesis 流**。
虽然 PySpark 确实支持从 Kinesis (<http://spark.apache.org/docs/latest/streaming-kinesis-integration.html>) 读取数据,但我看不到对将数据写入...
1
回答
0
点赞数
19
检视次数
【以下的问题经过翻译处理】 客户正在使用 dynamoDB 流将事件传递到 Kafka 主题。
他们想使用 lambda 来轮询流,但是消费者(在 Kubernetes 中自行管理的 kafka 集群)在不同的帐户中。
我看到从 DDB 读取的 lambda 需要在 DDB 帐户中。
作为解决方法,客户正在考虑这个...
1
回答
0
点赞数
14
检视次数
【以下的问题经过翻译处理】 我们如何高效地处理和分析由AWS IoT核心摄取的大量IoT数据?使用AWS IoT Analytics、Amazon Kinesis或AWS Lambda结合其他大数据服务(如Amazon Redshift或Amazon EMR)各有哪些优势和局限性?
1
回答
0
点赞数
21
检视次数