Amazon MSK 常见问题解答

0

【以下的问题经过翻译处理】 一个客户有以下关于MSK服务的问题

  1. 如何管理主题及其设置的最佳方式是什么?(命令行工具/UI)
  2. 我们能否调整现有topic的设置?能否更改replication factor 或partitions数?
  3. 如何确定topic的分区数?这取决于我们有多少个broker吗?
  4. 如果我们增加broker的数量会发生什么?是否可能在不重建群集的情况下实现?
  5. 我们用来自我们设备的时间戳填写kafka消息中的时间戳字段。如果这些时间戳无法按时间排序(我们可以得到过去的时间戳),这是否可以?
  6. 对于编码/解码消息,使用protobuf是否是一个好选择?
  7. 对segmentio/kafka-go golang客户端有何看法?客户端的选择有最佳实践吗?
  8. 在使用consumer groups时,我们是否可以自行管理提交?
  9. 是否有办法向broker实例添加更多的磁盘?
profile picture
EXPERTE
gefragt vor 5 Monaten34 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 以下是我的回答:

  1. 管理topic和其设置的好方法是什么?(命令行工具/UI) 您可以使用CMAK来管理topic。您还可以使用Cruise Control进行动态重新平衡。

  2. 我们可以调整现有topic的设置吗?能否更改replication factor 或partitions数? 是的,您可以使用Kafka APIs来进行捕获期限等操作,并添加分区。但是,在topic创建后更改replication factor并不是一个简单的过程。通常会在分区级别上进行操作。如果需要更多细节,请告诉我。CMAK也可用于向主题添加分区。

  3. 如何确定topic的分区数?这取决于我们有多少个broker? 这是一个庞大的主题。通常您通过分区来扩展Kafka的吞吐量。从生产者方面来看,每个分区可以接收每秒钟10MB/s的数据,因此分区数量将取决于topic的摄入速率和每个分区的限制。例如,如果我们假设每个分区可以支持2MB/s,topic摄入速率为50MB/s,则根据所提及的假设,此示例topic需要25个分区。在消费者方面,每个分区将分配给消费者组中的一个且仅一个消费者。但是,每个消费者可以有多个分区。因此,在消费者方面,分区的数量受最大消费者组中使用的消费者数量的限制。

profile picture
EXPERTE
beantwortet vor 5 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen