功能相关

最近更新时间: 2024-10-17 17:10:00

Cloud Kafka 兼容哪一版的开源 Kafka?(当前的 CKafka 是基于开源 Kafka 的哪个版本?)

当前 CKafka 兼容 Apache Kafka 1.1-2.8 及以下版本,推荐生产消费端选用对应开源版本 SDK。

什么是主题(TOPIC)?

Topic 是每条发布到 Cloud Kafka 集群的消息所属的类别,即 Cloud Kafka 是面向 topic 的。用户需要先创建 topic 然后才能读写。

什么是分区(PARTITION)?

Partition 是物理上的概念,每个 topic 会被分成一个或多个 partition。partition 可以用来水平扩展 topic 的吞吐,发布的消息将被写入不同 partition,并被若干消费者同时读取。由于 Cloud Kafka 分配的单位是 partition,因此在本质上,topic 的并行吞吐量和 partition 个数成正比。

Cloud Kafka 和 CMQ 有什么区别?

CMQ 提供金融级的高可靠、高数据持久性消息传输,保证数据强一致性。 Cloud Kafka 适用于要求更高吞吐率,对可靠性要求相对较低的场景(如日志聚合等业务)。此外,Cloud Kafka 完美兼容 kafka 的老用户,可以做到零迁移成本,实例完全独占。

Kafka 客户端是否可以直接连接 Cloud Kafka 服务?

Cloud Kafka 可以兼容 Apache Kafka 1.1-2.8版本,您可以通过 Kafka 客户端连接消息中心,并且把代码部署在云平台服务中生产或消费消息。

消息队列 CKafka 是否会暴露 ZooKeeper?

不开放 ZooKeeper,不提供 zk 地址。

CKafka 是否支持消息压缩?

当前 CKafka 支持开源的 snappy 和 lz4 的消息压缩格式。由于 Gzip 压缩对于 CPU 的消耗较高,暂未支持。 测试期间建议客户关闭消息压缩参数进行测试。 配置开启方法:Producer 的配置文件中参数 compression.type = snappy 或者 lz4,默认为关闭 none。

CKafka 如何保证安全性?

CKafka 通过如下安全特性确保安全性:

  • 租户隔离:实例的网络访问在账户间默认隔离。

  • 权限控制:CKafka 额外应用层上做了来源 IP 白名单的鉴权机制,支持 SASL 鉴权。

  • 安全防护:提供多纬度的安全防护、防 DDoS 攻击等服务。

CKafka 是否会丢失消息?

  1. 开源的 Apache Kafka 不保证不丢消息;CKafka 针对可用性做了优化,云平台承诺 CKafka 的可用性超 99.95%。

  2. CKafka 客户可以通过生产时开启 ACK ,尽量保障不丢失和少丢失消息,提升消息可靠性。

  3. 变更集群或升级过程对客户透明,秒级变更。

  4. CKafka 面向的使用场景主要是需要高吞吐、高性能的大数据处理场景,对数据可靠性要求不十分苛刻,极端场景下可能会有少量的消息丢失;若需保障完全不丢失消息,且对性能要求不是非常高的场景,推荐使用 CMQ。

CKafka的产品限制有哪些?

产品形态限制:

  1. 每个Topic最多可以存在24个Partition,一个3副本的Topic最多创建8个Partition,一个2副本的Topic最多创建12个Partition

  2. consumer group 空闲存活时间为 7 天