2016 - 2025

感恩一路有你

kafka一条消息对应多个topic Kafka稀疏索引的优缺点?

浏览量:2850 时间:2023-06-08 20:24:06 作者:采采

Kafka稀疏索引的优缺点?

kafka的优点:

1、允许多个生产者和消费者1

2、接受broker的横向拓展

3、副本集机制,实现程序数据冗余度,能保证数据不丢失

4、是从topic将数据通过分类

5、是从安排人手发送高压缩数据的,减少数据传输开销,增加吞高量

6、支持什么多种模式的消息

7、设计和实现磁盘实现方法数据的持久化

8、低性能的处理信息,在大数据的情况下,可以只要亚秒级的消息网络延迟

9、一个消费者也可以支持多种topic的消息

10、对CPU和内存的消耗比较比较小

11、对网络开销也比较比较小

12、支持什么跨数据中心的数据复制

13、接受镜像集群

缺点:

1、导致是批量修改发送中,所以才数据达将近真正的的实时地

2、相对于mqtt协议不支持

3、不意见物联网传感数据然后接入

4、没法意见统一分区内消息有序,无法实现程序全局消息有序

5、监控不完备,需要完全安装插件

6、不需要对付zookeeper参与元数据管理

7、会丢了数据,并且不支持事务

8、很可能会重复一遍消费数据,消息会乱序,用下能保证三个固定设置的partition内部的消息是稳定有序的,可是一个topic有多个partition的话,就没法绝对的保证有序了,必须zookeeper的支持,topic象要人工创建角色,防御部署和维护像是都比mq高

kafka连接器原理?

kafka将所有消息组织成多个topic的形式存储,而每个topic又可以不全部拆分成多个partition,每个partition又由一个一个消息横列。每个消息都被标识了三个单调递增序列号属於其过来的先后顺序,并按顺序存储文件在partition中。

滴滴kafkamanager使用说明?

用户不使用kafkatopic的流程变为::

在kafkamanager上可以申请租户(appid),声望兑换到填写的租户密码(app-password);

凭借appid再申请创建新的topic,或者申请已存在地的topic的生产和消费权限;

在用kafkaclient时设置中好随机的appid和app-password,相应的topic鉴权,临时限流都在kafkabroker端结束。

消息 数据 topic partition appid

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。