2016 - 2024

感恩一路有你

kafka查看topic数据量 kafka对topic有限制吗?

浏览量:2003 时间:2021-03-14 11:31:07 作者:admin

kafka对topic有限制吗?

在使用卡夫卡的过程中,主题的数量没有限制,但是主题的分区总数有一个上限。当达到上限时,用户将无法继续创建主题。

如何为Kafka集群选择合适的Partitions数量?

感谢您的邀请。作为卡夫卡多年的使用者,我对使用卡夫卡的感觉还是很好的。

卡夫卡的每个数据流应该对应一个主题,每个主题可以有多个部分。现在每个零件只能由一个消费者消费。更多的分区意味着更多的吞吐量。需要更多的文件句柄。如果使用者较少,则更多的分区将浪费系统资源。从另一个角度看,越来越多的延迟将增加,这将对实时数据读写产生不利影响。

因此,适当的分区数量将对Kafka的性能产生重要影响。

怎样查看kafka topic的分组?

classlogclient(object):定义初始化初始化(self,kafkahost,kafkaport):self.kafkahostself=卡夫卡霍斯特.kafkaport=kafkaportdeffixlen(self,s,l):s=s[0:8]工作节点s[8:]fixed=s“”*(l-len(s))返回fixedDefSendLog(self,topic,filename):尝试:client=kafkaclient( 卡夫卡霍斯特, 卡夫卡波特)producer=simpleproducer(客户端,主题)f=open(文件名,“rb”)fname=路径.basename(f.name)ftext=f.read()生产者发送消息(自定(fname,30)ftext)f.关闭()客户端.close()打印“kafkasent”文件名异常,例如:printex

kafka查看topic数据量 kafka集群最少几台 kafka topic数量上限

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。