kafka集群版本怎么看 如何为Kafka集群选择合适的Partitions数量？
如何为Kafka集群选择合适的Partitions数量？
十分感谢请贴回答这个问题。作为kafka的多年用户，这点那就很有可以使用能感受到的。
kafka每个数据流都要按一个topic,每个topic可以有多个parttion.每个parttion现只能被一个消费者消费.一定的partition换句话说就会的吞吐量。不需要更多的文件句柄。如果不是消费者也很少，那更多的partition会浪费了系统资源。从另一个角度上来说，更多会提升延时，会对实时性的数据读写产生不好的影响。
所以说恰当的分区数会对kafka的性能有着比较比较重要的影响。
spark为啥不能导入kafka相关包？
曾经的试过了用sparkstreaming读取logstash启动的TCPServer的数据。只不过假如你有多台logstash的时候，这种就也很不太好办了——就算你给logstash集群先申请一个VIP，也没法确定说转发完全符合。因为一般来说，更多的选择是采用kafka等队列由sparkstreaming去充当订阅者资源数据。
sasl认证原理？
一.背景
kafka可以提供了多种安全认证机制，要注意分成三类SSL和SASL2大类。其中SASL/PLAIN是基于条件账号密码的认证，比较比较具体方法。最近做了个kafka的鉴权，发现官网上讲的不是什么很很清楚，网上各种博客倒很多，只不过良莠不齐，巨多坑。在一天的研究，再一次一切搞定了，特在此留下记录下。
二.环境
操作系统：linux
kafka版本：kafka_2.12-0.11.0.1
zookeeper版本：zookeeper-3.5.1-alpha
三.认证步骤
3.1.Zookeeper配置和起动
1.为zookeeper再添加SASL支持，在配置文件添加
requireClientAuthSchemesasljaasLoginRenew3600000
2.空白文档zk_server_文件，为Zookeeper添加账号认证信息
这个文件你放进哪里随意，只需后面zkEnv配置正确的的路径就再说。我是放进/home路径下。zk_server_文件的内容:
Server{requiredusername
版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。
