分布式微服务架构的优缺点 日志采集系统flume和kafka有什么区别及联系？
日志采集系统flume和kafka有什么区别及联系？
flume和Kafka的一些功能是相同的，但总的来说，它们是完全不同的；它们的场景是不同的，但它们可以一起使用。
简而言之，flume是一个分布式日志收集系统，它从各种服务器收集日志并将其传输到指定的位置，如HDFS。
Kafka是一个分布式消息中间件，有自己的存储，提供推拉数据访问功能。
整个过程如下：
登录服务器<--flume-->kafka-->hdfs-->离线计算
登录服务器<--flume-->kafka-->storm
希望我的回答能对您有所帮助
如何设计日志采集存储分析的架构？
Flume最初是cloudera提供的日志收集系统，目前是Apache下的一个孵化项目。Flume支持在日志系统中定制各种数据发送器来收集数据。同时，flume提供了简单处理数据和向各种数据接收器写入数据的能力（可定制）flume提供了从数据源（如console、RPC、text、tail、syslog和exec）收集数据的能力。Flume使用多主方法。为了保证配置数据的一致性，flume引入zookeeper来保存配置数据。Zookeeper本身可以保证配置数据的一致性和高可用性。此外，当配置数据发生变化时，zookeeper可以通知flume master节点。Flume主机使用八卦协议来同步数据。Flume是一个分布式的、可靠的、高可用性的海量日志聚合系统，它支持系统中各种数据发送者的定制来收集数据；同时，Flume提供了简单处理数据和向各种数据接收者写入数据的能力（可定制）。设计目标：（1）可靠性（2）可扩展性（3）可管理性（4）功能可扩展性
1。自学（这是第一个条件）
2。多参与技术讨论，增加自己的员工，这对新手来说非常重要，软件行业喜欢推陈出新
3写自己的开源项目，里面积累了互联网上的专家
分布式，设计模式，前端技术，在线支付，全文搜索引擎，docker，WebService等
详细可以去如鹏的官方网站学习，那里有网络，你可以学习，随时提问，老师可以在线实时答疑。有技术大牛亲自授课，口碑好，基本上都很佩服。有新课程更新，也可以继续申请学习。
分布式微服务架构的优缺点 elk日志分析系统 分布式日志收集框架优势
版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。
