日志采集系统flume和kafka有什么区别及联系？

Flume和Kafka有一部分功能是相同的，但是整体来看，两者的差别还是很大的；它们使用的场景有所不同，但是可以相互配合使用。

Flume

简单的说，Flume是分布式日志收集系统，它把各个服务器上的日志收集起来，传送到制定的地方，比如传送到HDFS中。

Kafka

Kafka的定位是分布式消息中间件，自带存储，提供push和pull存取数据功能。

使用场景

在实际应用中，系统实时产生的日志需要最后进入HDFS，但是生产上的日志数量会有波动，比如由于访问量的增加，导致突然之间产生大量的日志，这时候可能会导致日志写入HDFS失败，所以这时候可以先把日志数据写入到Kafka中，再由Kafka导入到HDFS中。

总结：在日志采集系统中，把Kafka当做日志缓存更加合适，Flume做数据采集，因为它可以定制很多数据源，减少开发量，所以Flume和Kafka可以配合起来一起工作。

整体的流程是这样的:

服务器上的日志<--Flume-->Kafka-->HDFS-->离线计算

服务器上的日志<--Flume-->Kafka-->Storm

希望我的回答能够帮助到你！

JAVA面试如何保证消息不被重复消费？如何保证消息消费的幂等性？

我是闲着没事干，来这里玩的，开始在各个网络找技术资料，后就以《头条》为主了。由找资料转向了交朋友了。因为我想的东西落后了时代，有些的想的，由于自己程度不高。在脑子里只是勾思，达不到实际！！！

大数据培训的内容是什么，有哪些方式？

参加大数据培训都学习些什么，随着互联网在近几年的飞速发展，大数据页被越来越多的人所熟知，不管是行内的人还是行外的人都纷纷加入这个行业！于是许多的培训机构也纷纷崛起，开设相关的培训课程！作为一个未来的十分有前景的行业。成为大数据工程师无疑是迎接一个很有前景的职业生涯，那么大数据工程师，要学习什么内容呢。

其实说到大数据主要学习的技术，最直接的就是从职位需求入手，但是这样也会有弊端就是导致学习的东西不会很全面。

查看各大招聘网站，BAT等大厂不同的企业要求员工具备的工作技能也是有所不同的，通过这个我们做了一个简单的分析总结可以为大家参考一下。

大数据培训的内容：

大数据培训有哪些方式

其实随着社会的进步和互联网的发展，现在的大数据培训方式已经产生了多种模式，大体分为视频学习、线上直播学习、线下面授学习、双元学习模式几种方式。大家可以根据自己的自身情况进行选择适合自己的大数据培训方式进学习。

kafka为什么会丢消息 怎么查看kafka的消息 kafka发送消息

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。