sparkstreaming积压 大数据实时处理Spark Streaming和Storm到底有什么区别？

大数据实时处理Spark Streaming和Storm到底有什么区别？

最重要的区别：Spark streaming是微批量加工，storm是带钢加工。

例如：现在我们需要实现一个简单的信息流（新闻视频）实时推荐系统，它可以用来：根据用户点击的新闻和视频，每10秒汇总一次用户浏览新闻和视频的日志事件，并根据协同过滤或相似度计算得到的离线推荐结果，计算出该期间浏览内容的相关内容，保存在HBase中，供用户下次刷新列表。因为实时性要求不是很高，我不需要实时反馈用户的浏览行为毫秒。

2. Storm可以用来实时收集用户的推荐结果。当用户刷新列表时，刷新请求被发送到Kafka。Storm实时处理这些请求，并在毫秒内完成对用户请求的结果集排序。组装结果可以存储在用户的redis私有队列中。当用户刷新请求时，结果在redis中获得。

sparkstreaming积压 sparkstreaming去重 sparkstreaming面试

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。