分时系统与批处理系统的区别 大数据实时处理Spark Streaming和Storm到底有什么区别?
浏览量:2352
时间:2021-03-12 17:17:32
作者:admin
大数据实时处理Spark Streaming和Storm到底有什么区别?
最重要的区别:Spark streaming是微批量加工,storm是带钢加工。
例如:现在我们需要实现一个简单的信息流(新闻视频)实时推荐系统,它可以用来:根据用户点击的新闻和视频,每10秒汇总一次用户浏览新闻和视频的日志事件,并根据协同过滤或相似度计算得到的离线推荐结果,计算出该期间浏览内容的相关内容,保存在HBase中,供用户下次刷新列表。因为实时性要求不是很高,我不需要实时反馈用户的浏览行为毫秒。
2. Storm可以用来实时收集用户的推荐结果。当用户刷新列表时,刷新请求被发送到Kafka。Storm实时处理这些请求,并在毫秒内完成对用户请求的结果集排序。组装结果可以存储在用户的redis私有队列中。当用户刷新请求时,结果在redis中获得。
批处理、分时、实时操作系统有什么区别?
批处理——以前主机上使用的系统需要提前写一批程序(打孔磁带),然后分时计算结果——现在流行的PC机和服务器都采用这种操作方式,即将CPU的操作划分为若干个时间片,在不同的时间段内处理不同的操作请求实时分别——一般用在单片机上,如电在电梯的上下控制中,对按键等动作要求进行实时处理
分时系统与批处理系统的区别 流处理和批处理的区别 实时系统的基本特征
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。