hbase四个组件 spark读hbaseparquet哪个快?

spark读hbaseparquet哪个快?spark读取HBase时,生成的任务数受查询表的区域数限制。例如,如果查询40g数据,10g数据是一个区域,则可能有4-6个区域。最初的任务数量只有大约4

spark读hbaseparquet哪个快?

spark读取HBase时,生成的任务数受查询表的区域数限制。例如,如果查询40g数据,10g数据是一个区域,则可能有4-6个区域。最初的任务数量只有大约4-6个。RDD可以在以后按分区设置任务数。spark读取parquet时,根据默认的bolck数生成任务数,例如128M bolck,几乎是300多个任务。另外,HBase还需要与区域服务器交互,将数据传输到spark的内存中,这也消耗时间。一般来说,阅读拼花更快

~],等等