spark是啥 spark上怎么讲读取的数据的某几行合并成一行，新手？

spark上怎么讲读取的数据的某几行合并成一行，新手？

#RDD指定的行数据在spark中拼接，RDD合并为一行。Python实现frompyparkimportsparkcontextsc=sparkcontext（“local”，“myapp”）行=sc.并行化([[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12

）获取指定行的数据并返回rdddefgetnum:#全局行号迭代globalcounter#指定行号globalcounter=1If（counter==row）：returncounter=0row=3？Cache（）缓存数据x1=行。筛选器（getnum）.cache（）行=4x2=行。筛选器（getnum）。Cache（）#生成rddxx=x1。包含两个RDD中所有元素的并集（x2）打印xx.collect()

spark是啥 read是什么意思啊 spark入门

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。