2016 - 2025

感恩一路有你

sql数据库怎么创建表 sparksql怎么把df注册成表?

浏览量:2173 时间:2021-03-12 07:16:11 作者:admin

sparksql怎么把df注册成表?

在spark SQL中创建dataframe,开发人员可以轻松地将各种内部和外部独立和分布式数据转换为dataframe。下面的Python示例代码充分反映了spark SQL 1.3.0中dataframe数据源的多样性和简单性:#construct dataframeusers from users table in hive=sqlContext.table表(“users”)加载S3上的JSON文件日志=sqlContext.load文件(“s3n://path/to/数据.json", “JSON”)#加载拼花文件单击HDFS=sqlContext.load文件(" hdfs://path/to/data.parquet“,”parquet“)#通过JDBC访问MySQL注释=sqlContext.jdbc文件(" jdbc:mysql://localhost/comments“,“用户)”)#=sparkContext.text文件(" 文章.txt“”.flatMap(λ线:行。拆分()).map(lambda word:(word,1)).reduceByKey(lambda a,b:a b)字数=sqlContext.createDataFrame(RDD,[“word”,“count”])将本地数据容器转换为dataframedata=[(“Alice”,21),(“Bob”,24)]人=sqlContext.createDataFrame(数据,[“姓名”,“年龄”])#=sqlContext.createDataFrame(潘达斯夫)

sql数据库怎么创建表 sparksql执行sql脚本 mysql如何创建表

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。