2016 - 2024

感恩一路有你

python处理excel数据 网站数据大量分析是python比较好还是mysql shell好呢?

浏览量:3051 时间:2021-03-11 12:41:59 作者:admin

网站数据大量分析是python比较好还是mysql shell好呢?

你觉得你没有要求一分吗?你想问什么语言适合网站海量数据分析还是什么数据库适合它?

1. 首先,第一个问题是,数据量有多大?您要分析的数据量是100W、1亿或10亿、单表、多表或异构数据关联分析。不同的场景采用不同的方案:MySQL不擅长单表1kw-2kw。如果数据量小于此级别,也可以使用它。更推荐使用分布式数据库,比如OLAP数据库,比如MPP,它在数据分析领域得到了广泛的应用,如果分析语言只是数据可视化所需要的,可以直接使用table、quickbi、finebi、power等前端可视化工具,而不用编写自己的语言Bi和power其他工具可以。如果你想做更深入的分析,不仅仅是数据显示,还有一些算法。Python是一个很好的工具,但是当数据量非常大时它就不起作用了。例如,在分析10亿个数据时,建议使用spark。当然,底层的架构也需要做很大的改变。总之,不同的数据量和不同的分析目的采用不同的方案

对于大量的数据,更推荐使用Python。VBA通常将数据存储在内存中。当数据没有分割,电脑配置不高时,会出现更多的卡片。数据处理后,计算机也会比较卡片而不释放内存。VBA一般启动两个CPU核进行数据计算,操作效率提高微软已经停止更新VBA,因此更建议学习python。如果只是操作excel,两种学习难度相差不大,但是Python会有更好的发展空间

还有一种更方便的方法,就是用power Bi的三个组件进行数据处理,用power query进行数据处理,用PowerPivot进行分析,使用powerbi进行数据处理view进行数据可视化的优点是学习周期短,数据可以自动刷新,启动速度快。使用这种方法,效率可能比excel快,但速度仍然不如python快。当然,为了长期的可持续发展,我们更推荐学习python,但是开始的周期会更长

你想做数据分析,对吗?建议:在学习python之前,MySQL可以处理很多统计问题。当然,您必须首先掌握python语法。这很简单。然后,python有两个与数据分析密切相关的包。如果您想做数据分析,请在学习SQL之前先关注这两个包。毕竟,仅仅因为什么都做不了,学习SQL是没有意义的。建议您先学习sqlserver,用python的基本语法,学习sqlserver非常简单。当然,你可以毫无基础地学习。只是学习一个语言基础更容易。学习了SQL server之后,您就可以学习oracle了。甲骨文必须学习。其他数据库可以根据您的需要进行学习,例如NoSQL

python处理excel数据 mysql命令行导出csv python openpyxl详解

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。