常用数据挖掘工具和方法是什么 数据挖掘的主要学科来源?
数据挖掘的主要学科来源?
数据挖掘起源于许多学科,其中最重要的是统计学和机器学习。统计学起源于数学,强调数学的准确性;机器学习主要起源于计算机实践,更倾向于实践和主动检测某种东西来确定其表现形式。
数据库需要用哪些软件?
这类软件主要用于更专业的数据分析和挖掘,尤其是在银行、金融、保险等行业。
SPSS和SAS都是用于统计分析的,侧重于统计知识的一些基本应用,包括描述性统计、方差分析、因子分析、主成分分析、基本回归、分布检验等。SPSS在市场调研中应用广泛,而SAS银行的金融医疗统计比较多,有些难度。
r语言似乎是一种综合的数据分析工具,集统计分析、数据挖掘和数据可视化于一体。
展开来说说数据分析~
这些数据分析工具的使用还是要看需求,每个企业应用的选择和方法都不一样。数据分析的概念非常广泛。从IT的角度来看,数据分析工具在实际应用中可以分为两个维度:
第一个维度:数据存储层-数据报表层-数据分析层-数据展现层。
第二个维度:用户级-部门级-企业级-BI级。
1.数据存储层
从数据存储设计到数据库概念和数据库语言,这方面不必深究,但至少要了解数据的存储、基本结构和数据类型。SQL查询语言必不可少,精通最好。我们可以从选择查询、更新修改、删除删除和插入插入的基本结构和读取开始。
Access2003、Access07等
这是最基本的个人数据库,常用于个人或部分基础数据存储;部门或互联网数据库应用必备的MySQL数据库,此时掌握SQL语言的数据库结构和数据查询能力是关键;
SQL Server2005或更高版本
对于中小型企业,一些大型企业也可以使用SQL Server数据库。其实这次除了数据存储,还包括数据报表和数据分析,甚至数据挖掘工具也在其中;
DB2和Oracle数据库都是大型数据库。
,主要是企业级,特别是大型企业或者有海量存储数据需求的是必须的。一般大型数据库公司都提供非常好的数据集成应用平台;
双电平
其实这不是一个数据库,而是建立在之前数据库基础上的企业级应用数据仓库。数据仓库(Data Warehouse),基于DW计算机的数据存储基本上是一个商业智能平台,它集成了各种数据分析、报告、分析和展示。与BI产品相结合的BI级数据仓库也是近年来的一大趋势。
2.报告/商务智能层
踮起脚尖存储的数据需要读取和显示,报表工具是应用最广泛的工具,尤其是在。以前传统的报道大多解决的是呈现的问题。现在的FineReport和帆板报告一样,也会和其他应用交叉,做数据分析报告。通过接口开放、报表、决策报表等功能,可以访问数据,涵盖了早期商业智能的功能。
Tableau、Qlikview、FineBI等BI工具可分为报表层和数据展现层,涵盖数据集成、数据分析和数据展现。FineBI和Tableau都是近年来比较优秀的软件,可以作为可视化的数据分析软件,FineBI可以用来从数据库中取出数据进行报表和可视化分析。相对来说,visual Tableau更好,但是FineBI还有另外一个身份——商业智能。
所以在大数据处理方面的能力更好。
3.数据分析层
其实这一层有很多分析工具。当然,Excel是最常用的。
Excel软件
首先,版本越高越好用,这是肯定的;当然,对于excel,很多人只掌握了5%的Excel功能,而Excel是非常强大的,甚至可以完成所有的统计分析工作!但是我经常说,学统计软件不如会玩Excel这个统计工具。
SPSS软件
:目前版本为18,名称已改为PASW统计;;我是从3.0开始在Dos环境下编程分析的,目前版本的变化也可以从SPSS社科统计软件包的变化中看出。从关注医学、化学开始,我越来越关注商业分析,现在已经成为一个预测分析软件。
SAS软件
比起SPSS,SAS其实更强大。SAS是一个平台,EM挖掘模块的平台是集成的。相对来说,SAS更难学,但是如果你掌握了SAS,会更有价值,比如离散选择模型,抽样问题,正交实验设计等。另外SAS的学习资料比较多,而且是开放的,会有收获!
JMP分析
:SAS的分析分支
XLstat
:Excel插件,可以完成SPSS的大部分统计分析功能。
4.表示层
表示层也叫数据可视化,上面每个工具都提供了几乎一点点的展现功能。上面提到了FineBI和Tableau的可视化功能。其实这几年Excel的可视化越来越好,加上一些插件,使用感更好了。
PPT:
办公常用,用来写数据分析报告;
Xmindamp百度脑图:
梳理流程,帮助思考分析,展现数据分析水平;
Xcelsius软件:
Dashboard制作和数据可视化报表工具,可以直接读取数据库,在Excel中建模,在互联网上展示。最大的特点也是在PPT中实现动态报表是可能的。
最后需要说明的是,这种分类并不是为了区分软件,而是为了说明软件的应用。有时候我们用数据库做报表分析,有时候报表是分析,有时候分析是展现;当然,有时候呈现就是分析,分析也是报告,报告就是数据存储!
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。