2016 - 2024

感恩一路有你

数据挖掘原理与算法(数据挖掘的名词解释?)

浏览量:2255 时间:2023-01-05 16:20:03 作者:采采

数据挖掘原理与算法(数据挖掘的名词解释?)

数据挖掘的名词解释?

数据挖掘是指通过算法从大量数据中寻找隐藏信息的过程。

数据挖掘通常与计算机科学有关,利用统计学、联机分析处理、信息检索、机器学习、专家系统(依靠过去的经验规则)、模式识别等多种方法来达到上述目的。

数据挖掘对象

1.数据类型可以是结构化的、半结构化的,甚至是异构的。知识发现的方法可以是数学的、非数学的或归纳的。最终发现的知识可用于信息管理、查询优化、决策支持和数据维护。

2.数据挖掘的对象可以是任何类型的数据源。可以是关系数据库,是包含结构化数据的数据源;也可以是数据仓库、文本、多媒体数据、空间数据、时间序列数据、Web数据等包含半结构化数据甚至异构数据的数据源。

3.知识发现的方法可以是数字的、非数字的或归纳的。最终发现的知识可用于信息管理、查询优化、决策支持和数据维护。

数据挖掘步骤

在实施数据挖掘之前,要想好要走什么步骤,每一步要做什么,要达到什么目标。一个好的计划可以保证数据挖掘的有序实施和成功。许多软件供应商和数据挖掘咨询公司都提供了一些数据挖掘过程模型来指导他们的用户一步步地进行数据挖掘。比如SPSS的5A,SAS的SEMMA。

数据挖掘过程模型的步骤主要包括定义问题、建立数据挖掘数据库、分析数据、准备数据、建立模型、评估模型和实施。我们来看看每个步骤的具体内容:

(1)定义问题。知识发现之前的第一个也是最重要的要求是理解数据和业务问题。我们必须有一个明确的目标定义,也就是决定我们要做什么。比如你想提高电子邮件的利用率,你想做的可能是“提高用户的利用率”,或者是“提高一个用户的使用价值”。要解决这两个问题,建立的模型几乎完全不同,必须做出决定。

(2)建立数据挖掘数据库。数据挖掘数据库的建立包括以下步骤:数据收集、数据描述、数据选择、数据质量评估和数据清洗、合并与集成、元数据构建、数据挖掘数据库加载和数据挖掘数据库维护。

(3)分析数据。分析的目的是找到对预测输出影响最大的数据字段,并决定是否需要定义导出字段。如果数据集包含数百个字段,那么浏览和分析这些数据将是非常耗时和累人的。这时候你就需要选择一个界面好,功能强大的工具软件来帮你完成这些事情。

(4)准备资料。这是建立模型前数据准备的最后一步。这一步可以分为四个部分:选择变量、选择记录、创建新变量和转换变量。

(5)建立模型。建立模型是一个迭代的过程。有必要仔细检查不同的模型,以确定哪一个对业务问题最有用。首先用一部分数据建立模型,然后用剩下的数据对得到的模型进行检验和验证。有时会有第三个数据集,称为验证集,因为测试集可能会受到模型特征的影响。这时候就需要一个独立的数据集来验证模型的准确性。训练和测试数据挖掘模型需要将数据至少分成两部分,一部分用于模型训练,另一部分用于模型测试。

(6)评价模型。模型建立后,我们必须对结果进行评估,并解释模型的价值。从测试集中获得的准确性仅对用于构建模型的数据有意义。在实际应用中,有必要进一步了解错误的类型和相关成本。经验证明,有效的模式不一定是正确的模式。造成这种情况的直接原因是模型建立中隐含的各种假设。因此,在现实世界中直接测试模型是很重要的。先小范围应用,拿到测试数据,感觉满意后再大面积推广。

(7)实施。模型建立并验证后,主要有两种使用方法。首先是为分析师提供参考;二是将该模型应用于不同的数据集。

数据 模型 数据挖掘 问题 过程

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。