数据库mysql介绍 实时数据仓库如何做？
实时数据仓库如何做？
虽然我做报表和Bi，但是报表和Bi的效果比较好，底层的数据非常重要，数据架构也非常重要，这就必然涉及到数据仓库。
让我们先放一些图片：
如果你想建立一个实时数据仓库，你必须知道：
1。什么是数据仓库
2。实时数据仓库和数据库有什么区别。实时数据仓库和传统数据仓库有什么区别
4。什么是实时数据仓库的体系结构
5。怎么做
这些问题在上图中都是抽象的。解释哪些问题需要弄清楚需要花很长时间，我在以前的文章中已经写过了。你可以去看看。
SQL与MySQL有什么区别？
SQL全称是结构化查询语言，MySQL是关系数据库，是软件，这是两者最根本的区别，相当于C和VC 6.0的区别，一个是语言，一个是基于此语言的软件。
MySQL是基于SQL标准的数据库管理软件。可以编写SQL语句、练习SQL、添加、删除、修改、查询、触发器、存储过程等。当然，您也可以使用其他数据库管理软件，如SQL Server、Oracle等。这因人员和实际项目而异。这取决于你的选择。你可以在上面练习SQL。
一般来说，SQL是一种语言，MySQL是一种数据库软件，而MySQL是SQL标准的实现。这就是两者的区别和联系。
数据仓库ETL到底是什么？
ETL工作的实质是从各种数据源中提取数据，对数据进行转换，最后通过数据仓库的维度建模，将数据加载并填充到表中。只有填写了这些维度/事实表，ETL工作才能完成。接下来，分别阐述了提取、转换和加载的三个步骤：数据仓库面向分析，操作数据库面向应用。显然，并非所有用于支持业务系统的数据都是分析所必需的。因此，本阶段主要根据数据仓库主题和主题字段确定从应用数据库中提取的编号。
在具体的开发过程中，开发人员必须经常发现数据仓库建模后某些ETL步骤与表描述不匹配。这时，需要重新检查和设计需求，重新进行ETL。正如本文在数据库系列中提到的，任何涉及需求的更改都需要重新开始并更新需求文档。
转换步骤主要是指转换提取的数据结构以满足目标数据仓库模型的过程。此外，转换过程还对数据质量负责，这也称为数据清洗。这里可以参考数据质量的内容。
在加载过程中，为确保数据质量而提取和转换的数据将加载到目标数据仓库中。加载可以分为两种类型：首次加载和刷新加载。其中，首次加载会涉及大量数据，而刷新加载是一种微批量加载。
我们可以说，随着各种分布式和云计算工具的兴起，ETL实际上已经成为ELT。也就是说，业务系统本身不会做转换工作，而是将数据导入到分布式平台进行简单清洗后，让平台进行清洗和转换工作。这样可以充分利用平台的分布式特点，使业务系统更加专注于业务本身。
数据库mysql介绍 mysql亿级数据优化 mysql数据仓库搭建
版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。
