开源软件有哪些 有用全开源软件做的数据仓库架构吗?
浏览量:1399
时间:2021-03-17 08:25:01
作者:admin
有用全开源软件做的数据仓库架构吗?
是的,基于Hadoop生态的数据仓库是开源的。
数据仓库体系结构最重要的部分是ETL、数据存储、任务调度和元数据管理。
ETL:使用sqoop、MapReduce、spark等
数据存储:使用HDFS
任务调度:使用airflow
元数据管理:使用atlas
虽然我做报表和Bi,但是报表和Bi的效果更好,底层数据非常重要,数据架构也非常重要,这必然涉及到数据仓库。
让我们先放一些图片:
如果你想建立一个实时数据仓库,你必须知道:
1。什么是数据仓库
2。实时数据仓库和数据库有什么区别。实时数据仓库和传统数据仓库有什么区别
4。什么是实时数据仓库的体系结构
5。怎么做
这些问题在上图中都是抽象的。解释哪些问题需要弄清楚需要花很长时间,我在以前的文章中已经写过了。你可以去看看。
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。