2016 - 2024

感恩一路有你

开源软件有哪些 有用全开源软件做的数据仓库架构吗?

浏览量:1399 时间:2021-03-17 08:25:01 作者:admin

有用全开源软件做的数据仓库架构吗?

是的,基于Hadoop生态的数据仓库是开源的。

数据仓库体系结构最重要的部分是ETL、数据存储、任务调度和元数据管理。

ETL:使用sqoop、MapReduce、spark等

数据存储:使用HDFS

任务调度:使用airflow

元数据管理:使用atlas

虽然我做报表和Bi,但是报表和Bi的效果更好,底层数据非常重要,数据架构也非常重要,这必然涉及到数据仓库。

让我们先放一些图片:

如果你想建立一个实时数据仓库,你必须知道:

1。什么是数据仓库

2。实时数据仓库和数据库有什么区别。实时数据仓库和传统数据仓库有什么区别

4。什么是实时数据仓库的体系结构

5。怎么做

这些问题在上图中都是抽象的。解释哪些问题需要弄清楚需要花很长时间,我在以前的文章中已经写过了。你可以去看看。

开源软件有哪些 数据仓库 数据仓库的四个特点

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。