常用的etl工具 为什么建数据仓库需要使用ETL工具？
为什么建数据仓库需要使用ETL工具？
数据仓库是一个战略集合，为各级决策过程提供各种数据支持。它是为分析报告和决策支持目的而创建的单个数据存储。由于要获取所有的数据，必然涉及到多系统、多类型数据库的对接问题，以及数据的提取和整理问题。
此时，ETL工具的功能体现在数据提取、转换和加载的过程中，直至用于人们的分析。ETL是数据抽取、转换和加载的过程。
在某些地方，可以先在转换中选择和加载ELT。对于日志仓库，ETL首先要考虑业务需求，最后数据登陆模型要体现一定的主题。
一般来说，数据仓库就像一个大的池。水池的供水需要水泵和水管，ETL负责水泵和水管的功能。
ETL抽取与SQL语句抽取比较？
一些ETL工具（如日志分析工具）可以提取增量数据，而不依赖于时间戳字段。SQL提取数据，没有时间戳，只能提取全额。时间戳的机制取决于应用程序的可靠性。如果应用程序不可靠，提取的数据也不可靠。ETL有一些功能，比如计时；SQL提取必须依赖于其他机制。ETL工具一般都有一个完整的监控功能，并记录提取是否成功；SQL提取依赖于SQL、异常处理等。ETL工具具有一些扩展功能，如双向外部关联，这是一般SQL所不支持的。
有没有能采集软件系统里面数据的工具？便宜点或者不要钱的那种？
1. Flume是一个免费的日志收集工具，可以收集用户在系统中的行为数据，如用户的浏览行为、注意行为、购买行为等。这个软件不仅收集小数据，而且收集大数据。缺点是这个软件缺陷仍然是完美的。
2. Kafka是一个分布式流数据采集软件，可以实时采集数据。它很容易安装、学习和使用
以上缺点是：如果你不是软件和大数据方面的专业人士，你会有一点小麻烦。
ETL工具，Kettle和DataStage各自有什么优缺点，目前哪个更流行一些？
1. 首先，Datastage属于商业软件，而kettle是开源软件；源代码软件很受大众欢迎，但执行效率会比较慢！这需要以客户为导向。
2. 在可操作性方面，DS和kettle都有GUI图形界面，操作步骤相对简单易用；
3。从使用环境来看，一般来说，在大型传统金融行业，有一定数据管理规则的公司还是会选择DS，效率高，大公司也有钱。
4. 另外，cattle是一个基于Java开发的ETL工具，在使用过程中需要借助JVM。在数据提取速度和大数据处理能力方面，kettle远远不如DS
5。在稳定性方面，DS有很大的优势；
6釜的数据转换过程比较灵活，可以手工编写SQL语句、java代码、正则表达式等；DS也支持SQL语句，它们之间没有明显的区别；
7。就数据源而言，它们之间没有明显的区别
ETL分别是“extract”和“transform”；“extraction”、“conversion”和“load”的缩写也叫“extraction”、“conversion”和“load”，但它们在日常生活中常被称为数据抽取。ETL是商业智能/数据仓库（Bi/DW）的核心和灵魂。它根据统一的规则整合和提高数据的价值。它是将数据从数据源转换到目标数据仓库的过程，是实现数据仓库的重要步骤。ETL包括三个方面：“抽取”：从各种原始业务系统中读取数据，这是所有工作的前提转换：根据预先设计的规则，对提取出来的数据进行转换，使原来的异构数据格式得到统一“加载”：将转换后的数据按计划增量或全部导入数据仓库。与ETL相比，ELT的优点是在转换过程中可以引用大量的数据。缺点是它可能只提取和加载数据，跳过转换过程。一些ETL工具从源中提取（E）数据，将（L）数据加载到目标数据库，然后将（T）数据转换到目标数据库。因此，有人给这种工具起了一个特殊的名字叫ELT。
常用的etl工具 hadoop是做什么的 大数据etl是干嘛的
版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。
