2016 - 2024

感恩一路有你

pipeline编程模型 为什么建数据仓库需要使用ETL工具?

浏览量:4257 时间:2023-05-27 09:06:30 作者:采采

为什么建数据仓库需要使用ETL工具?

只要涉及到数据源的数据抽取,数据计算,开发处理流程,就是ETL,ETL就是在这三个阶段:抽取抽取,转换转化,加载。

从不同的数据源提取数据,按照一定的数据处理规则和转换对数据进行处理,最后将处理后的数据输出到目标数据表,目标数据表可以是文件等。这是装货。

更通俗地说,ETL的过程和每个人都是一样的。;日常烹饪。你需要在菜市场的各个摊位上买到好菜。买回来的时候要挑好,洗干净,切好一切,最后放锅里炸熟,端上桌。菜市场的每个摊位都是数据源,熟食是最终的输出结果。中间所有的过程,比如摘菜、洗菜、切菜、做饭,都是转换。

在开发的时候,大部分时间会通过ETL工具来实现,比如KETTLE、PENTAHO、IBM DATASTAGE、INFORNAICA、微软SQL S

如何评价微软全新的DirectX 12 Ultimate?

前几天我们在分析Xbox Series X的技术细节时,三一生活提出这是一款充分利用现有技术的主机,几乎可以说是将PC上迄今为止的图形成果与最新的设计思路结合到了极致。而且由于Xbox Series X本身是基于x86硬件架构和Windows操作系统的,所以很多新的图形API和新的硬件调度技术有望出现在未来的桌面Windows 10中。

但即使我们真的没有。;我没想到微软会走得这么快。就在Xbox Series X公布细节的几天后,微软突然宣布了一个全新的 "D "IrectX 12终极版标准,并宣布这将是统一Xbox和PC体验的最新、最高水平的游戏图形标准。这意味着,刚刚出现在Xbox Series X中的DXR 1.1光线追踪、VRS可变着色率、Mesh Shader多线程渲染流水线、SFS采样反馈流等图形技术,将很快随着Windows 10 2004的更新来到那些搭载RTX显卡的PC上,并进一步成为下一代大量大作的技术标准。

显然,微软为了提高自己平台的游戏体验,做出了a "大动作 "这次。DirectX 12 Ultimate这个霸气的名字和它所包含的一系列新功能确实让人对新版Windows 10有了更多的期待。

但是,这样一来,问题就出现了。众所周知,微软在Windows Vista时代推出了DirectX 10,Windows 7推出了DirectX 11,Windows 8推出了DirectX 12。那么,为什么没有 当Windows 10发布时,我们没有等到DirectX 13,但直到这些年后,我们终于得到了一个 "DirectX 12终极版?

要知道,DirectX曾经是显卡更新换代的推动力。

要明白这一点,首先要明白一件事。是显卡的硬件功能及其对应的DirectX软件规范,是 "先有鸡还是先有蛋?"。

PC上第一个GPU,也是第一个支持DirectX 7.0的民用显卡。

追溯历史不难发现,在DirectX 12之前,历代显卡的硬件更新换代基本都是由软件和游戏技术的更新换代带动的。例如,最早的 "GPU“PC历史上的GeForce 256是微软首次公布DirectX 7.0规范,推出硬件TL功能要求后,英伟达率先做出自适应显卡,一战成名..

比如DirectX 10时代,英伟达首先推出了符合新图形规范的GeForce 8800Ultra,而ATI的镭龙HD2900XT则是 "晚 "很长一段时间,所以在市场上是被动的。

谁能准确说出这张卡的名字和出处?

从这些历史数据中,我们不难看出,在很长一段时间里,PC显卡市场都是微软 这相当于提出了一个 "技术规范和标准或者先有性能需求,再开发各大厂商针对的硬件产品。

从DX9时始,微软的脚步慢了下来。

但是随着显卡市场在竞争中被淘汰的越来越多。参与者,随着NVIDIA和AMD寡头垄断的形成。作为操作系统的开发者和DirectX图形规范的制定者,微软不可避免地需要 "保重 "两大硬件巨头的需求越来越多,或者开始将N和A的专有技术纳入DirectX规范。

2003年,NVIDIA推出GeForce FX系列显卡,有两个最大的特点。首先, "吃螃蟹推出了GDDR2显存,二是在图形渲染上提供了高速但低精度的16位和低速但高精度的32位工作模式。不过当时ATI看到了GeForce FX设计的不足。他们放弃了高温高成本的GDDR2显存,继续使用GDDR一代显存控制器,并创造性地在图形渲染中使用了折中的24位精度。

显然,最终,ATI 的设计帮助他们取得了巨大的成功,这也直接促使英伟达开发了 "大 "最新的GeForce 6000系列采用SLI技术。但是,很少有人关注这么重要的一点。由于原来DirectX 9时代的NVIDIA和ATI两款产品在设计上差异如此之大,微软最终不得不实际上为两款显卡推出一款DirectX版本——NVIDIA GeForce FX系列使用DirectX 9.0a,而ATI镭龙9800系列使用DirectX 9.0B..这是显卡厂商第一次用自己的技术在PC平台上直接影响DirectX规范的发展,它实际上改变了微软和显卡芯片公司的关系。

ATI镭龙HD4890,这种卡的第一批货在很难找到。

正因为如此,在DirectX 10时代,统一渲染管道的设计显然更多 "排队 "与NV s的意图,所以GeForce 8800系列可以早早登场,迅速抢占市场。DirectX 10.1更符合ATI(AMD)的要求,于是镭龙HD3650、HD3870以及后来的HD4000系列强势反击,而NVIDIA对这一代规范几乎视而不见。

DX11时代最流行的是测量曲面的细分性能,然而,这里面也有显卡厂商的利益因素。

显然,在这一点上,DirectX与其说是微软提出的图形技术规范,其实是微软、英伟达、AMD三方博弈的结果。也正因为如此,在DirectX 11和DirectX 12中,我们看到了更多更符合显卡厂商利益的技术设置,比如Tessel,它消耗了大量的显卡性能,可以完全拉开高、中、低端显卡游戏体验的差距。平移(mosaic,也叫细分曲面)技术其实来自于DX10时代ATI的一个自研项目。比如现在大热的光线追踪技术,其实早在几年前就出现在一些专业显卡中,但游戏领域却是由NVIDIA以私有API的形式,用自己的RT Core和Tensor Core硬件首先实现,然后被纳入DirectX 12的DXR函数子集,成为微软 s官方规格。

在不改名的情况下,DirectX对现在的玩家更加友好。

那么,这意味着什么呢?首先,DirectX不再是直接刺激显卡厂商升级的标准,这意味着一方面,DirectX升级的必要性不像当时那么迫切,也可以让消费者 "感觉负担得起一定程度上——比如英伟达的Maxwell、Fermi架构、AMD的GCN 1.0~4.0都可以通过软件更新支持到DX12,一定程度上增强了消费者的粘性。

另一方面,由于DirectX标准的更新速度相对较慢,对于游戏开发者来说,不再需要花费大量的精力去切换新的技术和标准,而是开发出能够适应更多代硬件的作品。同时通过高分辨率配置、高级特效、物理操作、同屏敌人(AI)数量,不同硬件配置的游戏体验其实和simply "来自DX "

你不知道的DirectX版本。;我不知道

同时必须注意的是,实际上从Windows 8到Windows 10的这几年间,微软从来没有坚持过现有的Direct X标准而不做任何改变。事实上,在 "高级 "知名显卡信息软件GPU-Z的页面,我们可以看到目前显卡支持的DirectX标准的详细信息。这里,一些更新的DX版本号,许多人不 不知道最近几年有没有上市。

可以在微软开发者网站上看到DX11~DX11.4的功能变化。

比如在Windows 8.1推出的时候,微软其实是把DirectX 11升级到了11.1版本,增加了FMA(乘加运算)、半精度运算以及大量增强的渲染效率等新功能。在WIndows 10中,DirectX 11已经更新了11.3、11.4和11.5次,Direct 12的一些功能已经引入到 "旧的图形卡和只支持DX11来提高它们的运行效率。

来自微软在Github上的官方维基页面。

例如,赢到目前为止,dows 10已经发布了至少十一个更新版本(从最早的官方TH1版本到最新的20H2 beta版本)。在这个过程中,虽然DirectX 12在版本号的级别上没有变化,但是微软实际上已经更新了DX12 s着色器模式渲染引擎5倍,频率和更新范围甚至超过DirectX 11时代。DXR光线追踪等功能其实就是在这个过程中加入到DX12规范中的。

DXR 1.1版光线追踪,是DirectX12 Ultimate的重要组成部分之一。

也就是说,事实上,近年来,微软一直在进行持续的 "小修小补在DirectX 12上。为什么它没有 t发射 "DX13 "在很大程度上在自身技术上的改变并不是特别彻底,但自然也考虑到了对老卡的兼容性和DirectX目前的功能定位。事实上,最新的DirectX 12 ULtimate也完全兼容NVIDIA s RTX显卡——只要更新系统和驱动,光追用户就能体验到免费的性能提升。不得不说,微软真的做了一件好事。

毕竟,由DirectX版本驱动的显卡更新换代的时代已经结束了,现在微软似乎更关心服务现有玩家,而不是让大家购买新的硬件。

微软 技术 显卡 DirectX 硬件

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。