订阅

ETL

我们需要什么样的ETL?
我们需要什么样的ETL?
ETL作为传统数据仓库的底层技术组件,主要是服务于数据采集的,因此,一般数据流动往往是单向的,但在新的时期,我们需要拓展其概念的内涵,从ETL升级到交换,以适应更多的应用场景,这是大数据平台规划人员特别需要 ...
我们需要什么样的ETL?
我们需要什么样的ETL?
从管理角度讲,无论是ETL,还是系统或应用间的数据交换,管理的对象都是接口,描述的方式没有本质的区别,我们需要用一种工具实现所有接口的透明化统一管理,显然升级ETL是最好的方案,很多企业采集由于ETL工具存在 ...
掌握12个关键点,把机器人从科幻电影带进数据治理
掌握12个关键点,把机器人从科幻电影带进数据治理
言归正传,对于数据治理来说,目前大部分企业还在沿用传统的数据治理路线,相当于还是在“请管家”,传统数据治理方式存在着组织架构庞大、管理流程复杂、人工录入工作多、管理范围狭窄等诸多弊端:传统数据治理需要 ...
秦始皇:请叫我数据治理专家
秦始皇:请叫我数据治理专家
经过春秋时期旷日持久的争霸战争,周王朝境内的诸侯国数量大大减少,诸侯国互相攻伐,战争不断。三家分晋后,赵国、魏国、韩国跻身强国之列,又有田氏代齐,战国七雄的格局形成,七国分别是:齐、国楚国、燕国、韩国 ...
数据湖:不治理便破产
数据湖:不治理便破产
在当今的数据架构中,治理已成为一个关键的组成部分。没有它,公司可能会失去有意义的商业智能。当STEVE CRETNEY仔细查看存储数量时,他从中发现了颠覆Colony BrandsIT战略的细节。“我们观察到,在我们的SAN(存储区 ...
什么是数据治理
什么是数据治理
数据治理(DataGovernance),是企业数据治理部门发起并推行的,关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。数据治理是一套持续改善管理机制,通常包括了数据架构组织、数据模型 ...
白话数据仓库 ETL 搭建全过程
白话数据仓库 ETL 搭建全过程
经过多年来企业信息化建设,大部分都拥有了自己的财务,OA,CRM 等软件。这些系统都有自己的独立数据库,记录着企业运行情况某个方面的数据。但是单独看这些系统的报表,并不一定能对企业运行情况有全面客观的了解。 ...
数据清洗经验
数据清洗经验
前言科研工作者、工程师、业务分析者这些和数据打交道的职业,数据分析在他们工作中是一项核心任务。这么不仅仅针对“大数据”的从业者,即使你笔记本硬盘上的数据也值得分析。数据分析的第一步是洗数据,原始数据可 ...
针对大数据的数据治理流程:不可能的任务?
针对大数据的数据治理流程:不可能的任务?
“大数据”吸引人的是承诺能够提升公司的竞争优势,公司可以利用它发现客户、网站使用率及其他与业务息息相关的元素。但是,一定要小心:缺乏正确的数据治理流程,大数据项目先行者的热情可能会引发一系列问题,其中 ...
ETL构建企业级数据仓库五步法
ETL构建企业级数据仓库五步法
在数据仓库构建中,ETL贯穿于项目始终,它是整个数据仓库的生命线,包括了从数据清洗,整合,到转换,加载等的各个过程,如果说数据仓库是一座大厦,那么ETL就是大厦的根基,ETL抽取整合数据的好坏直接影响到最终的结 ...
数据治理项目的五大最佳实践
数据治理项目的五大最佳实践
来自美国的Nationwide互助保险公司和Cardinal医药都是IBM的客户,他们表示如果希望在全公司范围内实施数据治理项目,就必须要做最坏的准备,并尽早把招聘各种技术人才的计划提上议事日程。Nationwide互助保险和Cardi ...
浅谈数据仓库数据质量管理系统
浅谈数据仓库数据质量管理系统
一个完善的数据仓库必须含有一个完整的数据质量管理系统与元数据管理系统,但是目前国内的数据仓库对数据质量管理这块都不是那么重视,我个人觉得这是一个很大的误区,一个数据仓库如果连数据质量都无法保证,还如何 ...
数据仓库建模与ETL的实践技巧
数据仓库建模与ETL的实践技巧
一、Data仓库的架构   Data仓库(Data Warehouse DW)是为了便于多维分析和多角度展现而将Data按特定的模式进行存储所建立起来的关系型Datcbase,它的Data基于OLTP源Systam。Data仓库中的Data是细节的、集成的、面向 ...
探求数据仓库关键环节ETL的本质
探求数据仓库关键环节ETL的本质
做数据仓库系统,ETL是关键的一环。说大了,ETL是数据整合解决方案,说小了,就是倒数据的工具。回忆一下工作这么些年来,处理数据迁移、转换的工作倒还真的不少。但是那些工作基本上是一次性工作或者很小数据量,使 ...
企业级大数据备份:十问重复数据删除技术
企业级大数据备份:十问重复数据删除技术
仅仅在几年以前,重复数据删除还是一个独立的功能,重复数据删除为企业备份和归档部门的存储系统提供另一种选择。同时也在云端网关找到了新的用途,当数据进入阵列或虚拟磁带库之前过滤掉不必要的数据块。现在,它已 ...
12下一页

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

热门文章

    社区热帖

       

      GMT+8, 2018-12-16 00:47 , Processed in 0.104626 second(s), 16 queries .