何为数据集成?

数据集成是指将不同来源的数据整合到一个统一视图中:从摄取开始,到清洗、映射和转换到目标接收端,并最终让数据对于访问者而言变得更可执行且更有价值。 如今,特别是随着数据以及全新云和大数据技术的爆炸式增长,企业需要制定适当的数据集成计划,以便更为高效地分析他们的数据并据之采取行动。数据集成对于现代化企业改善战略决策和提高竞争力来说不可或缺。

数据集成没有万用之法。但是数据集成解决方案通常涉及几个共同的元素,包括数据源网络、主服务器以及从主服务器访问数据的客户端。

在典型的数据集成流程中,客户端向主服务器发送一个数据请求。主服务器而后从内部和外部来源摄取所需的数据。数据从这些来源被提取出来后,以聚合、统一的形式进行整合,再以一种可用、聚合的形式返回给客户端。

Ready For More? Download 何为数据集成? User Guide now.

View Now

为何数据集成至关重要

即使企业接收到需要的所有数据,通常而言这些数据也驻留在大量不同的数据源中。例如,对于典型的 客户 360 度视图用例,须整合的数据可能包括来自其 CRM 系统、Web 流量、营销运营软件、面向客户的应用程序、销售与客户成功系统的数据,甚至合作伙伴数据(仅举几例)。出于分析需要或者为了便于运营行动,通常需要将来自所有这些不同来源的信息整合在一起,而这对于数据工程师或开发人员来说并不是项轻松的工作。

我们来看一个典型的分析用例。在无统一数据的情况下,生成单一报告通常需要在多个站点登录多个账户,访问源生应用程序内的数据,复制数据,重定格式和清洗,完成上述操作后才能进行分析。

以尽可能高效的方式开展这些操作体现出了数据集成的重要性,并彰显了经深思熟虑的数据集成方法所能带来的巨大益处:

1. 数据集成可改善系统协作和统一

为开展共享和单独的项目,各个部门(有时也位于分散地理位置)的员工越来越需要方便地访问企业的数据。IT 需要打造一款安全的解决方案,跨企业内所有部门通过自助服务交付数据。

另外,几乎所有部门的员工都在产生和改善其他部门所需的数据。数据集成需要以协作、统一的方式进行,才能提升整个企业的协作性和统一性。

2. 数据集成可以大大节省时间

企业如果采取措施对其数据进行适当集成,则可大幅缩减准备和分析该类数据所花费的时间。统一视图的自动化还可消除手动收集数据的必要,让员工在需要运行报告或构建应用程序时无需从新建立连接。

除此之外,借助适当的工具而非手动编码,数据集成还可以为开发团队节省更多的时间和资源(总体而言)。

他们可以将从这些任务上省下的时间投入到其他更有意义的工作上,有更多时间来开展分析和执行,从而提高企业的生产力和竞争力。

3. 数据集成可减少错误和返工

及时了解企业数据资源的最新情况并非易事。手动收集数据时,员工必须知道他们可能需探寻的每一位置和帐户,并在开始前安装所有必要的软件,以确保他们数据集完整且准确。如果存在数据资源库的添加,且相关员工不知道,此时建立的数据集则会不完整。

此外,如果没有一个可同步数据的数据集成解决方案,则必须定期重做报告,以便将任何变更纳入其中。而借助自动更新,您将可以根据需要即时、轻松地运行报告。

4. 数据集成可提供更具价值的数据

实际上,数据集成工作可以增加企业数据的长期价值。由于数据是集成在一个集中的系统中,您将可以及时发现质量问题并实施必要的改进,最终获得更为准确的数据,而这正是质量分析的基础。

现代企业中的数据集成

数据集成并非一体适用的解决方案;业务需求不同,适用的配方可能也不尽相同。以下是数据集成工具的一些常见用例:

充分利用大数据

数据湖非常复杂而且规模庞大。比如,像 Facebook 和 Google 等企业会处理来自数十亿用户的不间断的数据流入。这种级别的信息使用通常称作大数据。随着越来越多的大数据企业突然涌现,企业可以纳为己用的数据也越来越多。这意味着,先进的数据集成方案已成为许多企业开展运营工作的核心。

创建数据仓库

数据集成计划(尤其是在大型企业中)通常用于创建数据仓库,并借此将多个数据源整合到一个关系数据库。利用数据仓库用户可以按照一致的格式运行查询、编制报告、生成分析并检索数据。

简化商业智能 (BI)

通过提供来自大量来源的数据的统一视图,数据集成可简化商业智能 (BI) 分析流程。企业可以轻松地查看并快速地理解可用的数据集,从而获得有关当前业务状况的可执行信息。通过数据集成,分析人员还可以编制更多的信息,进行更准确的评估,而不会被庞大的数据量压垮。

与业务分析不同,BI 不会使用预测性分析进行未来预测,相反,它侧重于说明当前和过去的情况,以此帮助作出战略决策。数据集成的这个用途非常适合数据仓库。在数据仓库中,以易于使用的格式储存的高级别概览信息对齐良好。

ETL 和数据集成

提取、转换、加载 (通常称为 ETL)是数据集成中的一个流程,在此流程中,数据从来源系统中提取出然后交付到仓库中。这是数据仓库进行的一个持续流程,用于将多个数据源转换成有用且一致的信息,以便开展商业智能和分析工作。

数据集成挑战

摄取多个数据源并将其转化成单一结构中的一个统一整体,这一过程本身就是一项不小的技术挑战。随着越来越多的企业构建出自己的数据集成解决方案,他们需要创建一个预建的流程,来一致地将数据移动到所需的位置。虽然这能够在短期内节省时间和成本,但实施起来却有诸多的障碍。

以下是企业在打造其集成系统时面临的一些常见挑战:

  • 如何到达终点线:企业通常都知道他们想从数据集成中得到什么,特定挑战的解决方案。他们常常忽略的一点是通过何种途径实现目标。实施数据集成的任何人都必须清楚他们需要收集和分析什么类型的数据、数据源自哪里、将要使用此类数据的系统、将执行哪种类型的分析,以及将需要以何种频率更新数据和报告。
  • 来自旧有系统的数据:集成工作需要包含旧有系统中存储的数据。但是,此类数据通常缺少诸如活动时间和日期等标记,而更现代的系统一般会包含这些标记。来自较新业务需求的数据:如今,新系统正在从诸如视频、IoT 设备、传感器和云等各类来源,生成各种不同类型的数据(例如非结构化或实时)。了解如何快速调整您的数据集成基础架构以满足集成所有这些数据的需求对于您企业的成功至关重要,但这实施起来极其困难,因为数据量、数据速度和新的数据格式都会构成新的挑战。
  • 外部数据: 从外部来源获取的数据可能不会以与内部来源数据相同的详细级别提供,因此很难按照相同的精确性来进行检查。此外,与外部供应商订立的合同也可能导致在整个企业内共享数据变得异常困难。
  • 保持跟进:集成系统投入运行后,任务并未大功告成。数据团队还需要确保数据集成工作符合最佳实践以及企业和监管机构的最新规定。

但是,这些挑战中的大多数都可以通过合适的数据集成平台来缓解。您可以利用免费开源的数据集成解决方案迈出应对挑战的第一步。

如何集成业务数据

您可以采用以下几种方法,根据企业的规模、要满足的需求以及可用的资源来进行数据集成。
  • 手动数据集成 指的是用户通过直接访问接口从不同的来源收集必要的数据,然后根据需要对数据进行清洗,并整合到一个数据仓库中。这种方法非常低效,而且易出现不一致的问题,对于几乎所有企业来说都意义不大,除了数据资源量微乎其微的小型企业之外。
  • 中间件数据集成是一种集成方法,指由中间件应用程序充当中介,帮助对数据进行标准化,并将其集合到主数据池中。(想象一下带过时连接点的老旧电子设备的适配器)。旧有应用程序通常无法与其他应用程序兼容。当数据集成系统无法自行访问这些应用程序上的数据时,中间件就能派上用场。
  • 基于应用程序的集成是一种集成方法,指由软件应用程序定位、检索和集成数据。在集成期间,软件必须使来自不同系统的数据相互兼容,以便可将其从一个来源传送到另一个来源。
  • 统一访问集成是一种数据集成类型,可创建一个前端,使数据从其他来源访问时看起来一致。但数据存放在原始来源中。借助这种方法,可利用面向对象的数据库管理系统,使不同数据库中的数据以一致的方式呈现。
  • 公用存储集成是数据集成中最常用的存储方法。它将来自原始来源的数据的副本保存在集成系统中,并进行处理,然后提供一个统一视图。这与将数据保存在原始来源中的统一访问集成方法有所不同。传统数据仓库解决方案背后的基本原理即是公用存储方法。

Ready For More? Download 何为数据集成? User Guide now.

View Now

对数据集成工具的期望

数据集成工具可大幅精简数据集成流程。数据集成工具具备的特性包括:

  • <大量连接器。世界上有许多系统和应用程序;您的数据集成工具具备的预建连接器越多,您的团队可以节省的时间将越多。
  • 开源。开源架构通常可以提供更大的灵活性,同时帮助避免供应商锁定。
  • 可移植性。这点非常重要,因为越来越多的企业为了能一次性构建好数据集成方案然后在任何地方运行,转向了混合云模式
  • 易用性。数据集成工具应配备一个 GUI 界面,易于学习和使用,让您可以轻松实现数据管道的可视化。
  • 透明定价模型。您的数据集成工具提供商不应反复劝说您增加连接器数量或数据量。
  • 云兼容性。您的数据集成工具应可在单云、多云或混合云环境中源生运行。

数据集成入门

为跟上现代业务需求的脚步,企业正面临越来越大的压力,而头顶上狂轰乱炸的数据也让形势更加紧迫。因此,任何企业或组织如果要找到最佳的数据集成方案,需要了解数据集成用于满足哪些需求、通过哪些方法实现数据集成,以及实施中可能出现哪些障碍。

立即下载 Talend Open Studio for Data Integration,享受领先开源数据集成工具带来的巨大益处。

| Last Updated: January 22nd, 2019

Most Downloaded Resources

Browse our most popular resources - You can never just have one.