以下为《数据集成(ETL)工具的设计与构建》的无排版文字预览，完整格式请下载

下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的，下载的文档就是什么样的。

数据集成（ETL）工具的设计与构建

陈某某

经过几十年来快速不断的IT创新造就了大批综合性的、分布式的且不断变化的应用系统，这些系统跨越了从大型机到Web的多种平台，因此不同系统的互连成了亟待解决的问题。如何发挥这些系统中各种数据的作用，将不同应用系统的数据进行提炼、整合，并充分利用已有的技术及应用资源，建成一个完整的、可持续发展的集成系统，数据集成工具成为一种重要的技术，面对多种技术环境开发的基础业务系统，把业务数据迁移到综合业务系统和决策分析系统，并进行有效整合。

数据集成工具主要包括以下几个过程：抽取、清洗、转换和加载等，本文中数据集成工具简称为ETL工具。在实际项目中，本ETL工具已开始实现研发和试用，本文将对ETL工具的设计思想与功能实现等内容进行讨论。

一、ETL工具的功能目标

本ETL工具以各种技术环境开发的基础业务系统为基础，把业务数据迁移到综合业务系统和决策分析系统，并进行有效整合，建成一个完整的集成数据库系统，因此在企业应用集成（EAI）系统中，ETL工具扮演着相当关键的角色，以下是EAI数据集成模型图，箭头表示的数据迁移过程需要通过ETL工具实现。

图 1 数据集成模型

1、主要功能

ETL工具主要功能可分为两部分：数据集成配置和数据集成服务，具体如下：

（1）数据集成配置：提供一个GUI界面，使得用户能够通过界面的互动，比较容易地实现数据集成的流程、规则的定义；同时提供相应的解析功能，实现将配置规则进行解析，并对数据进行集成。最后能够定义并执行相应的抽取计划。

（2）数据集成服务：提供相应的解析功能，实现对集成规则的解析，服务读取这些规则，生成集成任务，在后台进行运行数据集成。并且把这些集成信息发布出来，可以让其它集成工具进行信息共享。

2、特点

（1）易用性：数据集成工具进行抽取任务配置时，比较繁锁，而本ETL工具在进行抽取任务配置时可以做到简单易学，易用；同时配置操作也流程化，易于理解。

（2）稳定性：本ETL工具进行任务执行，保证抽取任务的正常进行。运行稳定，不轻易发生系统错误，不轻易发生程序死机。

（3）可靠性：本ETL工具进行任务抽取时，能可靠地完成抽取，源数据到目标数据的抽取误差低于0.01％，对于因特殊情况无法进行抽取的，或中途停止无法抽取的系统将记录详细信息。

执行效率：本ETL工具对大数据量进行数据抽取，可以保证对大数据量的抽取在正常情况下能较好地执行，在一定时间内完成对大数据量的抽取。

二、ETL工具的总体架构设计

图 2 ETL工具总体架构

如图2所示，ETL工具主要包括配置工具和抽取服务两个部分内容。

1、配置工具

配置工具的开发工具选择E++。其主要实现以下功能：

●数据集成工具的抽取任务规则配置

将提供一个GUI界面的配置工具，实现对抽取任务的配置。用户可以通过界面的互动，比较容易实现数据集成工具抽取规则的配置。

●抽取任务规则解析

对配置后的抽取规则进行解析，服务读取这些规则，生成抽取任务。

根据以下流程进行主要的设计工作：

●数据集成（抽取）：提供GUI界面由用户录入源数据源、目的数据源、抽取规则。

●数据源定义：实现数据源信息的录入，并对数据源进行连接测试。

●抽取方案定义：配置数据抽取的信息及规则。

●抽取任务定义：在数据抽取方案定义完成后，定义数据抽取方案的执行规则。抽取执行定义为“执行任务”，每个“执行任务”包含有一个或者多个抽取方案及子任务。每个“执行任务”具有相同的执行规则，方案执行也具有一定的顺序。

●资源共享：解决异地抽取的问题，对某些表的结构进行共享。

2、抽取服务 内容过长，仅展示头部和尾部部分文字预览，全文请查看图片预览。 论述的ETL工具

Oracle, Sybase, Informix, Sql server ，ODBC、普通数据文件。

平台化、模块化设计思路，基于配置实现。

具有发现数据关联性，并存储、维护关联功能。

通过文件交换方式维护集成的数据。对业务部门影响小，并保证业务部门数据库安全。

完善的问题数据发现、维护机制。

针对性强，可以根据实际需求进行二次开发。

性价比高。

非完全可视化设计。



四、结语

本数据集成工具各项子模块已完成，处于试运行阶段，从运行效果看，本ETL工具各项功能均能满足设计要求，具有易用、稳定、可靠、执行效率高等特点，达到预期目标，且比国外类似产品的功能性价比更高。

[文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]

以上为《数据集成(ETL)工具的设计与构建》的无排版文字预览，完整格式请下载

下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的，下载的文档就是什么样的。