EzSpatial集成化空间数据中心
山海易绘EzETL空间数据抽取、转换与加载工具
发表时间:2011-05-18

应用背景

信息作为当今社会经济发展的重要资源,是管理、决策和应用的基础。目前,很多政府部门和企事业单位都投入大量的人力、资金和时间,构建了基于各自业务应用的信息系统,用来记录事务处理的各种相关数据。而如何能够通过各种技术手段,把这些重要数据转换为信息、知识,以至将其转换为GIS数据实现在地图上的直观展现,已成为其技术发展和行业应用的主要瓶颈之一。ETL,即是实现这一目标的重要技术手段。
所谓“ETL”(Extraction-Transformation-Loading),是对数据抽取(Extract)、转换(Transform)、清洗(Cleansing)、加载(Load)的过程,是构建数据库的重要一环。对于地理信息系统来说,“ETL”操作一般是指将数据从用户的原系统中抽取出来,经转换后加载到当前系统中的过程。

系统简介

山海易绘EzETL空间数据抽取、转换与加载工具(以下简称“EzETL”),是公司自主研发的空间数据处理软件,能够在线访问、批量抓取数据,实现数据清洗、整合、格式转换、字段映射、比对上图、属性空间化等功能。

 

EzETL工具作为各种类型数据间相互转换的桥梁,能够支持各种常见的空间及属性数据源的不同格式转换,并可在转换过程中添加一些复杂的处理过程,以得到用户需要的最终数据结果。同时,能够根据用户的实际需求,自动、批量、定时地运行预先定义好的数据转换过程。
用户通过EzETL工具,先从已有的信息资源库或业务系统中抽取出所需的源数据,然后经过转换、清洗等处理过程,按照预先定义好的数据库模型,将这些数据最终加载到用于核心数据集成的目标数据库中。该过程可简单概括为“E”对应源数据,“T”是对一系列数据处理器的组合,“L”则对应目标数据。

1) 数据抽取(Extract):EzETL工具可通过接口提取源数据(属性数据或空间数据)。

2) 数据转换(Transform):EzETL工具将抽取出来的源数据,经过一系列的数据过滤、质量检查、数据更新等清洗处理过程,转换为符合业务需要的目标数据结构并实现汇总。常用的数据处理操作有数据过滤检查、字段映射、列值计算、属性联合、空间联合、投影变换、样式转换、语义转换等。

3) 数据加载(Load):最后,EzETL工具将处理后的属性数据或空间数据,加载到目标数据库中,可实现SQL或批量加载,并可对数据进行更新追加。

典型案例

> 北京市国土资源局国土资源数据交换管理系统

> 崇文区国土资源数据交换管理系统一期

> 浙江省地理空间数据交换平台共享数据管理系统

> 南宁市公安局警用地理信息平台

> 辽宁省公安厅警用地理信息系统

> 石家庄市公安局警用地理信息基础平台

> 常州市公安局警用地理信息系统

> 成都市公安局警用地理信息系统

> ……

 

Copyright © All Rights Reserved 京ICP备11002330号 京公网安备110108007828号