大规模多源数据智能整合系统

本产品是一款数据处理基础软件，主要针对大数据环境下异构数据的整合需求，为客户提供高效数据管理应用解决方案。

主要功能包括：

1、适合于大数据处理的数据整合平台框架；

2、结构化、半结构化和非结构化数据模型、查询语言等的一体化管理；

3、多源数据的识别、抽取、发现、关联、集成、融合；

4、大规模数据的分布式存储和处理高效的异步复制技术实现故障转移和负载均衡。                            

主要技术指标：

1）异构数据源：结构化数据、半结构化数据、非结构化数据；数据抽取：全量数据、增量数据；

2）数据清洗：自定义清洗规则；

3）数据转换：系统函数、自定义函数和变量、SQL与JAVA自定义脚本；

4）数据装载：并行装载、批量文件；

5）数据传输：网络传输；

6）审计：对节点、交换过程、日志等内容进行管理，任务运行过程中能对错误信息进行提示；

7）系统管理：用户管理、元数据导入/导出、交换作业导入/导出。