数产集团大数据平台

数产集团大数据平台产品包括：大数据基础平台、数据交换平台、离线开发平台、实时开发平台、算法平台、数据资产平台、数据服务平台。

大数据基础平台具备海量数据存储和归档，支持各部门结构化和非结构化数据存储。数据交换平台能够支撑多方数据的实时、批量共享与交换。离线开发平台底层封装了大数据相关的一系列技术，如：Hadoop、Spark，实现数据同步，离线数据批处理加工，数据分析，运维管理等底层能力。实时开发平台提供的低延迟、高吞吐、高可靠的分布式流数据分析工具，通过全托管的方式让用户不用关心底层计算集群的架构原理，只需要聚焦于本身的业务逻辑，有SQL代码基础即可执行作业。算法平台集成完整的数据挖掘组件库，提供丰富的算法组件，覆盖回归、分类、聚类、文本分析、关系挖掘等算法。数据资产平台提供了统一数据目录，能准确完整地提供完整数据清单。数据服务平台基于大数据架构提供统一的数据服务能力，是数据资源对外开放的共享通道。

方案特点

1、兼容适配性强

已对接20+数据源和主流大数据平台；支持插件化方式扩展。调度作业数支持10万+，SLA达到99.999%。

2、数据安全可控

平台采用租户、项目、环境三层隔离机制，方便对资源、权限控制和隔离，数据安全可控；通过统一数据权限服务对接大数据接集群权限组件，打通底层数据权限系统，当平台给用户申请权限后，将自动在集群上申请相应的权限。

3、平台具备开放性

自研引擎层，提供了统一的大数据平台等相关资源操作的接口；服务层，提供了多种通用功能的Open-API，并且可以开放部分源代码进行定制。

4、轻量化产品部署

轻量化的部署：4台8C16G虚拟机，具备弹性扩容能力；4小时完成平台部署上线。

实际解决客户单位问题

1、通过整体数据集成、规范数据标准、形成数据资产，为整个园区/城市数字化建设打下坚实基础，提供高效数据支持，提高整体运营效率，实现数据及业务流程规范化管理，提升运营管控质量。

2、打破园区/城市内各产业链，各个主体之间的宏观数据壁垒，使得数据能够有效汇总和流动，盘活数据价值。

3、为各部门提供基础数据开放服务，避免各主管部门，各主体等独自采集需求数据，减少了数据资产的重复投入，降低了各主管部门和主体整体基础信息采集的成本。