概述

    大型信息化系统的集成工作从来都是一项复杂的系统性工程， 随着 “数据驱动”理念在信息化建设中的流行推广，与数据相关的集成工作受到越来越多的重视，这些工作包括但不限于：跨部门跨组织之间的数据联通，多源头、异构系统的数据采集融合，跨隔离网段的安全数据交换，整合大数据、IoT、云计算等新型架构的数据流水线等等。我们在实践中发觉，传统的数据集成方式、方法已经无法满足现今的数据集成需求；传统的数据集成产品和人才储备已无法承接各行各业井喷的数据集成商机。

    我们提供国内最为专业的数据集成类产品和服务，帮助系统集成项目啃下“数据集成”这块硬骨头。我们的解决方案能够将杂乱无章的数据分布状况改造成为规范标准的数据交换、采集和共享服务平台，为大数据平台、可视化应用、AI应用供数，为异构系统的信息交换搭桥，为数据质量管理提供抓手。

产品特性

• 创新技术，高性能、易部署、简化运维

    产品基于C++11开发，使用函数式编程模型，采用Docker容器技术封装，具有省资源、高性能、易部署等优点。相关技术和运维文档详细友好，丰富的示例配以24小时在线的云测试平台，即学即用、快速上手。相关解决方案模版丰富翔实，便于修改、整合至整体集成方案之中。除此之外，我们还拥有一套成熟完备的数据集成工程师培训体系，并培养了一支优秀的专业队伍，可以提供二线技术支持、一线运维保障、售前方案设计和数据集成项目实施等服务，也可以为集成商提供相关的数据集成培训服务。

• 统一治理，跨系统、跨部门、跨时间集成数据

    产品特有的元数据管理服务可帮助行业专家快速建立业务数据规范、梳理数据资源目录，将各类数据资源按照类目录层级结构统一管理起来。在我们的产品中，每个数据资源点都有指定唯一的数据资源路径描述。产品统一为不同部门、不同系统及不同时间点数据分配规范的数据资源路径描述，将原本分散的业务数据采集到各个子目录层级进行存储管理，为后续的数据治理和分享打下坚实基础。

• 配置能力强，可组装产品满足各类数据集成需求

    基于强大的配置能力，我们的产品能像“瑞士军刀”般迅速地为客户提供各类数据集成范式，无论是定时批量ETL、数据服务总线、元数据管理还是ODS、DaaS服务、数据湖，亦或是物联网数采、混合云数据交换等，都可以通过组合配置和一些简单的二次开发实现。更加实用的是，产品功能可按需扩展，通过节点升级和多节点集群的方式同时支撑多种数据集成模式，并实现负载均衡和高可用，最终为集成项目提供一套强大的私有化数据集成平台。

主要产品

    产品相关术语与技术介绍请参考见： 术语解释与技术介绍

数据交换服务

    平台提供发布/订阅代理服务，发布/订阅(Pub/Sub)是一种多对多数据交换的方式,支持跨系统、跨部门的数据交换， 交换粒度为一条消息。接入方需要使用SDK以用户名、密码与平台服务端建立连接，并可以自主断开连接，处于连接状态的客户端才能进行发布/订阅操作。各系统业务数据以话题形式在平台交换，话题包含资源路径+消息体。话题发布并通过数据格式校验后，所有订阅此话题的并有权限的客户端都可以接收到此话题的消息。发布/订阅话题的权限可以通过资源路径设置。平台中发布/订阅的话题数据，将按资源路径在平台数据库中持久化保存。具体接口技术文档如下：

• 发布/订阅代理服务接口文档

数据采集服务

    平台提供基于流行的Rest 风格设计的HTTP数据采集接口。此接口使用HTTP协议POST方法，并使用HMAC方法进行用户认证：接入方在HTTP请求消息头中包含资源路径、用户名及TOKEN等信息，系统会据此进行用户身份认证及资源权限认证。HTTP消息体按资源规范以JSON格式编码，平台会对消息体中的信息进行数据格式校验，校验结果会包含在HTTP返回中。
    HTTP数据采集接口除了支持逐条发送数据，也支持批量压缩写入。发送方按照接口规范按批次发送数据，批次信息包括批次号、数据序号、批次数据量等信息，数据进行压缩后传输，平台接收数据并解压，按照批次信息进行批量数据校验，并将批次的校验结果包含在HTTP返回信息中传递给发送方。 具体接口技术文档如下：

• 数据采集服务接口文档

数据共享服务

    平台提供基于流行的Rest规范设计的数据共享WebAPI。接口使用HTTP协议POST方法，使用HMAC方法进行用户认证，基于资源路径做访问权限控制。发送方在HTTP请求消息头中包含资源路径、用户名及TOKEN等信息，系统会据此进行用户身份认证及资源权限认证；在请求消息体中按照规范组合查询条件，通过验证后接口会返回查询结果，考虑到系统效率，此接口最多支持1000条查询结果返回。发送方可以使用接口count（计数）功能，获取符合该查询调节的数据条数；如果超过1000条，可以使用接口page（分页）功能，分多次请求获取查询结果数据。具体接口技术文档如下：

• 数据共享服务接口文档

服务接口对比

桥接配置服务

    平台各节点可以配置不同的桥接组合，桥接支持把各类系统发布到平台的数据，通过指定的通道将数据转发到不同的节点，实现数据在平台不同节点之间的流动，形成平台节点的数据“路由表”。桥接功能的示意图如下：

• 桥接配置

接入服务

    平台接入流程文档如下：

• 对接流程