AI智能共性支撑平台(数据目录系统服务资源)

事件包含市容环境类、宣传广告类、施工管理类、街面秩序类、突发事件类、其他事件类。
部件则包含公用设施、交通设施、市容环境设施、园林绿化设施、房屋土地、交管、城管、公安（雪亮工程）消防、园区、学校机构、公交地铁等机构 、网格系统、12345系统等的视频，音频、图像的来源，包括视频、事件图像、事件音频，人脸识别图像、汽车牌照图像等数据。
通过智能识别、分类处理、模型训练，建立AI中台和共性支撑数据库。
各个部门提供数据服务，各部门需要相关数据时，可从共性支撑数据库调取。

在 5G、AI、云计算、大数据、物联网等新兴技术迭代更新的驱动下，智慧城市建设持续加速，以创新的理念+科技手段推动监管创新、服务创新成为城市精细化管理和运营的重点方向。

城市管理也逐渐向"互联网+"发展趋势转变，在不断优化管理流程的同时，也在积极探索智能化、数字化的城市管理模式。

业务挑战

1）问题发现效率低，人力成本高

采集员队伍承担着对城市管理事件问题的日常巡查、上报、核实、核查、普查等工作，是巡查发现问题的主要来源，极大依赖于采集员专业水平，人力成本高；缺少智能化、自动化手段及时发现城市管理问题，效率低下。

2）数据分析手段少，时效性差

数据采集的不完整，不利于管理的深化；数据实时性较差，无法形成定量的分析；缺少数据的汇聚分析，对城市管理和公共服务的判断只能停留在定性层面。

3）数据分散，部门协同困难多

部门之间“管理分治、系统分建、数据分散”，疑难案件缺乏协同管理，处置部门推诿扯皮，问题得不到及时解决，基层工作开展困难。

4）系统孤立，数据壁垒严重

平台重复建设、系统孤立、数据汇聚难，缺乏统一数据分析决策系统，形成科学决策依据。

方案需求

针对城市管理中的一些核心问题，如占道经营、车辆占道、车辆违停、街道垃圾堆放、井盖丢失等，搭建智慧城管监管平台，消除"信息孤岛"，实现智能监管、信息共享、业务协同，做到及时发现、处理与解决城市运行中出现的多种问题。

利用物联网、云计算、大数据、移动互联网、人工智能、GIS 等技术，通过融合智能检测、智能识别、智能预警等，从多个维度分析业务中人、车、物和事件，构建城市管理可视化平台，实现对城市管理问题的自动识别、采集、取证等功能，扩大城市管理可视、可控范围，提高城市管理的智能化程度。

方案架构

将分散在政府各部门的视频资源进行整合，将视频、音频图片、监控汇聚到AI智能共性支撑平台，包括交管、城管、公安（雪亮工程）消防、园区、学校机构、公交地铁等机构 、网格系统、12345系统等的视频、音频、图像，种类包括视频、事件图像、事件音频，人脸识别图像、汽车牌照图像等数据，实现视频监控数据的接入、智能检测与识别、异常告警等业务，满足智慧城市建设中不同业务部门的智能化需求。

功能实现

围绕交管、城管、公安（雪亮工程）消防、园区、学校机构、公交地铁等机构 、网格系统、12345系统等的视频，音频、图像的来源，包括视频、事件图像、事件音频，人脸识别图像、汽车牌照图像等数据城市，建立起信息管理机制、精确长效闭环管理的综合评价机制和精准高效的预警分析研判机制。

充分利用 AI、GIS、物联网、5G、大数据等技术，提高了城市管理者工作效率，降低了处罚追溯的难度，推动城市管理工作从数字化、网络化向智能化加速迈进。

AI共性支撑平台负责数字政府项目的音频、视频、图片等数据存储、处理与交换，包括：共性支撑数据平台和数据交换平台。

数据管理用于构建PB、EB级别的数据仓库，实现超大规模数据集成，对数据进行资产化管理，通过对数据价值的深度挖掘，实现业务的数据化运营。

基于分布式大数据引擎的数据开发套件，由多个功能模块组成：

调度系统用于对生产作业进行周期性的调度执行，对作业间的依赖关系进行自动化维护。

主要职能是监控异常的任务，并进行告警；提供两种工作模式，分别是强保障，弱保障。
在强保障模式下，系统通过智能预测、精准通知、持续告警、告警升级等手段保障重要任务在规定的时间产出；在弱保障模式下，系统仅在任务出错的情况下，才会通知责任人。

数据授权系统图

功能要求

1. 性能要求：在4vCPU@2GHz、8G内存、100M局域网条件下，异构数据源之间的全表数据同步能达到2万行/秒，其中每行数据不小于512字节。

2. 可扩展性要求：系统应该尽可能注意可扩展性，要求支持能够对数据处理能力进行扩展：支持通过shell和存储过程脚本，对数据处理过程进行自定义；支持提供扩展接口，通过实现和编译符合要求的数据处理插件，来扩展系统处理能力。

3. 稳定性要求：要求系统运行稳定可靠，无因用户常规操作而报错或终止运行，并将用户异常操作而报错或终止运行的概率尽可能降到最低。
对于出错信息进行详细记录，保证系统维护人员能短时间内排除错误。

4. 易用性要求：拖拽式的操作方式，风格一致的流程节点属性编辑。

运维平台用于对项目空间的生产作业运行情况、资源消耗情况、数据存储情况进行管理和统计分析。

政务数据资源目录体系，包含：

政务数据资源目录平台是用于组织、存储、管理政务数据资源目录内容，通过元数据信息的发布、查询、定位和管理机制，实现政务数据资源目录内容的共享。
用户通过网站和应用使用目录服务，资源目录系统的设计框架分为四层，建立在这些支撑与保障之上：

1） 目录体系标准：规范政务数据资源目录体系的相关标准。

2） 安全保障：遵循国家关于信息安全保障的相关标准。

3） 支撑环境：包括系统的软件、硬件和网络。

第一层资源层：存放各级部门可以公开或可在政府部门间共享的政务数据资源，包括业务应用信息数据库、共享文件库、基础或主题数据库等资源。

第二层目录层：AI智能共性支撑平台主要有公共资源目录、专用资源目录、交换资源目录，相应需要存储这些目录的核心元数据库，因此目录层相应分为：

第三层交换层：是资源目录平台向应用层或其它应用系统提供各类应用服务接口，以方便应用的调用、资源目录平台与交换平台的互通、资源目录平台之间的信息交换和访问。
根据公共资源目录服务和交换服务目录服务系统分别给出各自不同的接口，支持Web门户或应用开发。
数据结构、接口定义采用XML Schema格式表示。

第四层应用层：是目录服务向用户的展示层。
政务部门用户主要通过内部网站使用目录服务；社会公众用户通过外部网站使用目录服务。
用户使用应用层提供的各类工具进行目录内容的查询，也可对目录内容进行设置和管理。

Web门户以网站的形式提供给用户可视化的目录服务，应提供下列功能：

1） 按分类进行目录浏览。
包括公共资源目录和交换服务目录。

2） 按部门进行目录浏览。

3） 按关键字检索。

Web门户使用Web界面实现元数据的统一浏览、查询、编目等；其它应用主要调用API接口的非web应用。

根据政务数据资源所具有的特点，从信息资源的管理、维护及安全等角度出发，在政务网络中采用集中式管理方式，管理并存储政务数据资源目录，并实现与政务数据资源的实际情况相符的同步机制。

政务数据资源目录平台应按照统一的目录体系标准规范实现业务、系统、数据等内容的注册、审核、发布、查询、共享交换控制、数据清洗、维护管理和监控及预警等功能。

政务数据资源目录平台的内容包括：部门业务目录、业务数据目录、应用系统目录、应用系统数据目录、专题数据目录、元数据目录六大目录。

公共资源库依托部门业务系统建立的为用户提供政务数据资源服务。
交换资源库依托部门业务系统建立为用户提供信息交换服务。

目录体系的基本功能包括目录内容编目、注册、发布、查询、维护等，这些功能通过公共资源目录接口实现了政务数据资源目录的建立、查询和管理。

编目

目录内容提供者按照规划中设定的元数据项对共享政务数据资源进行目录编辑，并形成目录内容。
系统实现公共政务数据资源核心元数据和交换服务信息资源核心元数据的编辑功能，包括：

按照主题分类、行业分类、服务分类和资源形态四种分类设置政务数据资源分类，至少设置一种分类码。
也可依据实际的应用需要按部门进行政务数据资源分类。

依法对编辑的数据资源目录和目录内容设置使用权限，分为依法私有、公开和共享三种级别。

注册

政务数据资源目录内容提供者向政务数据资源目录节点注册目录内容，目录管理者对注册的目录内容进行审核校验和管理，管理者向提供者反馈错误的目录内容注册信息。

目录内容提供者提交注册的目录内容遵循核心元数据标准，并且必须包含核心元数据的必选项。

审核发布

管理者发布并审核的目录内容，包括公共政务数据资源核心元数据和交换服务信息资源核心元数据。

发布服务允许目录提供者向目录服务器发布目录元数据。
本着谁发布目录谁负责的原则，目录提供者只能对自己发布的元数据信息进行修改。
对发布完毕的元数据进行修改或删除时，需要携带鉴别信息和唯一交换服务标识符。
发布服务通过insert_xxx、update_xxx、delete_xxx向目录服务器发布和维护目录元数据信息。

查询

目录服务提供人机交互方式的目录内容的查询功能，包括：

因此，目录系统要为应用系统提供标准的调用接口，支持公共政务数据资源核心元数据和交换服务信息资源核心元数据的查询。

查询服务允许目录使用者在一定的安全策略条件下，对目录服务器进行查询和检索。
查询服务分为粗略查询和详细查询两种模式。
粗略查询使用find_xxx目录接口。
目录使用者通过粗略查询模式获取大致相关的元数据信息。
查询返回的元数据信息包含元数据名称、唯一标识符和概要信息。
详细查询使用get_xxx目录接口获取某一个特定元数据条目的所有详细信息。

目录体系提供的查询接口API主要包括：

目录使用者查询目录服务器是否存在满足需要的服务模型信息。
这个阶段目录使用者进行粗略的服务模型信息获取，以扩大服务模型的搜索范围。
findServiceModel API结构表示如下：

目录使用者查询目录服务器是否存在满足条件的政务部门信息。
API结构表示如下：

使用者查询目录服务器是否存在满足需要的政务部门服务信息。
目录使用者能够搜索的元数据范围视其使用限制和安全限制等级权限而定。
API结构表示如下：

当用户获取得到服务模型的简略信息后，如果希望得到当前服务模型的详细信息时，调用此API。

当用户获取得到政务部门简略信息后，如果希望得到当前政务部门的所有信息时，调用此API。

当用户获取得到服务的简略信息后，如果希望得到交换服务的详细信息时，调用此API。

共享交换控制（订阅）

针对各部门发布的政务资源目录元数据，本部门要想得到自己所关心的元数据内容，必须经过发送订阅请求，并通过中心或对方部门的审核通过才能得到本部门需要的元数据。
在政务资源的订阅操作中，系统可以对已订阅资源的查询操作，同时可以自动列出本部门可以订阅的目录资源以方便用户对资源的有效利用。

在目录服务中建立一个指定的容器对象并提供面向基于关系型数据库的资源库提供信息获取适配器。
提供这类的适配器有利于大部分的资源库快速接入信息资源共享体系，通过简单的订阅功能即可实现政务资源的共享。
同时提供了完善的接口标准。
接口标准可以很方便、很灵活的获取资源库的具体共享数据。

目前可以被订阅管理的对象拥有如下一些基本属性：订阅名称、资源名称（唯一的）、共享方式、类型（数据、服务、文件）、状态、订阅时间、有效时间、发布部门及操作等。

数据清洗

在目录平台，可以实现数据清洗的配置、管理、日志、调度等，具体数据清洗的功能则是在交换平台实现。

维护管理

目录内容库的建立、更新、备份与恢复、入库与出库。

监控及预警

实现对资源目录、数据及其运行平台的运行状态监控、日志记录和异常操作的报（预）警。
管理监控平台主要包括以下内容：

随着共享的资源库越来越多，为了保证整个信息资源共享体系能够正常运行，系统需自动对各个资源库的共享服务进行监控，并在异常的情况下报告具体的资源库管理员和中心平台管理员。

记录各部门之间运行平台的运行状态监控。

对数据资源的发布、注册、订阅的情况进行管理。
包括：资源审计、审核日志等功能。

政务数据资源目录应该分为部门业务目录、业务数据目录、应用系统目录、应用系统数据目录、专题数据目录、元数据目录六大目录。

记录了各部门的各项业务条目，及每一项业务的详细情况。
详细情况中将关联业务数据目录和应用系统目录。

记录了该业务在进行中不通过应用系统所产生的数据，例如文档、Excel表格等。
业务数据目录将能直接关联到该文档或Excel表格等。

应用系统目录记录了该业务在进行中所使用的应用系统的详细情况，包括该应用系统的技术标准，数据存储形式等，应用系统目录将能关联到应用系统数据目录。

记录了该应用系统中每一个数据表和数据字段的详细情况，同时记录了该数据字段的共享权限。
应用系统数据目录应该与元数据目录相关联。

专题数据目录主要记录专题数据库中数据表和数据字段的详细情况，同时记录了该数据字段的共享权限。
专题数据目录应该与元数据目录相关联。

记录了数据共享交换平台内全部元数据及标准。

资源目录接口定义了检索和管理目录服务信息的过程、方式以及参数和接口。
目录服务是基于元数据实现的，目录服务规范可基于HTTP或HTTP-SOAP协议实现，请求和响应消息采用XML编码。

接口模型简介

下图显示了基本的服务接口。
这些接口允许对政务信息公共资源的发现、访问和管理。
接口模型基于一个基本的概念：接口操作通过客户端和服务器之间传递的请求/响应消息对来实现。
换句话说，该模型通过基于消息的结构来描述目录服务功能的访问和调用。

接口模型

目录服务包含四个主要接口，目录服务公共接口（CatalogService），发现服务接口（Discovery），访问服务接口（Access）和目录管理接口（CatalogManager）。

消息模型

通用消息接口模型基于客户端和服务器之间的消息传递。
消息模型的基类目录服务消息（Message）类包含一组所有消息中所包含的公共参数。
这些参数可以被用作基础的操作平台来实现消息的路由和管理。
目录服务请求消息类（Request）和目录服务响应消息类（Response）是目录服务消息类的子类。
目录服务请求消息类包含了客户端要发送至服务器，请求服务器提供服务的所有消息。
目录服务响应消息包含了服务器响应客户端请求的所有消息。
请求消息和响应消息是一一对应的，也就是说，对每一个请求消息，有且只有一个响应消息产生。

目录应用流程如下图所示：

管理与存储目录体系管理架构

政务数据资源目录体系管理架构包括政务数据资源目录体系使用和管理的三个角色和六项活动。

三个角色是政务数据资源目录内容的提供者、管理者和使用者。

九项活动包括规划、编目、注册、审核发布、查询、订阅、数据清洗、维护、监控。

提供者

--- 使用管理者分配的政务数据资源标识符前段编码，设计政务数据资源标识符后段编码方案；

---主要负责部门政务数据资源目录的编目；

---对本部门的政务数据资源目录内容设置使用授权；

---向目录管理者注册目录内容并负责更新；

---负责提供与目录内容相关联的部门政务数据资源。

管理者

---向指定单位申请政务数据资源标识符前段的码段，对提供者的政务数据资源标识符的前段编码进行分配管理；

---主要负责提供者提交的数据资源目录内容注册、发布、运行与维护；

---提供目录内容查询服务。

使用者

---目录内容使用者对获取的信息内容在授权范围内使用。

目录存储层物理上分别存储公共资源元数据、业务专用资源元数据和交换服务元数据。

针对不同的用户对象，AI智能共性支撑平台按照相应的服务模式为用户提供服务应用，以下是初步的服务模式需求描述。

生产模式：为各政府部门信息系统的管理者提供的用于著录本部门需要共享的信息资源接口。
通过管理系统提供的服务向管理系统注册。

管理模式：为AI智能共性支撑平台目录平台维护管理者和信息审核者提供的管理和审核界面。
其功能是维护和管理目录库，并根据分类标准构建各相关子目录库，审核来自各部门的元数据，根据信息的分类标准，将其列入相关目录下发布。

查询模式：为用户提供的查询和检索各类信息的窗口。
用户通过查询所需的目录信息，并根据目录信息的指引，按照已设定的用户权限访问相关的信息资源。

针对AI智能共性支撑平台AI智能共性支撑平台资源目录体系中元数据的建立，基础数据信息的采集、交换、共享，关联数据关系建立，对元数据操作管理。
还有在日常业务中发生的数据，以上这些数据需要有统一的数据管理系统对它们进行存储与管理。
对以上存储数据按照逻辑关系进行分类，能有效地管理数据，保证数据的完整性、一致性、数据项的可扩展性。

AI智能共性支撑平台作为全市各部门各个软件系统的共享资源。
主要将基础数据对象纳入公共对象库范畴。
因此，AI智能共性支撑平台是一个逐渐完善的体系，AI智能共性支撑平台数据库的建设是一个长期渐进的工作。
建立资源高度共享的中央数据库及其管理工具，实现本地区政务数据资源的整合、交换和共享，消除逻辑上的信息孤岛，为政务应用系统的互联互通、跨部门的协同办公和决策辅助应用提供基础支撑平台，支持政府、公众方便、快捷地检索、获取和使用政府各类信息资源，提高政务资源的利用率。
考虑到数据和需求的不断膨胀，数AI智能共性支撑平台必须建立在一个开放的、可变的结构上，从源数据库系统到数据中心的一体化的解决方案。

政务数据资源目录平台数据库主要负责政务云AI智能共性支撑平台和电子政务数据资源的管理和服务，进行系统数据的存储和管理，提供数据库表管理、数据装载、数据描述、数据展现、数据更新、数据备份和恢复等功能。
整个系统的数据采用集中模式，在数据库存放统一、完整、一致的基础信息、业务基础信息、管理信息、采集交换信息等数据。
数据库主要功能包括各个物理或逻辑数据库的日常管理、数据库表建立和维护、数据加载、存储空间管理、日志管理、数据备份和恢复等功能。

根据政务云AI智能共性支撑平台的建设目标，提出全域数据模型由基础数据库类、业务数据库类、基础支撑数据库类组成，它们一起构成了本系统的全域数据模型。

基础支撑数据库是对整个数据库的其它数据库起支撑和管理作用的，主要负责对整个核心数据库进行描述、实现对数据的管理、控制、配置，同时对数据库中的信息进行管理规范的制订和执行。
基础支撑数据库类分为资源管理数据库（包括元数据、代码数据、业务和数据规则、标准规范）等和系统管理数据库（包括以各类用户管理系统的用户数据、系统权限与角色库、交换流程模板库、各节点监控与维护日志等）两部分。

1. 元数据库

主要对核心数据库进行描述和实现，它是描述数据的数据。
通过元数据库的建设，构建的政务资源目录体系，将其中具有的数据库、表、数据项、各种属性等进行描述，元数据库分为共享存储数据元数据库、交换数据元数据库和各部门数据资源元数据库，分别描述存储在数据库核心数据库中的数据、依据元数据库，可管理、处理核心数据库中存储的数据。

元数据主要是对数据资源进行描述，因此，根据其用途可将其分为共享存储、交换和分布数据。
共享存储主要是针对数据共享存储情况进行描述，如数据的内容、来源、存储位置等，交换是对数据的交换情况进行描述，如：交换数据的内容、来源，交换的去向等。
分布数据主要是对分布网络中的数据进行描述，如数据的种类、内容、所属单位、共享的程度等。

数据资源目录主要实现对资源对象进行定位、检索和管理，因此需要从信息内容、载体形态、信息资源集合、管理与服务机制、过程与系统等方面去描述信息资源的特征和属性，也就是需要定义和描述其他数据或过程的数据，这就是元数据，也成为描述数据的数据。

核心元数据是元数据的最小子集，是元数据的公共基础部分。
根据行业对元数据内容的基本要求进行制定，元数据通常用于编制数据资源目录。

2. 核心元数据：

公共资源核心元数据是信息资源内容中公共资源元数据部分必选的内容，可用于公共资源编目、描述和数据交换活动，公共资源核心元数据包括6个元数据实体，分别是资源负责方、资源格式信息、关键字说明、时间范围、资源分类、元数据联系方。

采集交换服务核心元数据为信息资源元数据内容标准中用于采集和交换服务元数据部分必选的部分，可用于采集交换数据资源编目、数据采集交换活动和对采集交换数据集及服务的描述，主要用于描述和管理系统用于采集或交换的数据。

例如，采集交换服务核心元数据描述：

3. 元数据标准：

目录服务可采用可扩展置标语言（XML），以简化结构化信息的编码和解码。
为了在各种目录服务应用间进行信息的转化，采用XML：

1）对查询元素进行封装；

2）对查询返回的结构化的信息进行封装。

元数据标准以XML表示，以DTD或XML Schema对XML文档的结构进行定义。

元数据通过对资源对象进行结构化的描述，能够集成整合各类复杂繁多的信息，帮助最终用户理解信息的内容、质量等。
在对大量信息进行组织、检索和发现方面，元数据起着十分重要的作用。

（1）代码数据库

对各数据项给出代码指标的意义和取值范围，并对其进行描述。
对每个数据项，都有代码和取值范围，这些代码和取值范围组成了数据字典，目的就是要统一数据标准，保证数据的一致性和同步性。

（2）业务规则数据库

对核心数据库的各个数据项指标的具体业务规则和数据转规则进行描述。
业务规则数据库解决了数据库在进行数据共享和交换过程中，数据项属性，如代码、类型、大小和取值范围不一致的问题。

（3）标准规范数据库

对数据的存储、提取、采集、权限控制等进行标准规范的制订、描述和使用，同时实现数据库各项标准、规范的参数化定义和管理。

建立统一的后台管理数据库，如各类用户资料库、权限与角色库、数据交换流程模板库，系统在运行中实现数据共享、查询和交换等功能产生的各项监控、维护及操作日志等数据。

基础支撑数据库是数据库进行数据共享、交换、应用和管理的基础，当用户需要使用数据库的某类数据时，首先从元数据库中检索是否存储相关的数据，然后根据存储的表名检索出数据的存储位置和相关的属性字段，接着通过调用规则库中的数据转换规则和数据字典对其相关的部分进行转化，为用户提供最终的结果。
对于管理员来说，通过基础支撑数据库的管理也可实现对核心数据库的管理，而避免直接操作核心数据库而造成的数据不一致性和完整性。

共性支撑数据库按职能部门分类：各职能部门的信息资源；也可按资源分类：视频类、音频类、图像类等。
在系统建设中可按主题应用和职能部门分类来进行，主要包括：基础信息库资源、各类公共服务性业务的信息资源，同时还包括从各部门通过数据交换平台交换来的数据资源库。

通过与公安部、城管、教育部门、交管、公安（雪亮工程）消防、园区、学校机构、公交地铁等机构 、网格系统、12345系统等视频数据交换共享及业务系统的办事沉淀，形成对视频及相关政务服务信息集中存储的信息库。

通过与公安部、城管、公安（雪亮工程）消防等机构 、网格系统、12345系统等音频数据交换共享及业务系统的办事沉淀，形成对音频及相关政务服务信息集中存储的信息库。

通过与公安部、城管、教育部门、交管、公安（雪亮工程）消防、园区、学校机构、公交地铁等机构 、网格系统、12345系统等图片数据交换共享及业务系统的办事沉淀，形成对图片及相关政务服务信息集中存储的信息库。

支持按照制订的标准规范和过滤规则，对属性错误的数据进行过滤，为数据比对提供干净、准确的数据环境。
支持将同一属性但来自不同数据源的数据，通过制定的比对规则进行比对。
支持将清洗比对后的数据存储至法人库。

对更新数据：基础信息更新支持由牵头部门人工核对后增量更新。
扩展信息支持根据扩展信息设定的更新频率按谁主管谁负责的方式增量更新。

对通过数据汇集的新增源的数据进行清洗和整理，并通过统一的数据管理平台，供相关部门及业务系统使用。

数据清洗与整理系统，包括数据清洗、数据比对。

数据清洗与整理系统，把源数据节点的数据库、数据文件抽取到平台，系统按照人口数据模型和清洗比对模型，进行清洗比对，完成后归并如已有数据模型管理系统，可进行更为全面的数据质量报告与分析。

数据清洗系统

通过对新增数据源数据的抽取，并按照过滤规则，过滤那些不符合要求的数据，如不完整的数据、错误的数据和重复的数据，最终将过滤后的结果交给后续的处理软件。

通过数据清洗，对系统的各个环节可能出现的数据二义性、重复、不完整、违反业务规则等问题，将有问题的数据剔除出来，保证数据的质量。

数据清洗包括清洗模型和规则设计开发

模型和规则包括：一致性检查以及无效值和缺失值的处理。

一致性检查。
根据每个变量的合理取值范围和相互关系，检查数据是否合乎要求，发现超出正常范围、逻辑上不合理或者相互矛盾的数据。
例如，SPSS、SAS和Excel等计算机软件都能够根据定义的取值范围，自动识别每个超出范围的变量值。
具有逻辑上不一致性的答案可能以多种形式出现：例如，本地人口，户籍是外地。
发现不一致时，要列出问卷序号、记录序号、变量名称、错误类别等，便于进一步核对和纠正。

无效值和缺失值的处理。
对全区实有人口信息交换数据进行无效值和缺失值进行清洗处理，保证数据的完整性和准确性。
常用的处理方法有：估算，整例删除，变量删除和成对删除。

估算。
最简单的办法就是用某个变量的样本均值、中位数或众数代替无效值和缺失值。
这种办法简单，但没有充分考虑数据中已有的信息，误差可能较大。
另一种办法就是根据调查对象对其他问题的答案，通过变量之间的相关分析或逻辑推论进行估计。

整例删除是剔除含有缺失值的样本。
由于很多问卷都可能存在缺失值，这种做法的结果可能导致有效样本量大大减少，无法充分利用已经收集到的数据。
因此，只适合关键变量缺失，或者含有无效值或缺失值的样本比重很小的情况。

变量删除。
如果某一变量的无效值和缺失值很多，而且该变量对于所研究的问题不是特别重要，则可以考虑将该变量删除。
这种做法减少了供分析用的变量数目，但没有改变样本量。

成对删除是用一个特殊码代表无效值和缺失值，同时保留数据集中的全部变量和样本。
在具体计算时只采用有完整答案的样本，因而不同的分析因涉及的变量不同，其有效样本量也会有所不同，从而最大限度地保留了数据集中的可用信息。

采用不同的处理方法可能对分析结果产生影响，尤其是当缺失值的出现并非随机且变量之间明显相关时。
因此，在调查中应当尽量避免出现无效值和缺失值，保证数据的完整性。

数据处理流程

（1）整体流程

数据日常更新主要指从业务部门获取人口相关信息。
数据更新按照日更新频率，有增量标记的抽取增量数据，每次抽取数据，通过数据处理后，增量数据落地存储。

（2）数据质量保证

由于各个部门信息化建设的时间先后、业务差异等因素的存在，不同数据源的数据进行数据汇聚整合时，常常会碰到各种各样的数据质量问题，例如空值、长度不统一等问题。

数据质量保证主要解决以下常见问题：

因此，数据需要进行标准化，遵循国标、部标以及业务规范约束，对来源数据进行相应的检查和处理。
常见的数据质量指标主要包括如下：

维度

说明

部分示例

完整性

必须的数据项已经被记录

身份证为空

时效性

数据及时更新以体现当前事实

出生年月为1900.01.01

唯一性

该数据在特定数据集中不存在重复值

最终数据取值唯一

参照完整性

数据项在被引用的主表中有定义

主表身份证数据复用

依赖一致性

数据项取值满足与其他数据项之间的依赖关系

主外键、约束关系

基数一致性

数据项在子表中出现的次数符合标准

-

正确性

数据正确体现了真实情况

-

精确性

数据精度满足业务要求的程度

-

技术有效性

数据符合已定义的格式规范

身份证末位为x

业务有效性

数据符合已定义的业务规则

同一身份ID，出现男、女

可信度

数据的可信赖程度

原值为张三，新值为李四，且可以追溯原值

可用性

数据在需要时可用的

-

可访问性

数据易于访问

数据存储后，可以直接调用

适用性

数据格式和展现满足用户需要

编码对应汉字显示，如性别代码。

数据质量提升的工作，是数据从采集、传输、清洗、比对、存储等一系列过程中进行处理和完成的。

（3）比对整合

依据现有比对整合策略，对人口基本信息进行取值判断。

比对整合流程如下：

（4）比对整合规范：

通过对来自公安、民政、社保、教育、卫健、残联等数据的整合，设立比对整合规范，基本信息以人口库来源信息为准，其他业务信息以业务库来源信息为准。

共性支撑数据交换平台作为数字政府核心数据处理平台，需要对接各委办局的音频、视频、图片数据库。

共性数据交换系统是数据共享交互的核心部分，面向多个政府部门的公共需求，为多个端交换节点提供一致的政务信息资源的交换系统，同时支持结构化数据和非结构化数据的交换，也支持实时和非实时数据的交互，并采用多种方法保证共享数据的有效性、准确性、一致性和完整性。

共性数据交换系统基于目录服务和数据服务利用灵活可配的数据交互策略，对海量的数据进行采集，通过对数据进行比对、清洗、过滤、安全处理，然后分发给使用部门使用。

同时数据交换系统要求具备数据同步统计功能、平台运行情况监控的能力。

数据共享交换方案如图所示，根据共享交换所适用的场景方式，主要分为：直接交换方案、共享交换方案、安全交换方案、数据API。

数据共享交换方案图

业务部门所拥有的数据资产，包括部门共享库（前置库）数据、中心AI智能共性支撑平台上所属数据或者以API接口形式提供的数据服务。
各业务部门可通过资源目录系统对自身的数据资产进行元数据信息编目并发布。

其他部门通过资源目录申请数据或者API，触发数据交换系统实现数据的直接交换、共享交换、安全交换以及API服务的订阅。

直接交换方案主要满足于政府各部门之间数据交换的需求，数据会发生物理搬移。
比如市信用办要建设个人与企业征信系统，需要获取其他多个部门的相关数据。

数据共享交换平台开放数据处理服务提供海量数据的存储与计算服务，可为各部门分配独立的存储与计算空间，默认情况下无法直接跨部门访问数据。
但当部门之间的数据需要共享查询时，在数据无物理搬移（即数据不搬家）的情况下对数据需求者进行授权，实现共享访问。

当部门C需要部门A与部门B的数据进行计算所得的结果数据时，但因为提供方的数据为敏感数据时，就需要安全交换。
安全交换会将双方相应数据放入安全交换空间中进行不公开计算，并将计算所得结果提供给需求方。

API服务方案用于满足以下场景：数据供应方不希望直接暴露业务数据库，而是以RESTful API接口对外提供数据访问服务。
以API接口方式提供服务，让数据共享更加安全便捷。
API也可通过资源目录系统进行交换共享。

数据汇聚层又称数据共享交换平台，是政府数据开放平台中数据共享和交换的核心，功能上主要分为数据交换系统、资源目录系统与数据服务。

平台功能框架图

数据交换服务主要完成政府各部门间的数据采集、清洗、转换、分发等多重任务，提供数据采集、数据分发、控制中心、策略配置、任务调度管理、交换数据管理、数据脱敏、断点续传等功能及服务。

政府资源数据来源与各个业务系统的整合是一个艰巨漫长的任务，对数据质量的摸底非常重要，数据的清洗程度决定了数据的可用度。

可自定义数据规则，对不符合规则要求的数据进行清洗，按规则对数据项进行转换。

对来源于不同单位相同数据实体的数据进行整合，包括记录整合与列整合（数据项整合）。

系统根据业务系统录入信息的返回状态判断是否进行数据同步处理，如业务系统返回状态为“失败”，则不执行数据同步操作。

针对重复录入的业务数据，可设定某一数据项为唯一字段，每次数据同步，系统自动检查是否存在相同数据，如存在相同数据系统需获取最新的录入信息并更新旧的录入信息，保证数据同步。

在数据录入和跨平台传输过程中，数据不可避免会发生格式改变等情况。
针对此情况系统设定数据转换规则对获取的业务数据进行清洗、转换，转换规则用户可通过图形界面的形式自由配置。

数据交换系统担任着政府数据的实时交换，要求平台具备对数据与平台自身运转情况的统计监控能力。

1）数据统计服务

数据交换系统为方便使用者对交换信息有一个宏观上的把握，提供了一系列不同维度的交换信息统计方式。

2）运维监控能力

数据交换系统为方便使用者对交换网关进行运维监控，可以实时显示每个数据交换网关的系统运行状况，从而在系统出现状况时能快速的定位问题，如节点断线，cpu运行过高，内存泄漏等问题。

由于使用了分布式的架构，通过扩展工作节点的方式可以线性的提升平台的整体处理能力，同时，数据交换网关内部的作业调度采用业界比较成熟的任务调度框架，提供job的统一调度，对job提供多种执行方式，减少由于作业之间的资源争抢导致的性能下降。
单工作节点的处理能力可达30M/s，满足大数据量数据交换的应用场景。

数据交换网关的分布式架构在前端处理层、任务调度层、集群处理层及任务处理层均采用多点部署方式，避免单点故障导致整个系统不可用。
在web serivces和任务调度的前端，还部署了负载均衡组件，实现在业务高峰时间的自动分流，提升调度平台的整体性能。

数据融合分两个层次建设，一为数据处理基础工具层；二在工具层基础之上的四础库及库的大数据资源目录管理。

统一的大数据基础开发环境，可用于构建PB、EB级别的数据仓库，实现超大规模数据集成，对数据进行资产化管理，通过对数据价值的深度挖掘，实现业务的数据化运营。
同时在AI智能共性支撑平台层提供完善的对于不同部门的数据开放和数据交换机制，在数据安全隔离、数据不搬家、数据可用不可见的前提下实现多方数据交换。

作为一站式数据开发平台，提供端到端的智能解决方案，依托海量数据存储与计算基础设施，提供线性扩展、不受限的存储和计算能力。
大数据开发平台一定是基于Web方式的数据开发工作台，提供数据集成的能力，支持跨平台异构数据实时或批量传输，兼容主流的数据库、分布式文件系统、消息队列，界面友好、功能全面、衔接顺畅，支持一键完成任务的部署；通过数据分析工作台可以实现交互式的数据分析，并以直观的图表展示分析结果；利用数据挖掘工作台预置的丰富算法可以轻松构建满足各类业务场景的数据模型。

平台支持数据预处理、挖掘建模过程、模型部署、效果监控。
具备可视化模型编辑工具，能够实现模型的应用与发布，能够实现基于模型的监控与预警机制。

数据预处理

通过提供数据预处理功能来支撑数据挖掘前的数据准备活动，包括抽样、装箱、过滤等多种数据预处理方法，以及这些方法的灵活组合，让即使不熟悉SQL的用户也能够便捷地对数据进行规范化和质量提升，以达到数据挖掘的要求。

数据挖掘算法

实现了大多数主流的数据挖掘功能，包括属性选择、分类预测、回归预测、聚类分析、关联分析等大类。
为适应不同业务数据的特点，对同一个数据挖掘功能，通过多种算法进行实现，例如“分类预测”有决策树、分类回归树、支撑向量机分类、神经网络分类、贝叶斯网络、朴素贝叶斯、逻辑回归、分类组合模型等算法可供用户选用。

统计分析算法

提供包括描述性统计、数据探索、异常检测、层次聚类、方差分析等5大类方法，方便分析人员对数据进行统计和分析。

模型可视化

提供饼图、散点图、折线图、面积图、柱状图、雷达图、线箱图、分布图、多折线图、帕累托图等可视化手段，利于用户对数据和模型的观察和理解。

模型发布和应用

支持将挖掘出的模型以服务的方式对外进行发布，以便决策者或者第三方系统能够在线获取模型，并基于模型进行业务行为的决策或计算。

模型监控和预警

为了确保模型的时效性和准确性，提供较为完善的模型监控预警和自动更新机制。
用户可以自定义模型失效的判定规则，能对模型失效的情况进行邮件通知，并自动重新计算模型，并按用户定制的策略进行模型的更新。

数据类型

支持分布式数据库，以及文本文件。

自动建模

数据挖掘产品提供灵活的参数设置用于模型性能的调整；提供模型组合功能，将多个模型进行组合，并通过投票、加权等机制，得到一个更为稳健的模型；提供数据平衡机制对数据按目标字段取值进行均衡化处理机制，使得建模数据中目标字段取值分布相对均衡，提升模型预测精度。

数据探索功能

提供简洁、直观的方式，通过选择数据表，初步利用数据表格、统计图形等对数据进行探索。
提供数据表查询，基于数据表的饼图、普通柱状图、多柱状图、累积柱状图、百分比柱状图、散点图、折线图、多折线图、分布图、雷达图、线箱图、面积图、帕累托图等10种图形功能。

分布式计算架构

提供高效的多机器分布式计算机制和单机器多核并行计算机制，以满足海量数据挖掘建模。
提供的所有算法均支持分布式计算。
与分布式数据库、分布式文件系统结合，可大幅提升计算效率。

任务调度机制

提供灵活的任务调度功能，可定时、周期、关联调度数据挖掘模型任务，确保计算资源的合理规划。

对外集成能力

提供WebService、API等标准化模型调用和算法调用接口，允许用户轻松开发新的应用程序，用于创建、管理和按需更新算法和模型。

数据应用服务提供数据集成和管理的一站式平台，包括资产目录管理、数据源管理、可视化建表、数据查看、全局的元数据管理，实现数据的资产化，同时实现数据资产的集中管理、生产保障、分类检索，为数据管理者和使用者理解数据、增强共享和使用数据的信心提供帮助；

提供数据标准和数据质量管理机制，提升数据资产的价值；

提供数据安全管理机制，监控被管理数据所有相关的活动，防止数据泄露、保障数据被合适的人以正确的方式使用；

提供工作流机制，使得大部分日常的数据管理和监控工作都可以自动执行。
同时，可以在数据治理运营平台中调度和执行数据加工和数据挖掘任务。

提供平台管理功能，准确地监控全局和部门数据计算、存储的使用情况，便于扩容规划和成本控制。

数据应用服务流程图

数据应用服务包括：数据标准管理，数据质量，生命周期管理，元数据管理，数据血缘。

本系统基于国家数据目录标准进行数据元的管理，可以进行增删改查等功能。
用户可以将标准数据元与数据表列进行关联，一个标准数据元可以关联多个表数据列。
用户可以很方便的查看实际数据与标准化定义之间的差异，从而为用户制定后续的标准化和归一化的清洗规则提供强有力的参考依据。
支持以类目导航的方式对数据元进行检索，类似于资产目录。

对业务术语进行语义化的分类，以标识业务术语的上下文和作用范围，可以帮助人们查找需要的数据，理解数据的类别以及在不同类别下特定含义。

数据管理针对整个组织内所有项目空间的数据资产管理，包括数据表管理、数据权限、生命周期的管理等。
通过数据管理功能，用户不仅能对开放数据处理服务中的数据进行管理，还可以对曾经集成到系统中的数据源中的数据进行信息浏览，包括数据血缘信息，数据表的定义，数据集成和数据加工的历史信息等。
用户可以管理自己具有权限的数据表而不论该数据表位于哪个项目空间，可以创建和删除数据表，进行生存时间等设置，权限设置等操作。

数据源信息同步

可以实时连接到数据源，将本地保存的数据表信息与数据源进行比对，实时监控数据源中数据表的变化情况，并更新到大数据治理运营平台进行保存。

数据源管理

数据源作为数据治理运营平台数据的来源，是数据治理的对象的存储位置。
当需要进行治理时，首先要连接到相应的数据源，发现其中的数据，并且把表征数据相关的元数据抽取到数据治理运营平台进行管理。

数据源分析

用户可以通过数据治理运营平台快速的连接到数据源，探索其中的数据，可以随时对连接的数据源进行连通性检测、与数据源进行数据同步比对，实时检测数据源中数据的变化获取数据源中的数据，可以对数据源中的表相关信息进行查看浏览，例如查看统计信息，表的血缘信息，基于该数据源进行了哪些数据集成任务，数据源之间有哪些数据流动等。

（1）数据全局视图

分别展示平台内部信息库和外部源库信息，并且展示从外部源到内部库，到输出数据库的数据整体流向，展示类别数目、库数目、表数目、分别统计库、表、字段、作业、任务等数量。
从表数目和数据存储量的角度展示数据仓库中按月度变化的动态信息，以直观的图形化进行动态展示。
并且可以区分不同部门或者租户进行统计。

（2）数据搜索

方便用户快速的查找和定位数据，支持数据的全文搜索，包括表、字段、工作流、任务等相关的元数据，根据元数据中包含的属性信息，进行模糊匹配返回用户需要的数据，实现数据的快速查找。

（3）数据多维分析

数据多维分析是面向多维数据结构的多维数据分析工具，允许用户通过专业的多维分析技术，多角度，多层次的对数据进行深度分析和探索，快速识别影响经营的关键因素。
多维分析支持ROLAP和MOLAP两种实现方式。
用户可基于多维模型实现丰富的多维分析操作，支持丰富的多维分析操作，包括：上钻、下钻、切片、切块、旋转以及分页；提供强大的时间智能函数，可快速实现年度累计统计、月度累计统计、同比环比分析，趋势统计分析等数据分析操作。

（4）数据报表

数据报表提供简单易用的创建个性报表的功能，通过简单的拖拽和点击操作即可方便地创建各种类型的报表，报表可以基于已有指标自定义指标计算规则生成自定义指标，支持各种类型的报表，包括：交叉报表，图形报表，分组报表以及复杂的不规则报表。

（5）数据字典信息

支持管理多种数据信息，形成集中管理的元数据库，并且基于该元数据库实现多种应用，包括数据库信息、数据表信息、数据字段信息、类目信息、作业信息、任务信息、统计信息等。

（6）数据字典采集

支持多种元数据信息的采集方式，包括来自工作流调度，数据集成过程，计算引擎，数据源元数据抽取等丰富多样的元数据采集方式，并且基于这些采集的信息自动生成数据资产之间的血缘关系，方便用户快速的浏览和查询数据，对数据之间的关系进行直观的理解和分析。

（7）数据动态分布

从表数目和数据存储量的角度展示数据仓库中按月度变化的动态信息，以直观的图形化进行动态展示。
并且可以区分不同部门或者租户进行统计。

（8）数据应用分析

溯源分析：从某一表出发，寻找该表依赖的上游表，分析该表的数据最初来源来自哪个业务系统或者外部数据库中的其他表，分析数据表对象在数据处理链条上的所依赖的其他表

影响分析：从某一表出发，寻找依赖该表的处理过程或其他表，当某些表发生变化或者需要修改时，评估实体影响范围，分析出—个数据表对象在数据处理链条上的所有依赖关系

关联程度分析：数据库表与其他表的关系统计，包括依赖的上游表统计，影响的下游表统计。

数据时效性分析：检索某个数据项相关的元数据信息，探察该数据最后修改时间，找到和该元素相关的处理过程及其执行时间，对该时间进行分析以决定该数据的时间有效性和真实性。

（9）数据质量

数据质量监控系统根据预设的规则来检测数据中的质量问题，检测规则可自主配置，系统提供几十种默认的规则模板，用户也可以自主编写规则表达式，支持自定义SQL实现跨表关联的检测规则。
数据质量监控与调度系统强耦合，发现脏数据可实现事中拦截，避免错误的数据流入下游应用。

（10）规则配置

数据质量监控模块支持灵活的规则配置，预置30种以上的模板规则，覆盖数据量波动、业务逻辑校验、缺失值检测、约束检查等。

（11）自定义规则表达式

系统支持自定义编写规则表达式。
支持标准SQL形式的自定义规则，任意复杂度。

（12）事中拦截功能

数据质量监控与调度系统强耦合，在调度系统执行完成一个节点后，立即启动针对该节点的数据质量监控，监控规则支持拦截模式/非拦截模式，在拦截模式下，一旦检测规则校验不通过，则调度任务状态被置成失败，从而避免错误的数据流入下游应用。
零延时的统计数据采集模块，数据落地，校验即完成。

（13）告警功能

当检测规则校验不通过时，可通过在线展示、邮件、短信、手机等途径发出告警。

（14）监控效果分析

检测规则的校验结果被永久性保留下来，以便日后分析和规则优化。
系统也提供页面展示报告，针对单个节点或整体项目的数据质量进行统计分析。
支持图表格式，支持查询。

（15）智能建议

系统具备智能算法，根据数据的历史真实统计信息，自动给用户建议合理的检测阈值。
模板规则灵活，可任意扩展。

（16）数据保障机制

弱保障机制和强保障机制。
弱保障机制运行时，数据质量管理系统对数据质量事件只做告警不做干预，所有的数据质量修正工作都由数据质量管理员人工推动。
强保障机制运行时，数据质量管理系统需要制定一系列的数据保障规则，统一输入内容和输出内容，对出错的数据进行统一修改。
如“-”不允许出现，所有的“-”统一修改为“_”等。

数据血缘以历史事实的方式记录每项数据的来源，处理过程，应用对接情况等，记录了数据表在治理过程中的全链血缘关系。
数据血缘就是通过对数据处理的全过程追踪，找到以某个数据对象为起点的所有与该对象相关的元数据和它们之间关系的一种技术手段。

（1）库级血缘数据

通过数据库级别血缘，用户可以清晰的查看数据在数据源、项目空间、输出数据库之间的数据流向关系，数据库之间的数据依赖关系。

（2）表级血缘

通过以历史事实的方式记录每项数据的来源，处理过程，应用对接情况等，记录了数据表在治理过程中的全链血缘关系，基于这些血缘关系信息，可以轻松的进行影响分析，以数据流向为主线的血缘追溯等功能，从而提升报表信息的可信度，为数据的合规性提供验证手段，帮助业务部门实现信息共享、提升协调工作效率。

（3）字段级血缘

在展现数据表之间的依赖关系时，可以进一步展示表的哪些列之间具体依赖关系，以及列之间依赖的表达式是什么样的，方便用户进行问题分析和影响分析时精确定位到具体的表列。

（4）任务级血缘

用户开发的工作流节点的输入输出表信息，方便用户理解工作流节点之间的依赖关系。

（5）作业级血缘

用户开发的工作流的输入输出表信息，方便用户理解工作流之间的依赖关系。

（6）业务级血缘

方便用户从业务的角度来理解数据之间的依赖关系。

用户对所拥有的项目空间、数据表等具有完全的管理权限和责任，对于数据表，不论该数据表位于哪个项目空间，只要是用户具有相关的权限，则可以设置其安全等级，配置ACL授权或者策略授权，以限制其他人员对该表的访问。
对于项目资源，可以设置不同的人员对资源的相关操作权限。

租户是在大数据治理运营平台上进行数据管理、运营时逻辑隔离的基本单位。
一般不同部门属于不同的租户，租户之间的数据完全隔离不能互通，租户的计算和存储资源也互不影响。
在某一时刻用户使用大数据治理运营平台时，是进入某个租户进行操作。

角色管理

角色管理示意图

给用户分配角色，从而相应的用户继承该角色的权限。
单个用户可以拥有多个角色，可以对角色的用户进行增删改查。
角色的范围局限于租户内部，所有“项目空间”的角色类型相同，但可以基于角色在不同的空间进行不同对象的授权，包括ACL和Policy。
角色包括：系统管理员、租户管理员、“项目空间”管理员、运维人员、访客。

项目管理

项目管理示意图

提供项目空间基本属性配置（如项目名称、标识、项目描述、管理员），关联的引擎配置，流程控制（是否启用周期性调度自动执行工作流，是否允许在本项目中编辑工作流和代码），项目成员管理及检索。

登录认证

用户登录系统时需要经过身份认证，通过后才能进入系统进行相关操作。

登录访问日志

记录登录系统的用户和操作信息，包括登录的时间、位置等相关信息，用于日后审计查询。

操作审计报告

记录用户每次的操作信息，用户在数据治理和运营平台的任何操作记录都会记录到日志，包括运行调度工作流，创建表等相关操作，这些信息可以作为日后审计和问责的依据。

技术特点

AI共性支撑平台提供了一个集成移动智能、快速响应、精准指挥、高效协同、精细管理、智能融合、数据分析等多项功能于一体的共性支撑赋能平台。

利用视频+AI 等技术实现对智慧城市中违规、违法事件的实时监管、主动发现、智能分析，解决人工巡查不及时、监管不足、巡检效率低等问题，打造动态监测、提前预警、精准指挥的智慧城市模式。

平台内部集成 AI+ 视频智能分析技术，可对现场视频监控图像进行自动监测与分析，主要包括人脸识别、车辆、人群、事件的检测分析等，可用于多种场景中。
通过对监控场景中进行智能分析研判，助力打造更高精准度的视频监控识别系统。

打通各部门、各子系统之间的数据孤岛，通过信息共享、资源整合、协同工作，构建沟通快捷、处理及时、责任到位、运转高效的城市管理、公共服务监督和处置模式，全面提高城市管理和政府公共服务水平。

平台具有强大的数据接入、处理及分发能力，兼容性强、开放度高，轻松部署，功能可灵活拓展，轻松与第三方集成，可以有效降低系统建设的各种成本，保护现有投资，系统也能够平滑演进，便于拓展各种业务应用场景，满足更高级的业务需求，助力数据协同与智慧联动。