首页 » 软件开发 » 上海市崇明区大数据平台二期建设项目(数据崇明平台项目管理)

上海市崇明区大数据平台二期建设项目(数据崇明平台项目管理)

admin 2024-07-23 18:48:01 0

扫一扫用手机浏览

文章目录 [+]

上海市崇明区大数据平台二期建设项目

二、项目目标

结合崇明区大数据平台一期项目建设现况和未来发展需求,参照市级和区级相关工作要求,进行二期项目建设,进一步提升平台综合能级,更好为“两张网” 的建设提供数据和服务支撑。

二期项目建设将主要围绕数据在采集、归集、治理、融合、应用、共享和开放的全生命周期过程,重点聚焦在补足平台能力短板,探索数据共享价值,聚焦数据赋能,实现统一运营运维等目标进行规划建设。

上海市崇明区大数据平台二期建设项目(数据崇明平台项目管理) 软件开发
(图片来自网络侵删)
三、项目需求

经过崇明区大数据平台一期项目的规划建设,已完成大数据平台基础框架的搭建,为大数据平台的数据处理和共享交换提供支撑环境。
二期项目的建设,将在一期项目的系统及技术架构建设成果之上,不断完善崇明区大数据平台的建设,进一步实现以下具体建设目标:

加强数据归集和共享开放能力

在一期已经完成的资源目录梳理和共享交换建设的基础之上,全面整合汇聚崇明区各部门政务信息资源,实现各部门数据应接尽接,应上尽上。
同时,满足政府各部门对数据的使用需求,推动公共数据资源的共享和开放。

丰富和完善崇明区级数据湖建设

通过本次二期项目实施,沉淀数据资产,重点建设一网通办、生态体征、智慧交通、智慧文旅等主题和专题库,加强对数据资产的管理,提高数据质量,丰富和完善区数据湖建设,为崇明两网建设提供强有力的大数据支撑。

— 10 —加强数据供需和应用管理能力

加强政务信息资源集中统一管理的同时,建设数据供需协同子系统,作为政务信息资源目录和交换体系的重要补充,提供面向业务场景的数据供需对接,方便需求部门便捷高效获取数据。

建设统一的数据运营服务平台,全面打造面向大数据中心工作人员和技术厂商人员的统一运营服务和管理体系。

建设数据中台核心能力,赋能多样化应用场景

通过完善政务信息共享的基础设施和平台能力,实现了政务数据的统一汇聚和互联互通。
数据资源蕴含着极大的价值,通过建立数据赋能平台,为各委办提供原子能力输出,能有效提升社会治理及公共服务水平,为管理者提供直观生动的监控和决策支持手段。

四、项目内容

(一)计算平台升级

为提高数据采集和共享效率,完善市区级联,更好地服务崇明区相关重点应用,进行计算平台能力升级。
重点完善批处理离线采集,增强实时数据采集和流批协同处理能力,以及流批协同的分级采集和处理机制,应对不同的数据需求场景。

实时计算引擎支持 Yarn 资源模型,在其上面可以运行多套计算框架,如 Spark、MapReduce、Storm 等计算框架。
提供丰富数据接口,引入 Spark 使其更好地适应大数据平台使其可以更快的接入到各类数据存储介质我们需要有针对的性的开发一系列数据接入和数据输出接口,以下接口可以完全融入到 Spark 的计算框架中去。
提供实时计算能力,可以对大量的数据进行实时处理。
支持从多种数据源获取数据,包括 Kafka、Flume、Twitter、ZeroMQ、Kinesis 以及 TCP sockets, 从数据源获取数据之后,可以使用诸如 map、reduce、join 等高级函数进行复杂算法的处理。
— 11 —消息队列支持消息分组推送、记录每个 consumer 处理的信息的状态、向 Kafka 推拉数据、负载均衡和容错。
提供集群管理能力,包括:集群监控、消费/生产情况监控、主题申请与审批流程管控。
搜索引擎支持对外提供索引存储、弹性搜索,支撑文本和文件数据全文检索。
提供分片及副本能力,能解决单机容量以及容灾的问题。
(二)数据治理引擎升级

鉴于上海市大数据中心在数据治理方面向各区大数据中心提出了明确的考核要求;同时结合近期数据治理工作需求,在已建平台建设的基础上,本次建设对数据治理引擎进行功能升级。

血缘分析升级建立整个元数据的构建过程。
支持当某数据出现错误或者异常时,可通过血缘关系图分析锁定问题产生的源头。
提升血缘分析能力,增强对元数据自动采集、数据源适配、血缘支撑能力。
新增数据轮廓

通过数据标签对数据实体进行刻画,从多角度反映业务实体的特征,对数据进行属性刻画。

数据地图分析升级

支持以业务地图、系统地图不同的视角提供共同对外服务;以管理者地图, 让使用者从管理维度获得全局数据视角。

提升数据地图针对基本信息进行综合性分析的能力,如:数据模型、调度管理,会深化对数据内容,业务标识等。

元数据管理

支持采集多种元数据来源,包括:关系数据库、建模、数据集成、BI 工具以及客户化元数据等多种元数据来源,系统对采集的元数据进行统一存储到产品知识库并集中管理,为上层元数据应用提供服务。

— 12 —元数据采集

为能协同实现本期数据治理功能,需与元数据管理子系统进行能力对接,实现对元数据模板映射、任务配置、采集适配器及适配器管理、元数据信息、数据特征、数据版本、变更管理等功能的融合。

市级数据标准接入

数据治理平台具备了数据标准接入的基本功能;在本期建设内容中,会将接入市级数据标准平台的功能下沉和市标准接入。
在标准管理方面,承接市级数据标准申请、审核等流程管理;增强区级数据标准审核流程。

同时,需配合各类标准落地所需的程序开发,包括:

根据市区两级数据标准,开发区级数据质量考核程序;编制本区数据标准质量报告程序。
(三)主题库专题库建设

本期项目重点建设的主题库专题库包括:人口类专题库、法人类专题库、房屋类专题库、标准地址类专题库、一网统管主题库、一网通办主题库、生态体征主题库、智慧交通主题库、智慧文旅主题库,为崇明区各委办应用提供强有力的大数据支撑。

人口类专题库

以市大数据中心人口库数据为基础,按照最大化归集原则,增补区民政局、区教育局、区人社局、区卫生健康委等部门产生、收集的人口相关数据,建设成完整的、准确的、标准的区级人口类专题库,为区内委办局提供统一的人口数据支撑。

法人类专题库

以市大数据中心的法人库数据为基础,按照最大化归集原则,归集区内各单位各部门的法人相关数据,经过统一的清洗、处理、关联整合后,形成完整的、准确的、标准的法人数据库,统一为区内各单位、各乡镇内部业务协同、外部业务协作提供数据共享服务;为公众服务提供全面、综合查询;为后期统计决策提供数据来源和基础统计分析。

房屋类专题库

以市大数据中心房屋数据为基础,结合市人口库、区集镇规划建设、公共设

— 13 —

施信息、征地信息、区特殊地理生态环境等数据,建设成完整的、准确的、标准的农房专题库和民宿专题库,为区内各委办提供统一的数据支撑。

标准地址类专题库

以崇明区地址场景为主要数据来源,采集区、镇级各类特色地址数据。
标准地址类专题库是基于有地名意义的大型企事业单位名称、交通线名称、纪念地和古迹名称、山名、自然地域名称、境界名称等,与市级基础地名数据库建立起的映射关系。

一网统管主题库

一网统管主题库是城市运行数据的重要组成。
通过进一步汇聚城市生产、生活、治理的各类数据;加强主题库建设,为各单位进行一网统管建设、应用场景开发奠定数据基础。

一网通办主题库

一网通办是依托一体化在线政务服务平台,通过规范网上办事标准、优化网上办事流程、搭建统一的互联网政务服务总门户、整合政府服务数据资源、完善配套制度等措施,推行政务服务事项网上办理,推动企业群众办事线上只登录一次即可全网通办。

智慧文旅主题库

建设智慧文旅主题库,归集旅游景区的相关数据,实现智慧文旅信息共享, 提升旅游景区资源调度、文旅重大事件执行系统等能力。
前期以归集花博会所需相关数据为主,为智慧花博建设进行数据支撑。
在后花博时代,聚焦崇明全域文化旅游,继续为崇明智慧文旅的建设发挥重要作用。

生态体征主题库

生态体征主题库,是以上海市大数据中心生态环境数据为基础,结合上海市法人库、证照库等数据,增补区内各个部门产生、收集的生态环境相关数据,建设成完整的、准确的、标准的生态体征主题库,为区内各委办局及公众提供统一的数据支撑。

智慧交通主题库

通过对人口数量、居住人群、工作人群、流动人群及停车场相关数据进行分析管理,应对区内人员流动可能产生的交通问题,为政府部门提供辅助决策依据,

— 14 —

提前进行相关规划。
通过对不同类型人员和停车场各类数据进行持续跟踪监测, 建立人员流动情况模型、停车场使用情况模型,对各类交通资源需求量进行预测。
根据整体预测的情况,综合分析优化方向,提升城市道路交通管理能力。

(四)地图数据管理数据资源接入与入库

对崇明地区的底层地图进行接入,包含二维地图、影像电子地图数据、对专题数据整理并入库,包含管线数据、规划类专题数据等,形成具有本地特色和应用特点的地理信息库。
通过地理信息库的建立,对崇明的底层地图数据进行统一管理,具备地理数据的汇聚、治理、融合和管理工作等功能。

数据资源治理与融合

在地理信息库建立的基础上,按照一定的标准和规则,对基础地理信息和专题地理信息进行提取、整合和重组,生成满足政府部门和社会公共需求的地理空间框架要素数据,通过建设地图数据服务目录、各类地图数据的集成和数据共享, 实现地图数据资源的可视、可控、可共享的数据资源体系,形成唯一的、权威的崇明地图数据管理平台。

实施流程

底层地图数据主要从市级和区级自然资源与规划局获取。
目前正射影像数据

(DOM)从自然资源与规划局归集,对这类数据在进行整理后可以直接入库。
城市地下管线数据从住建委获取,经过处理后入库。
其它各类专题数据需要从相应委办局获取原始数据后,进行转换坐标系并整合、入库。

场景应用

依托统一的地理信息库,实现全区底层地图数据的汇聚、治理、融合和管理, 通过为区内各委办局提供地图数据的共享服务,突出以生态、农业为主要领域的数据可视化展示服务。

(五)基础数据管理

将崇明区各委办局的公共资源数据进行常态化数据供需管理,保障数据应归尽归。
此外,需对平台安全体系优化,优化平台多租户管理能力、数据安全分级分类,更全面的保障平台整体数据安全。

— 15 —数据供需协同

数据供需协同系统作为政务信息资源目录和交换体系的重要补充,提供面向部门日常业务、堵点问题、营商环境、便民服务等各类业务场景进行数据共享的数据需求提出、数据需求分析、数据需求分发、数据需求确认形成数据责任、数据责任完成、共享任务实施、共享任务完成,同时开展共享任务实施,将多部门的数据资源进行有效融合和统一提供给数据需求方,方便需求部门便捷高效获取数据,提升数据共享。

平台多租户管理能力优化

支持平台多租户权限与 KDC、RM、HIVE、HDFS 组件的权限分配管理打通,实现在页面上可管理此类组件以及底层平台多租户自身资源。

数据安全分级分类

根据数据自有属性或者业务属性,对数据进行定级处理,不同的级别对应不同程度的加密处理手段,从而保证数据的存储安全。
为加强数据的安全管理,对数据进行了安全级别的判定,同时提供在线和离线的定级能力,满足不同的业务需求,并保证级别判定的正确性。

(六)数据赋能平台建设

通过搭建数据赋能平台,更好地为崇明全区委办局业务系统应用提供数据分析与共享服务,提升数据使用价值。
数据赋能平台包括数据分析服务工具集,提供可视化、交互式的数据分析能力;同时提供统一的接口服务能力,并为算法开发人员提供一站式的 AI 算法开发服务支撑,实现全模型生命周期管理。

数据分析服务能力

支持数据抽取和导出模块、稳定快速的消息队列模块、高效的数据计算模块、个性化的任务调度模块、统一的监控告警能力。

统一接口服务

建立数据服务网关,提供高性能、高可用的数据接口托管服务,为数据共享及数据服务提供基础支撑。

AI 算法开发

AI 算法开发模块为算法开发人员提供一站式的服务支撑,实现全模型生命

— 16 —

周期管理。
主要提供算法开发、模型训练、模型评估、模型管理、资源管理等功能。

(七)数据服务原子能力建设

结合区委办局的数据分析需求,进行相关原子能力的开发、封装、注册、发布和管理工作,在生态、旅游、农业、生活等应用场景方面进行数据共享和应用支撑。
数据服务原子能力建设主要支撑实时计算的数据共享需求,提供实时数据输出。

生态原子能力

生态原子能力包括对大气环境、水环境、土壤情况进行监测感知、分析相关单位/个人处罚信息,帮助相关部门掌握重点关注对象信息,提供监管策略,辅助相关部门作针对性监管与治理。

旅游原子能力

旅游原子能力包括从不同时间维度统计区内重要旅游景点的人流量、交通要道的拥堵情况、酒店住宿情况等信息,方便相关政府委办单位能实时掌握各个旅游重要节点的现状,为未来旅游方面的计划安排提供估算依据。

农业原子能力

农业原子能力通过微服务引擎封装一系列数据服务接口,为崇明全区的种植、畜牧、水产、质量安全等各类农业生产及监管场景提供服务支撑。

生活原子能力

生活原子能力需结合与民生相关的公共数据,对其进行数据分析与统计,总结出符合群众生活需求的统计数据,从衣食住行的角度,方便群众更加高效合理的规划各自的生活计划安排,使人民群众生活更加美好。

(八)数据运营服务平台建设

数据运营服务平台作为数据运营服务过程管理信息化的载体,全面承载崇明区大数据中心、数据运营商和各服务供应商开展外包人员管理、服务任务发包与交付、服务任务考核等工作的需求。

服务目录管理

支持服务目录管理,大数据中心客户可以查看并选择对应的服务,在录入相

— 17 —

应的要求之后派发服务单给数据运营商。

数据运营商管理

支持相关信息化项目及运营服务按时按质按量完成,协助大数据中心对服务供应商进行管理。

数据服务商管理

提供数据运营商入场申报、入场审批、信息变更、信息变更审批、终止合作、终止合作审批。

项目人员管理

支持数据服务商项目人员进行统一登记认证管理。

用户权限管理

用户权限管理为运营服务平台提供了对各个用户管理的功能,便于对人员、权限等进行控制。

工单管理

提供日常工作开展产生的、由数据运营商分配给数据供应商的工作内容的载体,是服务单最终落到执行层面的产物。

绩效评估

支持绩效指标管理、日常跟踪、绩效评价等功能对数据服务商的工作绩效进行评价,便于相关人员对绩效的查看,做到有依据、可回溯。

统计分析

支持数据服务相关工作提供各类分析报表,便于数据运营服务平台的使用者掌握相关信息。

进度管理

提供进度目标确定,编制进度计划和资源供应计划进行进度控制,确保目标、工作量与质量协调。

统一登陆

支持通过统一登陆认证,可以从数据运营服务平台单点登陆到其他管理平台,方便管理。

(九)数据安全管理

为了响应市级对于各区级大数据平台相关安全要求,本次项目建设安全性方

— 18 —

面首先需满足等保三级防护要求。
此外,大数据平台需建立数据安全常态化运营管控体系,包括数据脱敏、数据审计、数据安全监测功能。

数据脱敏

支持敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。
在涉及客户安全数据或者一些商业性敏感数据的情况下,在不违反系统规则条件下,对真实数据进行改造并提供测试使用。

数据审计组件日志对接,采集组件的审计日志,对组件日志进行清洗转换,提供多维度的审计报告。
用户画像,通过汇聚海量日志,进行数据挖掘关联分析,成用户行为分析建模,形成用户行为画像。
登录行为预测,具备针对应用系统登录行为进行标签化处理,生成

Python 或 Spark 的学习模型能力,预测用户的登录行为进行实时告警。

数据安全监测敏感数据视图,可展现现有生产环境中的所有敏感数据。
数据权限视图,可展示租户、用户组下的数据、资源、用户权限,并对权限信息进行分析,生成报表。
权限回收,保证数据的最小权限,定时检测已有权限的数据使用情况,制定数据使用时间阈值,逾期未处理的进行数据权限回收。
五、平台要求

(一)平台运行环境

本次项目所需主机、存储,以及操作系统、数据库、中间件产品由崇明区政务云平台提供,提供对应具体版本如下,投标方应根据此标准实施本项目应用系统开发。

名称

小类

版本

操作系统

银河麒麟

v10(服务器版)

— 19 —

数据库

达梦

v8

中间件

东方通

v7.0.4.0

(二)平台稳定性及可扩展性

对于整体大数据平台而言,确保平台安全稳定运行,平台架构的高可用性以及可扩展性至关重要。
故本项目要求平台对于高可用性以及可扩展性需具备如下条件:

管理节点在内的组件节点及所有业务组件中心管理节点实现高可用。
集群节点数量支持在线弹性扩张,并支持在线横向扩展。
(三)平台安全性安全基础功能管理帐号体系

平台需与崇明区科委的协同办公系统进行对接,完成账户、消息的同步工作。
在进行公共资源数据申请时,此消息会同步推送至崇明区科委协同办公系统和移动端上,在协同办公系统上进行对资源数据审核,审核通过后,依托崇明区大数据平台,将数据资源推送给需求方。

角色定义

系统管理员:系统管理员负责对该系统所涉及的硬件和软件配置的集中管理,包含性能管理、故障配置、安全管理、配置管理和统计功能等。

日志管理员:日志管理员负责检查业务平台应用程序、操作系统和数据库层面安全日志记录(含对于重要的数据增、删、改操作),监督系统管理员和业务管理员执行的敏感操作,可通过浏览管理员操作日志来取得系统的所有管理操作信息。

业务管理员:业务管理员负责对该系统所提供的业务的管理,如业务流程管理、业务排行管理、业务版面管理、业务接入管理、业务内容接入管理、业务合作管理业务发展数据和使用情况试试的分析和统计管理等。

数据安全审计

为了确保政务数据的机密性、完整性、可用性、安全性的安全保障系统,数据安全包括人员权限集中控制、数据全程管控和平台基础设施安全三个方面。

— 20 —

数据安全系统汇聚大数据平台中各个设备、安全产品、各组件、各应用所产生的事件日志进行汇总、分析,建立应用用户、租户动态行为模式,并根据相应的静态规则和行为模式识别可疑行为、确定受攻击的范围,辅助管理人员防范攻击。

风险识别管理

管理人员通过自定义相关风险性行为监控规则,对告警信息的分析确定告警的有效性,对告警进行处置。
系统收集管理员的处置结果,结合现有的用户行为模式,重新修订原有的行为模式。
处置方式包括:

用户行为正常:如果告警是通过静态规则判定,则管理人员调整相应的静态规则来减少误报的发生情况;如果告警是通过用户的行为模式判定,则管理系统根据管理的判断自动调整相应的识别模式。
用户行为异常:系统管理员根据具体的分析,对平台、应用进行调整。
4.数据安全管理

为确保数据存储以及权限安全,需平台具备相应数据存储加密、多副本备份、用户权限分立等相关安全机制,具体需求如下:

支持分布式存储数据加密,支持主流 AES128 算法,数据与密钥分离, 并能支持自定义的加密算法。
满足存储各种类型海量数据的能力,实现数据的多副本高可靠存储。
各数据存储组件具有高容错性,自动保存数据副本,节点高可用保证数据安全。
敏感数据管理

平台需对内部数据进行如下策略:

各委办局向平台导入共享数据时,需对数据进行分级处理,明确数据敏感等级。
在共享数据在新建时,需让各委办局配置黑白名单功能(规则优先级基于审核规则之上),即数据源委办局可对某些共享数据配置默认共享的其他委办局;默认不共享的其他委办局。
即使今后对默认不共享的其他委办局审核通过后,数据仍然不共享给此委办局,并且审核人和大数据中心管理人员会收到此项事件通知。
— 21 —对于相关敏感数据,进行数据脱敏操作。
安全监控中心

提供日志的数据安全审计功能,包含数据库查询日志以及网络通信行为记录,通过对被授权人员和应用的网络行为进行解析、分析、记录、汇报,以帮助用户事前规划预防、事中实时监视、违规行为响应、事后合规报告、事故追踪溯源,加强内外部行为监管、促进核心应用(业务应用、数据库)的正常运营。

此外,对于输出的数据,需进行数字水印标识,标记数据输出方,作为数据输出的凭证,避免数据被盗用窃取。

数据安全采集

本次项目数据交换方式采用市大数据中心规定的前置库方式,各委办局按照规范将共享交换数据推送至特定安全网络环境的前置数据库中,大数据共享交换平台在此特定安全网络中完成数据采集工作。

整体安全要求整体平台需满足国家安全等级保护三级要求。
投标人需与内部设计本项目相关人员(包括但不限于项目经理、售前、产品、研发、运维、管理人员)签订保密协议。
投标人保守与本项目有关的技术秘密和商业秘密,任何涉及招标方及使用单位的信息,包括但不限于数据、特有功能需求等,未得到招标方及使用单位书面同意,不得对任何第三方展示、举例乃至销售,否则投标方将承担由此产生的一切后果。
投标方不以实施项目为名,侵害本项目各参与单位的技术、商业秘密或者知识产权。
整体项目中对外崇明区委办局应用登录页面需满足商密应用的工作机制要求。
安全服务投标方需配合招标人进行代码安全审计工作,并对于相关问题进行修正处理,直至代码安全问题解决为止。
投标方需配合招标人进行系统安全漏洞扫描工作,在结果基础上需配合投标人做好平台的安全整改加固工作,直至所有招标方要求问题解决为止。
投标方需配合招标人定期进行系统等级保护要求检查,并对相关不满— 22 —

足等级保护要求内容进行整改,直至所有招标方要求问题解决,平台满足等保三级要求为止。

(四)平台功能目标提升平台计算能力

为应对不同的数据需求场景,重点增强实时数据采集能力。
升级实时计算引擎、新增消息队列集群和数据检索引擎集群。

提升数据治理能力

根据上海市大数据中心对于大数据平台数据治理要求,提升平台数据治理引擎能力。
增强元数据管理,升级血缘分析和数据地图分析、新增数据轮廓,实现数据融合处理的可追溯;完善市级数据标准接入。

建设主题库专题库

结合委办局的典型应用场景需求,提供强有力的大数据支撑。
建设人口类专题库、法人类专题库、房屋类专题库、标准地址类专题库、一网统管主题库、一网通办主题库、生态体征主题库、智慧交通主题库、智慧文旅主题库。

地图数据管理

整合各类地理数据,将市级或者区级地图相关公共资源数据进行统一归集、治理和融合,完善地图更新和转换联动机制,面向全区委办局提供地图数据支撑。

基础数据管理

进行常态化数据供需管理,保障数据应归尽归;优化安全体系,多租户权限管理、数据安全分级分类。

新建数据赋能平台

建设数据分析服务和分析工具集,提供可视化、交互式的数据分析能力,包括编程笔记本、数据报表;提供统一的接口服务能力。
提供 AI 算法运行环境能力。

数据服务原子能力建设

结合委办局数据分析需求,进行相关原子能力的开发、封装、注册、发布和管理工作,在生态、旅游、农业、生活等应用场景方面进行数据共享和应用支撑。

数据运营服务平台建设— 23 —

建设统一的数据运营服务平台,通过系统全程记录数据运营服务工作流程, 开展人员管理、工单管理、进度管理、统计分析等,为后续绩效评估提供有效依据。

数据安全管理

建立数据安全常态化运营管控体系,包括数据脱敏、数据审计、数据安全监测等,使崇明区大数据平台满足等保三级防护。

(五)平台性能目标

由于本次项目大数据平台负责整个崇明区各委办局之间的数据共享交换,故对于整体平台性能要求如下:

平台计算能力升级性能需求Spark 实时计算引擎:采用 TeraGen 算法,生成 100G 数据不超过 20 分钟。
采用 TeraSort 算法,排序 100G 数据不超过 20 分钟采用 TeraValidate 算法,验证 100G 数据不超过 10 分钟Kafka 消息队列:使用 kafka 官方提供的 kafka-producer-perf-test.sh 测试脚本测试生产者的性能。

在 3 个 Broker,1 个 Topic,6 个 Partition,1 个 Replication,异步模式,1 个 Producer,消息 Payload 为 100 字节的条件下,kafka 生产者的吞吐量为不低于 100 万 record/s,100MB/s。

使用 kafka 官方提供的 kafka-consumer-perf-test.sh 测试脚本测试消费者的性能。

在 3 个 Broker,1 个 Topic,6 个 Partition,1 个 Replication,异步模式,2 个 Consumer,消息 Payload 为 100 字节的条件下,kafka 消费者的吞吐量为不低于 200 万 record/s,200MB/s。

ElasticSearch 搜索引擎:

使用 ElasticSearch 官方压测工具 esrally 进行测试,平均 Throughput 不低于 10000 doc/s。

数据治理平台性能需求

— 24 —

系统最大支持 2000 连接用户,在 150 并发情况下(系统限制外部用户并发量不超过 50 个),请求响应时间控制在 2 秒。
功能点击响应时间控制在 2 秒, 涉及数据清单查询类功能点击响应时间控制在 10 秒。

地图数据管理性能需求1000M 局域网环境下进行增、删、改业务(不含图层数据类型)响应时间在 2 秒以内。
查询基础空间数据(精确匹配)的响应时间不大于 2 秒。
空间资源目录检索的响应时间不大于 1 秒。
查询空间统计报表(非实时统计)的响应时间不大于 2 秒。
数据供需协同系统性能需求

系统在 100 并发情况下,请求响应时间控制在 2 秒。
功能点击响应时间控制在 2 秒内,涉及数据清单查询类功能点击响应时间控制在 10 秒。

六、项目管理要求进度控制

投标方按招标方的工期要求,完成系统的应用软件开发,系统的安装调测, 系统初验,系统终验等;

其中应用平台应于签约后 180 个自然日内项目上线进行项目初验,试运行满

90 天后进行项目终验。

该项目详细项目进度如下:(T0 为合同小签日)

序号

里程碑

主要工作内容

开始时间

完成时间

1

需求调研

了解业务含义和业务流程,并进

行需求分析

T0

T0+1.5 周

2

需求确认

与业务部门确认需求和业务实现方式,提交业务需求分析说明

T0+1.5 周

T0+2 周

3

设计

设计人员进行概要设计、详细设

T0+2 周

T0+3 周

4

开发

代码开发、单元测试、集成测试

T0+3 周

T0+21 周

5

系统集成测试

系统集成测试

T0+21 周

T0+22 周

— 25 —

6

用户接收测试

用户测试使用本系统

T0+22 周

T0+23 周

7

初验

系统初验

T0+23 周

T0+24 周

8

试运行

系统试运行

T0+24 周

T0+36 周

9

终验

系统终验

T0+37 周

T0+40 周

人员控制

为了合理的分配各种项目资源,如人员、开发环境和测试环境等,确保项目的顺利实施,需针对项目的技术特点、招标人的系统环境等组织项目实施小组, 投标人应安排资深的项目经理进行项目的统筹管理,与项目组的其他成员一道按照预先制订的计划分步实施各个阶段的任务和工作。
确认各项工作对人力资源的要求。
具体项目建设团队人员需求如下:

项目经理(1 位)

负责项目组全体驻场人员现场管理、整体项目进度、工作安排、各厂商的工作协调。
项目经理具备由 PMP(或 IPMP)证书资质,10 年及以上工作经验且相关类似项目实践经验 3 年及以上。

项目助理(1 位)

协助项目经理负责项目组全体驻场人员现场管理、整体项目进度、工作安排、各厂商的工作协调,必要时与项目经理互为 AB 角。
项目助理具备 PMP(或 IPMP) 证书资质,5 年及以上工作经验且相关类似项目实践经验 2 年及以上。

软件研发工程师(20 人及以上)

按照软件研发工程师相关资质经验,软件研发工程师团队划分如下:

高级软件研发工程师

至少有 5 位成员需具备 5 年及以上工作经验,相关类似项目实践经验 3 年及以上,同时具备计算机类中级及以上工程师职称资质。

中级软件研发工程师

至少有 5 位成员具有 3 年及以上工作经验,具备相关类似项目实践经验 2 年及以上。

初级软件研发工程师

具有 2 年及以上工作经验,具备相关类似项目实践经验 1 年及以上。

— 26 —

其中,对于项目驻场人员要求如下:

本地化支撑团队

在项目建设期间,投标方需在上海本地建立支撑团队。

现场驻场人员(15 人及以上)

在项目建设期间,投标方需在招标方指定的现场安排驻场人员,现场人员数量不少于 15 位。

现场运维人员(4 人及以上)

在项目免维保期间,投标方需在招标方指定的现场安排驻场运维人员,现场人员数量不少于 4 位。

质量控制

投标方需每周召开项目周例会以及项目月例会,应将《项目月例会报告》作为“项目进展和项目状态”的报告性文档,提交给投标方项目小组相关领导及人员。

对项目实施过程中出现的问题,无论是否解决,都应先记录到《问题管理表》中,再由投标方项目经理依据实际情况分析问题,拟定解决措施、安排执行措施。

在里程碑点,投标方项目经理重点审查项目的承诺、计划、状态及风险,识别重大问题,重新对项目进行估算(在需求里程碑和设计里程碑),对上一阶段的工作进行总结,安排下一阶段的工作,记录在《里程碑状态报告》中,并提交给投标方项目小组相关领导及人员。

培训要求

在整个项目生命周期内,投标人须对整体平台系统架构、功能介绍、业务场景、运行维护几个方面,根据招标人要求,开展至少不少于两次的现场培训,培训招标人指定的相关管理人员以及业务使用人员。

本项目技术培训按照 10 人天配置。
技术培训的目的为:

确保投标方管理人员能够熟练地对应用软件进行运行、诊断、维护和管理。
确保投标方最终平台使用方业务使用人员对其使用的应用软件能熟练地操作和使用。
平台基础应用知识培训:— 27 —

通过此培训,应将使所有项目相关人员,以及未来项目的使用者对大数据采集、汇聚、分布式处理和数据运营管理相关技术的基础知识有一定了解,并且对平台所有业务应用流程熟悉,有助于将来对大数据共享交换平台的使用。

培训讲师

培训人员

培训时长

培训时间

培训地点

大数据系统

工程师

所有项目相关的

招标方人员

5 天

项目初验后

用户现场

系统操作维护培训:

操作维护培训包括所提供软件系统的原理和技术性能、操作维护方法、安装调测、排除故障及升级等各个方面,可以帮助招标方平台管理人员更好的使用本系统。

培训讲师

培训人员

培训时长

培训时间

培训地点

大数据平台系统

项目开发工程师

平台管理人员

5 天

项目初验后

用户现场

系统安装、调试、测试及验收

投标人按照本合同规定应将应用软件在签约后 180 个自然日内完成以下要求后,向投标人提交书面初验申请:

(一)整体平台在招标人指定的环境中完成开发部署

(二)完成招标人指定技术功能点,并正常上线运行

(三)完成招标文件中要求的平台功能、平台性能、平台安全方面测试

系统测试系统建成后,招标方与投标方应共同开展系统测试,测试内容应至少包含:软件性能测试软件功能测试网络功能测试安全性测试大负荷测试其他测试等平台需通过招标人认可的,本市有国家级评测资质的第三方公司测评,并有书面的第三方测评报告;并需满足国家安全等级保护三级要求。
系统测试由投标方督导人员及招标方人员配合进行。
如果系统测试没有满足测试文件的要求,要重新进行系统测试。
标签:

相关文章

C语言表白代码,编程之美,爱意绵绵

在这个科技飞速发展的时代,编程已经成为了我们生活中不可或缺的一部分。而C语言作为一门经典的编程语言,更是备受青睐。今天,就让我们用...

软件开发 2024-12-04 阅读8 评论0

16倍速生活方式,高效工作与生活的完美融合

随着科技的飞速发展,我们的生活节奏也在不断加快。在这个快节奏的时代,如何高效地平衡工作与生活,成为了许多人关注的焦点。本文将探讨1...

软件开发 2024-12-04 阅读7 评论0

C语言编程猜数游戏,编程与娱乐的完美融合

在科技日新月异的今天,编程已经成为一项重要的技能。作为计算机科学的基础,编程不仅可以锻炼我们的逻辑思维,还能提高我们的动手能力。而...

软件开发 2024-12-04 阅读7 评论0

C语言病毒代码介绍,技术与道德的双重挑战

随着信息技术的飞速发展,网络安全问题日益凸显。病毒作为一种恶意软件,严重威胁着计算机系统的稳定运行。C语言作为一种功能强大的编程语...

软件开发 2024-12-04 阅读6 评论0