校园一体化数据平台建设项目

本文由用户“qwertyhgfdzxcvb”分享发布 更新时间:2021-03-22 14:37:01 举报文档

以下为《校园一体化数据平台建设项目》的无排版文字预览,完整格式请下载

下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。

项目背景

1.1 项目概述

用户深刻理解山.中大学的数据治理模式并进行学习,三盟科技是由山.中大学推荐给XX大学进行线索跟进。XX大学在山.中大学的要求上需要实现全某某数据标准化与治理,学校现有的问题在于之前科创建立的数据平台全部依赖于kettle交换工具,学校由于kettle类工具本身并不具备强可读性, ETL逻辑只有只有喻老师一人可以进行操作与运维,导致工作量极大并且无法交付给其他人。平台通过一体化的服务与功能(详细情况看FABE),满足老师的刚性需求,得到客户的认可。

(一)建设背景

我校二级部门的信息系统已经陆续建成,部门应用为主的横向孤岛式信息系统建设方式能有效支撑部门内部业务管理和服务工作,但“各家自扫门前雪”的局限性逐步凸显,跨部门业务的开展举步维艰。教师和学生被要求登录各个系统,重复地填报各类数据;业务部门的数据校核、统计上报工作量巨大;宏观层面的工作(例如高等教育基层报表)还是无法利用信息化有效开展;领导层无法利用具体的数据了解到全校概况。数字校园无法用数字来说话。更无法从宏观层面充分发挥引领和管理作用。

打破部门信息割据和业务壁垒,促进互联互通、数据开放、信息共享和业务协同,实现跨系统、跨部门、跨业务领域的数据交换与共享和业务流通成为了我校当前信息化建设的核心。在保障学校秘密、个人隐私、数据安全的前提下,我们需要建设一个一体化数据平台(以下简称数据平台),促进全校数据的整合、共享、开放、应用,将数据最大限度地开放,让数据充分融合和利用,服务广大师生,支撑学校“双一流”建设。

(二)建设现状

XX大学现在运营的数据中心是2016年05月验收并投入使用的。建设期间,项目团队走访了学校15个部门(包括计划财务科、学生工作部、就业指导中心、人事处、本科生院、研究生院、国际合作与交流处、资产与实验室管理处、房产处、基建处、数字图书馆、数字档案馆、科研处、离退休处、后勤保障部物业管理中心),对这些部门的业务系统建设情况以及业务数据维护与共享情况进行调研,形成《XX大学业务部门调研报告集》。调研完成以后与各单位协商确定业务部门提交给数据中心的数据清单。依据教育部发布的《教育管理信息化标准(2012年)》,结合各业务单位信息系统建设的实际情况,2016年05月发布了《XX大学数据标准》、《XX大学数据编码规范》、《XX大学数据代码标准》。目前,数据中心的数据涵盖了学生管理、教学管理、教职工管理等共计8个业务主题,数据中心作为底层数据来源支撑多个全校层面信息化项目的建设。利用汇聚的数据,陆续给各业务部门提供数据统计与分析、给新系统建设推送基础数据近百类。

随着数据量、数据服务、使用数据部门的累增,数据中心开始暴露出各个方面的问题。总结来说存在如下几方面的问题与困境:(1)各自为政,数据零散;(2)平台缺失,数据堆积;(3)建设不均,数据低值;(4)业务耦合,数据混杂

(三)建设目标

建设目标是,建设稳定平台,规范数据流程;推进数据治理,提升共享质量。

数据平台建成以后,将改变目前学校数据流转混乱,学科管理、教学质量评估等全局层面系统建设数据收集困难的现状(见图2)。全校所有的数据通过数据平台全部流到XX大学数据资源池,数据获取通过数据平台统一从XX大学数据资源池获取数据(见图3),让数据交换和共享的流程更加规范。

/

图 1 XX大学信息化建设数据流转现状

/

图2 XX大学信息化建设数据流转展望

平台建设的同时,要建立数据质量管理流程,分功能域(主题域)推进数据治理,提升数据共享的质量。我们遵循统筹规划,需求导向、分级分类、统一标准、规范应用、安全可控、持续推进的原则建设一体化数据平台和XX大学数据资源池。

(四)一体化数据建设平台采购需求

(1)数据标准建设

数据标准包括数据标准和代码标准,它是数据一体化平台建设的基础。数据标准建设是指建立学校的基础数据标准体系,并在数据建设过程中逐步完善学校的数据标准体系。标准建成以后,学校新建的信息系统必须遵循学校标准。

主要工作如下:

对全校业务部门进行信息化调研,对数据进行摸底,明确核心业务需求、整理共享数据资源、确定核心数据产生权威来源等,编制数据资源调研报告;

结合学校业务系统的实际数据情况,参照教育部2012数据标准,修订整理形成《XX大学数据标准》基础版、《XX大学代码标准》基础版,建立数据管理体系支持学校的数据建设与数据治理工作;

系统可针对学校发布的标准,在线生成全校数据标准文件(word版本),记录学校数据标准和代码标准形成的过程和差异(*);

支持标准的迭代发布。第一期主要建立标准体系,形成标准的简单基础版本,允许后期根据数据的汇入持续增加和修订标准(*)。

(2)数据资源池建设

对XX大学的数据中心现状进行摸底,根据我校实际情况重新规划设计XX大学数据资源池,建立一套涵盖业务系统数据库、基础数据库和历史数据仓库的数据架构(*);

基础数据库用于存储和管理各原有业务数据库经转换、清洗后的相关数据以及新建业务系统相关数据,新设计和定义中心数据库的表、视图等,设计应符合新制定的数据标准。

基础数据库的建设目标是依据学校数据字典和信息编码标准,统一数据交换标准,建立安全、高效、共享的数据中心。在内容上,基础数据库应围绕表5所示的14个主题域开展建设,建成以各类学生(本科生、研究生)、教职工(教师、行政管理人员、外聘、返聘、非事业编制)等人员以及学校和二级单位等机构为视角的全面数据模式,关联到教学、科研、管理和后勤管理等相关活动。在推进与财、物相关的基础数据的建设,尤其是领导所关心的资金、工资、福利等敏感数据时,应有相应的技术手段保障数据的安全性。

数据模式设计兼顾到结构化数据、非结构化数据等多种数据格式。

此外,数据库的设计还应保证便于建设数据仓库。

表1 基础数据库

序号

主题域

说明



1

代码





2

办公





3

财务





4

人事





5

教学管理

包括智慧教室



6

科研





7

学生基础信息

包括迎新、离校、招生



8

学校基本情况信息库





9

资产





10

外事管理





11

校友





12

后勤

包括宿管、智能门锁



13

一卡通





14

图书馆





(3)数据资源目录

数据资源目录是指对将学校数据库中的数据形成数据资源目录,提供给全校查阅。各二级部门用户在申请学校数据前可以在资源目录中自行查询学校数据资源池是否存在数据,数据量多少。

支持在线建立数据子集,支持在线建表、查看系统表结构、对字典表信息进行维护;

支持在线增加字段,并且实现标准与库表同步增加(*);

支持对XX大学数据资源目录的查询,必须支持对表名和表字段的模糊搜索,例如查“姓名”,查询结果必须包括数据库里面所有包含“姓名”两个字的数据表字段(*);

数据资源目录中每项数据要求展示数据量、每个字段的属性、数据最后更新时间、数据更新频率、数据生产部门等详细信息;

数据矩阵管理工具:通过系统记录数据流向,能看到数据的产生部门,数据维护部门和数据使用部门,范围落到字段(*);

支持对数据中心的基础库、主题库和前置库等多个库配置数据资源目录。

(4)数据集成平台

数据集成平台负责将各业务系统的数据全部集成到学校数据资源池,它是数据平台的核心,主要完成数据采过程,其中包含集成过程、集成方法调用以及集成架构和集成策略。集成的过程即为ETL,它是将数据抽取、转换、清洗、装载的过程,完成数据从数据源向目标数据库传输的过程。

数据源可以是不同产品的异构数据库(包括Oracle、SQLServer、XML、DB2、Sybase、MySQL、XML、FTP、HTTP)。本项目的数据来源包括XX大学各个部门所建设的业务系统;

数据ETL过程必须支持用户指定字段增量获取(即第二次只获取指定字段增加的数据),支持用户指定字段自动变更获取(即第二次只获取指定字段有变化的数据)(*);

详细记录ETL过程集成的数据量,执行时间、执行结果。数据ETL过程如果出错,系统能正确记录错误日志,并提供错误级别定,对重要级别(例如采集完全失败、数据库链接异常等)错误提供提醒(*);

ETL过程支持废除、暂时挂起、暂停等功能,ETL流程需要废除时,系统提供快速的彻底清除功能(*);

支持1000万条以上的数据的快速和稳定抽取,不出现宕机且抽取时间不超过1分钟。

(5)数据交换工具

数据交换平台负责给学校各业务系统之间搭建桥梁,让各业务系统之间、业务系统与基础数据库之间完成数据交换工作。平台需要能够适应各系统数据内容和格式的变化,提供可视化的转换配置界面,并实现各系统数据与标准数据之间灵活的转换。提供代码标准映射管理工具:业务部门的编码如果不能完全使用数据标准的编码规范,此工具提供部门编码和校标的映射功能,在做数据清洗的时候,可自动完成标准数据的转换。

支持中心式部署、分布式部署等多种部署方式;

支持多种异构的数据源,包括Oracle、SQLServer、XML、DB2、Sybase、MySQL、XML、FTP、HTTP等;

支持图形化的数据转化与映射的工具;

支持数据增量抽取(*);

支持代码映射,批量创建映射模版;

支持自定义函数实现数据转换;

支持批量提交;

支持码表转换;

支持大字段;

支持脏读;

支持自动完成数据类型转换;

支持字段自动拆分、合并;

支持复杂ETL定义;

支持手动触发、按时间触发、事件触发交换任务;

支持错误重跑机制,支持自定义重跑次数和重跑间隔(*);

支持断点续传(*);

支持可扩展的日志管理;

支持调度关联任务,支持并行和串行配置;

支持自定义任务流程(*);

支持任务定义导出导入;

在调度时,除了执行ETL规则,可以执行其他任务(存储过程、SQL、JAVA);

支持离线定义数据源映射;

交换出错时能记录出错日志,对于数据库链接不上等重要错误要提醒用户(*)

(6)数据质量管理

数据质量管理对学校现有业务数据、上报数据、历史数据进行梳理和分析,协助学校建立数据质量完善方案,推动学校数据质量提升。数据质量管理平台需整合数据分析、质量校验、数据清洗、质量监控等多方面特性,以保证数据质量的完整性、一致性、准确性及唯一性。

数据质量管理平台要求:

支持以图形化的页面方式配置主流数据库的数据质量校验规则,建设较为全面数据检测规则库,校验规则支持自动适配且内置跨表、表、列校验;

支持对主流数据库进行数据的唯一性、完整性、合法性等质量问题进行综合分析,同时能够进行非关联数据质量分析规则定义;

支持基于常见拆分、替换等规则进行数据清洗,支持数据分支流转、过滤并且能写入主流数据库;

支持对整个数据处理过程进行动态跟踪,并提供质量调试报告和综合质量汇总报告。质量报告要求记录出错数据和出错原因等详细信息(*);

支持质量报告推送功能;

对各二级部门提供的数据质量问题进行统计排名;

(7)数据接口平台

数据接口平台,是通过实时统一的数据访问入口提供数据服务,屏蔽异构数据的复杂性,同时控制数据访问与数据内容的安全性。广泛应用于即席查询、报表的实时数据展现、虚拟数据仓库、Web方式数据共享等应用场景。使用提供HTTP REST方式读取、插入、更新、删除数据,无需变动原始数据源的情况下,提供一致性的访问入口。

数据接口服务管理平台要求满足如下要求:

提供数据接口资源管理功能,支持提取信息资源相关特征信息,对资料分类信息进行唯一标识编码,提供查找、创建、修改、删除、迁移、导入导出等功能;

提供资源注册功能,可以实现数据资源的导入、发布,资源注册功能需要实现在资源共享过程中的审批。用户需要服务时,发起申请流程。申请时允许用户选择自己需要的资源(*);

提供权限管理功能:资源申请时提供资源申请审批功能;支持对服务接口的访问权限控制,支持对服务容器访问权限控制,支持对查询、新增、修改、删除级别访问控制;支持包括数据服务容器、数据标准、接口模型等资源基于不同角色,配置相应资源类型的管理权限;

提供完善的资源检索解决方案,至少提供两种方式可以快速的定位需要查找的资源;

提供数据服务访问日志管理功能,可以进行访问记录的查询和统计(*);

支持基于WEB方式进行配置数据服务功能,支持脱离原始数据源离线配置数据服务;

提供数据共享服务应用提供本地缓存功能,至少支持基于关系型数据库缓存数据,提供缓存刷新策略,包括全某某,实时增量刷新策略;

提供数据服务跨网络反向穿透访问功能,能够在互联网环境访问处于内部网络环境中的数据资源;

提供数据服务接口自动巡检功能,能够周期性检测数据服务接口的可用性,并提供巡检报告,对出现错误的调用,必须准确给客户端反馈错误的原因(*);

提供对数据服务调用的审计,能够实时查看在线客户端以及历史服务使用情况,包括调用次数、调用ip;

对调用的客户端进行管理,如限定IP、限定账号和密码等。

系统给用户返回数据时在传输过程中进行了加密处理,必须在接受到数据以后根据密钥解密才能使用数据(*)

(8)数据维护管理

数据维护管理是指给没有业务系统或业务系统不健全的部门提供数据管理工作。允许用户根据excel格式要求自定义数据表,导入数据,然后对导入的数据进行查询和统计等功能。允许系统管理员自定义SQL语句,配置各类数据查询供用户使用。

提供完备导入导出功能,并提供大数据量(在报表中可以直接显示二十万行以上数据库中原始数据)数据报表的展示和导出。包括提供Excel报表模板导入,提供Microsoft Excel、Microsoft Word、PDF、Html、CSV和TXT等常用格式导出;

excel等数据导入以后提供界面查询,并提供对导入的数据进行单条管理:添加、修改和删除;

允许用户自定义导入数据的格式,允许用户设置导入数据规则检验,对不符合规则的数据提供错误提示,不允许导入(*);

允许用户自定义SQL语句,配置SQL语句,系统提供数据界面查询功能(*);

提供权限管理,允许对导入、导出、查询、删除等配置权限。

(9)数据发布服务

与学校共同建立学校数据共享和发布流程及机制;支持数据全某某推送、数据获取、增量推送、接口调用等多种方式,平台试运行阶段起至售后期内负责学校各类数据发布;

数据切换指新的数据平台建成以后将原来与现有数据中心对接的数据发布服务转移到新的平台。切换过程尽量将对业务系统的影响降到最小(*)。切换数据内容基本为:

序号

系统

切换数据



1

财务

学费



2

人事

教职工人员信息、职务、职称



3

教学管理

本科生、研究生学生、课表等



4

学生基础信息

迎新、离校、招生的学生数据



5

后勤

智能门锁信息



6

一卡通

卡基本信息





(五)一体化数据建设平台要求

一、技术要求

(1)软硬件要求

开发及运行平台

系统应采用成熟的体系架构,具备良好的跨平台能力;建议系统服务器采用Linux 操作系统,中间件采用WebLogic或者Tomcat、数据库采用Oracle、主流应用服务器软件等。

基于XX大学校园信息化整体框架

本期建设内容是学校智慧校园的数据中心平台,系统应在学校智慧校园整体规划框架下进行部署、实施,在沿用已有好的、可行的经验基础上完成与学校其他管理系统的无缝集成。

软件体系架构要求

系统设计必须是构件化、面向对象的,做到灵活性好、可维护性高,校方可以进行独立二次开发。

系统架构开放,采用表现层、业务逻辑层、数据层等的三层或多层分离结构基础上的B/S模式,开发技术应采用J2EE标准。

系统软件功能架构设计支持水平和垂直的扩展,以保证系统的升级和扩充。

预留标准的外部接入接口和平台对外服务API 。

(2)技术指标

支持与学校统一身份认证平台等集成平台的对接;

支持IE8、IE9、IE10、IE11、Chrome、FireFox、Edge等主流浏览器;

系统bug率:千行代码不超过0.5%;

稳定性方面:系统应能够7*24小时连续不间断工作,不应出现妨碍工作顺利进行的系统错误或意外中止的情况。

(3)UI要求

系统UI设计要求简洁、大方,与XX大学已有系统如官方网站等,在整体风格、色调上保持统一。系统在颜色、窗口布局风格、提示信息措辞、操作等方面都必须遵循统一的标准,使用户使用起来能够建立起精确的心理模型,使用熟练一个界面后,切换到另外一个界面能够轻松的推测出各种功能,可以更快的掌握系统功能。

页面设计采用HTML5+CSS3的响应式网页设计,自动适应屏幕宽度。

遵守学校UI设计要求。未经校方允许,不得出现承建方任何标识。

(4)安全性要求

系统建设前应确定信息安全等级保护定级级别,系统建设过程中的安全建设应参考定级级别的安全要求进行。

系统对敏感数据存储和传输要进行加密处理。

承建方提供系统全生命周期内的安全保证。

影响系统正常使用的bug在使用方提出后8小时内解决;系统安全漏洞修复时间要在使用方提出后24小时内解决。

严格的权限管理(包括功能权限管理和数据访问权限管理),不得出现非授权的访问,并可通过简单的配置实现权限划分的调整。

安全审计,可提供完善的审计功能及完整的审计日志,实现操作的追溯。

完善的备份与恢复机制。

严格遵守校方关于数据保密的相关规定及要求。

承建方在系统上线前出具系统安全检测报告,报告应由第三方有资质的安全检测机构提供,且检测结果应符合建设要求,不得存在高危安全漏洞。并积极配合学校进行校内的安全漏洞扫描。

竞争对手分析

(一)目前的竞争对手包括希嘉、迪塔维、东软等。

(二)大主任:东软旧关系,与我司也有关系,相对中立。技术老师:中立

(三)我司针对该学校已经完成了多次技术汇报,获得技术认可。东软从校内其他部门影响,并成功影响招标文件。

产品功能优势:

优势一:校标国标一起建。通过在学校充分调研每个业务系统的情况,然后基于学校的真实数据内容建设真实可用的数据标准,并不是搬某个学校的标准或者说厂商自认为权威的数据标准给学校套用。

优势二:标准完全覆盖学校全某某数据。即不管未来有什么样的建设需求,数据中心都有标准化的数据进行提供,因为实现了数据标准的全覆盖,并且落地成功。希嘉、东软、datav等数据中心建设本质上是对数据的抽样集成,当出现新的需求(大数据、微服务、疫情管理等),数据库没有相关的数据,相当于还要到业务系统端进行数据采集,并且采集非标准的数据。

优势三:动态灵活定义数据主题库。学校构建自己的主题库的时候,其实并不是一成不变的,当主题库需要进行结构变更、新建或者替换的时,我司相当于把全某某的数据先做好了标准化了,学校只需要在标准化之后的数据直接做集成逻辑就行了。希嘉、东软、datav等数据中心本质上对数据进行抽样集成,一旦发生主题库的变更时,需要老师重新了解源业务系统的数据结构,重新读数据字典,重新做翻译的工作,会带来巨大的工作量。

技术架构比较:

优势一:利用AI技术加速数据治理效率。相当于从以前的人力 内容过长,仅展示头部和尾部部分文字预览,全文请查看图片预览。 3

为了确保系统稳定运行与售后服务质量,投标人应具有口碑良好的高校数据平台用户使用反馈报告,每提供一份本科院校数据平台用户使用良好的反馈报告得0.5分,每提供一份“985”大学数据平台用户体验报告得1分,此项最高得3分;

(注:证明文件须由使用部门信息化部门开出并加盖用户单位公章,提供复印件加盖投标人公章,原件备查)。







投标文件编制

2

投标文件按招标文件规定的格式、顺序编制,有目录、编页码、装订成册,书面整洁无涂改、没有缺漏项、价格数量等计算准确的,计2分;不符合要求的,每处扣0.5分,扣完为止。



合计

100





说明:

评分依据评分标准,对照投标文件进行。

上述资料需要提供原件备查的,原件须单独包装(不作密封要求),随项目投标文件一同递交,否则评分标准中所涉及的计分项不予计分。评标结束后原件退还。

以上所有证明资料投标文件中需附相关复印件,须加盖供应商公章,否则不计分。

4、采购人或评标委员会将保留要求对投标人提供的相关投标资料真实性予以核查的权利,评标过程中或公示期内如发现虚假,取消投标资格并报送省财政厅政府采购处按照有关规定处理。





[文章尾部最后500字内容到此结束,中间部分内容请查看底下的图片预览]请点击下方选择您需要的文档下载。

  1. 关于创建文明小区的调查报告
  2. _2018年度IDC分类排行榜
  3. 产品发行管理工作手册修订.6
  4. 5.CSCEC8XN-IT-《信息化管理手册》
  5. 0901基础信息库教师数据维护更新【说明文档】
  6. 了解并分析一个工商企业的组织结构
  7. 附件1:补签-公司数据安全保密协议
  8. XX省技术人才网上申报系统操作手册(外网)_人事单位
  9. 实验二小五年级夏宏单元教学设计
  10. 中国通讯云服务行业研究报告
  11. 养老山庄建设项目可行性研究报告
  12. 证券研究报告 公司深度研究
  13. 校园防疫智能测温仪V1
  14. 司法大数据专题报告之离婚纠纷
  15. 校园大数据管理平台建设方案
  16. 建设法治中国第1课时教学设计
  17. 跟单工作流程图
  18. 建筑工程施工许可证办理文件

以上为《校园一体化数据平台建设项目》的无排版文字预览,完整格式请下载

下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。

图片预览