系统构架设计(通用版-V1.0)

本文由用户“weigs168”分享发布 更新时间:2022-02-02 12:54:17 举报文档

以下为《系统构架设计(通用版-V1.0)》的无排版文字预览,完整格式请下载

下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。

系统构架设计方案

(通用版)

目录

1. 系统构架设计 3

1.1. 系统总体构架 3

1.1.1. 数据层 3

1.1.2. 处理引擎 3

1.1.3. 工具层 4

1.1.4. 接口层 4

1.1.5. 统一门户层 4

1.1.6. 访问层 6

1.2. 技术架构设计 6

1.2.1. 技术架构说明 7

1.2.2. 平台技术规范 7

1.3. 数据架构设计 8

1.4. 应用架构设计 9

1.5. 部署架构 10

1.6. 系统安全架构 12

1.6.1. 系统安全架构说明 12

1.6.2. 系统安全设计思路 13

1.6.3. 移动端安全措施 13

系统构架设计

系统总体构架

/

(图:系统总体架构图)

数据层

数据层主要指大数据门户系统的数据来源。行内数据来源多种,包括存储在数据仓库中的全量数据和存储集市层的热数据,因此在数据接入层,需要充分考虑客户业务数据来源的复杂性和可拓展性,提供连接以下几大类型数据。

直连Hadoop Hive、华为、星环、Oracle等各种主流数据库取数;

通过数据抽取、加载、转换、清洗等操作,将数据抽取到应用集市层中,然后再连接GP、Vertica等集市层数据库进行查询展示;

读取Excel、CSV等文本数据直接进行分析;

通过JAVA数据源读取第三方的接口数据;

处理引擎

大数据门户系统的处理引擎层,包含查询引擎、语义模型、跨源查询引擎、高速缓存引擎、元数据引擎等。

查询引擎:通过查询引擎读取各种数据库数据,包括关系型数据库、多维数据库、NoSQL数据库、JAVA接口数据、文本数据等;

语义模型:允许用户将数据库物理表、字段,封装重组成面向业务逻辑视图,方便业务分析用户进行自助式分析。通过构建业务主题,用户即可灵活、自助式地从EDW或者数据库中获取业务上所需要的信息,从而快速的响应市场的变化。

跨源查询引擎:提供跨数据库查询引擎,支持将不同的数据源关联,比如将Oracle和SQLServer两种数据源关联,应对不同接口数据统一访问问题,无需再进行数据抽取。

高速缓存引擎:提供高速缓存引擎,定位于报表加速。在进行数据分析的时候,允许将原始库数据缓存到中间缓存层,解决性能瓶颈。并且提供多种高速缓存方案可供选择。

元数据引擎:对系统的元数据进行影响性分析、依赖性分析等;通过影响性分析,当源数据项有变化时,识别对哪些KPI、报表产生影响;通过依赖性分析,掌握KPI的数据来自于哪些数据项,经过了哪些加工计算。对BI应用系统内部的元数据信息进行管理,包括表、字段、参数、业务主题、多维模型、查询、报表、仪表盘等信息的管理;从而更好的支持应用系统维护和运营。

工具层

为支撑全行的业务功能分析需求,提供各种工具功能支撑,包括固定报表功能、自助分析功能、分析报告、语音助手、管理驾驶舱、移动BI等工具。

接口层

为达到统一访问的需求,平台有良好的拓展性和集成性,可通过web链接资源集成、功能集成等将客户业务此前采购的相关数据分析工具和挖掘工具集成到平台中来,达到统一入口访问。

统一门户层

统一门户层,包含了以下模块:

门户首页资源:

1)展示相应用户权限范围内查看的管理驾驶舱、报表等资源;

2)提供各分析工具入口,点击转到相应的工具,进行操作使用;

统一搜索:通过关键字检索相应的指标、维度、资源名称,返回访问的路径及相关信息描述等。

/

(图:全文检索)

公告:在统一门户发布相应的公告信息。

自助共享门户:自助共享门户主要提供给用户提供更多社区在应用交互上的便利。

/

数据导航:提供用户和数据交互的界面。允许用户在权限范围内自由获取数据,也可以根据需要申请数据授权。

分析商店:提供用户和用户交互的界面。数据分析的最大缺点是“我自己、一个人在做”,在部门级或企业级的应用环境中,我们往往很难获取其他的有价值的应用示例,比如“我正在做的分析/应用是否有其他同事做过?”「分析商店」可以提供一个用户间交流和分析应用分享的平台,提高整体的工作效率。

数据产品:提供用户和专家交互的界面。这里主要解决的是“我做的分析/应用是否合适?是否最优方案?有人可以指导吗?「数据产品」提供一个价值传播机制让我们和内部外部的专家一起改善分析/应用的质量。

数据答疑:提供用户和技术支持交互的界面。允许建立用户的应用技术支持体系,确保用户在使用系统的过程中能随时获取多种方式的技术支持,如论坛、邮件、在线问答、问答排行榜等。

内容过长,仅展示头部和尾部部分文字预览,全文请查看图片预览。 论、统一任务调度等应用管理手段;

?基础应用模型:为门户系统提供客户业务各部门的基础应用,主要面向各业务部分业务人员、数据分析、挖掘人员、数据查询人员。基础应用模型主要提供给业务自助分析应用支撑。

?管理应用模型:为门户系统管理决策层提供管理应用模型,此部分模型提供给管理驾驶舱应用的支撑。

三大类应用:基于基础应用模型和管理应用模型,最终门户系统的应用主要分为三大类:

管理驾驶舱应用:领导决策层查看,辅助领导决策分析的应用。

业务自助应用:业务为满足日常的业务运行情况分析,制作的数据快查、数据自助透视、仪表盘等应用;

专项应用分析,针对有挖掘价值的数据,数据分析师对数据进行挖掘、分析,提高客户业务的数据资产,带来额外的价值收益。

部署架构

考虑面门户大数据系统的稳定性及扩展性,满足行方五年以上数据分析平台正常使用,系统总体部署架构图和物理部署架构如下:

/

(图:总体部署架构图)

该部署架构的先进性体现在如下几个方面:

1.所有的应用服务及数据库双活,即同一应用服务或具备相同作用的数据库集群,具备较强的容灾能力;

2.应用服务通过堡垒机与内网知识库及数据库进行连接,这样既保证了服务的外网访问,同时能保证数据库安全。

/

(图:物理部署)

物理部署采取Weblogic作为中间层服务器,底层采取oracel数据库作为平台元数据存储;Weblogic服务器采取双主模式,知识库采用oracle数据库热备,有很好的容灾性,保证系统的长期稳定运行。

系统安全架构

/

系统安全架构说明

整体安全架构从三个层次考虑:

终端访问层:客户业务、领导和运维等终端用户必须走内网网络访问,并且只映射平台需要的个别端口通过防火墙和路由器,通讯请求都走HTTPSc传输协议。登录访问平台内的各个分析系统时,走单点登录模式,统一认证,并且采取强密码认证模式;

应用服务器层:通过终端访问发起的HTTPS请求协议,对应用服务器发起请求,在这一层次,提供严密的日志审计功能,所有用户的请求操作、使用记录都会记录到审计日志中,并且服务器层有很好的主动防御能力,经过严密的web漏洞测试。而数据安全方面,系统带有的多级权限管控,可以保证用户只能在权限范围内进行使用和访问。

数据层:提供自动备份、恢复功能,很好保障系统的安全,不会遇到突发事件无法快速恢复系统。

除了整体层次的考虑外,整个平台将从各环节充分考虑系统的安全,详细参考下面两节,《系统安全设计思路》和《移动端安全措施》

系统安全设计思路

系统安全设计考虑下面内容:

?通讯安全:通信使用SSL/HTTPS协议,保证传递数据间的安全性。

?密码安全:数据库中***或DES加密以保障安全。

?权限体系:系统资源采用独立授权,采用逐级管理方式保障用户登录合法性。

?日志审计:系统日志记录用户各种操作,确保真实性,以便对系统进行审计。

?备份与恢复:系统提供备份和恢复知识库的能力。

?错误诊断能力:在系统出现故障的时候,能够收集错误信息。

移动端安全措施

针对设备和用户密码的双重访问控制。提供统一的权限管理机制,所有试图连接 Smartbi Insight Server的移动设备,都需要申请和登记,系统会记录设备唯一标志,只有符合条件的设备才能够登陆系统。因此,就算企业外部人员安装了Smartbi Insight Mobile应用,并且配置了指向企业内部服务器的连接,由于该设备不在认证列表中,该用户无法获取到访问服务器。

登陆Smartbi Insight Server时,都要求校验用户凭证,如果用户名和密码不正确,则拒绝来自该设备的连接访问。因此,就算企业外部人员安装了 Mobile应用,并且配置了指向企业内部服务器的连接,由于该设备未登记或不能正确输入用户凭证,该用户无法获取到服务器上的任何信息。

所有通信都必须经过防火墙。可以通过多层防火墙建立两个隔离区域,一个用于保护Web服务器,另一个用于保护企业数据仓库。

数据访问的单点监控。 Mobile 和Web允许管理员指定哪些端口用于服务器之间的通信,而其他端口则会被防火墙禁止,由此降低端口暴露风险。

没有外部RMI或RPC调用。采用HTTP与Server进行通讯,避免RMI或RPC调用引起的安全风险。

传输安全。对于 BI平台组件之间的通信,采用HTTPS技术传输,确保信息安全。即使在客户没有使用HTTPS的情况下,移动设备和服务器之间的传输也都进行加密。

[文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]

以上为《系统构架设计(通用版-V1.0)》的无排版文字预览,完整格式请下载

下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。

图片预览