2.2大数据专业二大数据分析应用-中级大纲

本文由用户“kingly9”分享发布 更新时间:2022-01-10 00:27:56 举报文档

以下为《2.2大数据专业二大数据分析应用-中级大纲》的无排版文字预览,完整格式请下载

下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。

大数据职称考试知识大纲

大数据分析应用-中级大纲

2021年版

目 录

一、 大数据法律法规、政策文件及相关标准 1

二、计算机基础知识 2

三、信息化基础知识 3

四、大数据安全 6

五、 数据库系统(SQL + NoSQL) 7

六、数据仓库 7

七、大数据技术与应用 8

八、大数据分析模型 8

九、数据科学 9

第一部分 基础知识模块

大数据法律法规、政策文件及相关标准

(一)法律法规

1、《中华人民共和国民法典》中华人民共和国主席令第四十五号

(1)了解隐私权和个人信息保护有关内容。

2、《中华人民共和国数据安全法》中华人民共和国主席令第八十四号

(1)了解数据安全制度、数据安全保护义务、政务数据安全与开放等相关内容。

3、《中华人民共和国网络安全法》中华人民共和国主席令第五十三号

(1)熟悉数据分类、重要数据备份和加密等措施。

4、《中华人民共和国电子签名法(2019版)》中华人民共和国主席令第二十九号

(1)了解电子签名、数据电文基本概念。

5、《中华人民共和国密码法》中华人民共和国主席令第三十五号

(1)了解核心密码、普通密码、商用密码之间的区别。

(二)政策文件

1、《促进大数据发展行动纲要》国发〔2015〕50号

(1)熟悉数据共享的范围边界和使用方式。

2、《山东省“十四五”数字强省建设规划》

(1)了解数字强省“十四五”规划发展目标及主要任务。

3、《关于促进大数据发展的意见》鲁政发〔2016〕25号

(1)了解山东省促进大数据发展的总体目标以及大数据应用生态体系。

(三)相关标准

1、GB/T 35295-2017 信息技术 大数据 术语

(1)了解本标准的范围、术语和定义,以及密切相关的通用术语。

2、GB/T 35589-2017 信息技术 大数据 技术参考模型

(1)了解本标准的范围、术语和定义,熟悉大数据参考架构的目的、目标,熟悉大数据参考架构及其各组成部分。

3、GB/T 37973-2019 信息安全技术 大数据安全管理指南

(1)了解本标准的范围、术语和定义,了解大数据安全需求、大数据分类分级、大数据活动及安全要求、大数据安全风险评估等方面的内容。

4、GB/T 38667-2020 信息技术 大数据 数据分类指南

(1)了解本标准的范围、术语和定义,熟悉数据分类的过程,以及分类视角、分类维度和分类方法。

5、GB/T 38673-2020 信息技术 大数据 大数据系统基本要求

(1)了解本标准的范围、术语和定义,熟悉大数据系统框架、功能要求、非功能要求。

(四)职业道德

1、掌握专业技术人员职业道德的基本要求

二、计算机基础知识

(一)面向对象技术

1、了解面向对象的发展历史,为什么引入面向对象。

2、掌握面向对象编程与非面向对象编程的优缺点。

3、掌握抽象的5个层次,抽象形式。

4、掌握类和方法。

5、掌握消息、实例和初始化。

6、了解继承和替换。

7、了解静态行为和动态行为。

(二)数据结构与算法

1、掌握程序性能分析的概念和方法,包括时间复杂性与空间复杂性分析。

2、掌握线性表的概念,掌握堆栈、队列、跳表和散列的描述方法与应用。

3、了解树的描述方法与应用。

4、了解图的描述方法与应用。

(三)操作系统

1、掌握操作系统的概念和操作系统结构。

2、掌握操作系统的进程管理,包括进程概念、进程调度、同步及死锁处理。

3、掌握内存管理,包括内存管理策略和虚拟内存管理。

4、了解存储管理,包括文件系统、文件系统实现、大容量存储结构和I/O系统。

5、了解系统保护与安全。

(四)计算机网络

1、了解计算机网络在信息时代的核心作用以及计算机网络的发展历史;理解计算机网络的分类,网络标准化,网络参考模型,网络体系结构。

2、掌握物理层的基本概念,理解信道极限容量的概念以及信道最大传输速率的公式,模拟传输和数字化传输的物理层标准。

3、掌握数据链路层的基本概念,理解停等协议和连续ARQ协议,滑动窗口协议,检错和纠错机制。

4、掌握介质访问控制子层的基本概念,理解动态多路访问控制协议,以太网,无线局域网,数据链路层的交换技术。

5、了解网络层的基本概念,理解路由协议,拥塞控制算法,服务质量,网络互连,IP协议,子网掩码。

6、了解传输层的基本概念,理解传输层路由协议,TCP,UDP,拥塞控制算法。

7、了解应用层的基本概念,理解DN 内容过长,仅展示头部和尾部部分文字预览,全文请查看图片预览。 粒度、分割的概念,了解数据仓库中的数据组织形式。

6、了解数据仓库的数据模型,包括概念数据模型、逻辑数据模型、物理数据模型。

7、掌握联机分析处理(OLAP)技术的概念、特征。

8、掌握OLAP中的多维分析操作,包括钻取、切片和切块、旋转。

9、了解多维联机分析处理、关系联机分析处理、MOLAP和 ROLAP的差异、混合型联机分析处理;OLAP 的衡量标准。

10、了解数据预处理的原因、数据预处理的方法。

11、掌握数据清洗、数据集成和变换、数据归约的概念与方法,具有应用上述方法进行数据清洗的能力。

12、了解关联规则的概念和分类。

七、大数据技术与应用

(一)数据可视化

1、了解常见可视化图形(散点图、折线图、饼图、环图、双层环图、柱状图、堆积柱状图、分组柱状图、正负条形图、雷达图)的概念,具有初步的可视化图形展示数据的能力。

(二)大数据处理技术

1、掌握云计算的概念、云计算的特征、云计算的三层SPI模型(IaaS、PaaS、SaaS)。

2、掌握虚拟化技术的概念、常用虚拟化方法,了解常用虚拟化软件。

3、具有应用虚拟化技术搭建虚拟化平台的能力。

4、了解分布式计算、高性能计算、边缘计算的概念。

5.了解有监督学习、无监督学习、强化学习的概念和区别。

6、了解数据集市、数据仓库、数据中台、数据平台的概念。

7、掌握数据采集与预处理过程,掌握数据采集、数据清洗、数据转换、数据脱敏的方法。

8、了解数据存储与管理技术、大数据处理架构Hadoop、分布式文件系统HDFS、NoSQL数据库、分布式数据库HBase的相关概念。

9、了解大数据处理环节的主要思想:大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用(包括大数据检索、大数据可视化、大数据应用、大数据安全等)。

10、了解大数据处理与分析的代表性流行产品。

八、大数据分析模型

1、了解常用的大数据分析模型,例如行为事件分析模型、点击分析模型、用户行为路径分析模型、用户分群分析模型等,具有应用大数据技术进行大数据分析能力。

九、数据科学

(一)概率统计与统计推断

1、掌握概率、条件概率的概念,并会计算简单的概率、条件概率。

2、理解随机事件的独立性和随机变量的独立性。

3、掌握乘法公式、全概率公式、贝叶斯公式,并会简单应用。

4、掌握随机变量分布函数的概念,掌握连续型随机变量的密度函数和离散型随机变量的分布列。

5、掌握常见分布(两点分布、二项分布、泊松分布、均匀分布、正态分布、指数分布)及其简单性质。

6、理解数学期望、方差(标准差)、相关系数的概念,并会简单计算。

7、了解多元随机变量的概念,掌握多元正态分布。

8、理解统计量的概念,理解样本均值、样本方差(标准差)的概念,并会简单计算。

9、了解点估计的概念,了解点估计的无偏性、相合性。

10、了解参数的矩估计、最大似然估计。

11、了解线性回归的基本概念。

12、了解方差分析(ANOVA)的基本概念。

(二)统计学习与数据挖掘

1、掌握感知机的定义和基本原理。

2、掌握Logistic回归算法原理与特点,能够使用Logistic回归进行数据的分类建模与参数解释。

3、掌握朴素贝叶斯算法的定义与基本原理。

4、掌握k近邻算法算法定义与原理。

5、掌握支持向某某(SVM)算法的思想与原理。

6、掌握决策树的算法的定义与原理,了解决策树的剪枝理论。

7、了解常见集成方法如boosting、bagging等。

8、掌握聚类分析的相关概念。

9、掌握主成分分析的原理。

10、了解生成式半监督学习方法、半监督SVM、图半监督学习方法的思想与原理。

(三)深度学习与强化学习

1、掌握全连接网络(MLP)的定义与算法原理、并能够应用。

2、掌握卷积神经网络(CNN)基本概念,了解几种经典的卷积神经网络,如AlexNet、VGG、GoogLeNet、ResNet。

3、掌握循环神经网络(RNN)原理与基本概念,了解几种常见的模型,如长短期记忆网络LSTM、GRU。

4、掌握生成对抗网络(GAN、WGAN)的基本定义与原理,能够完成基本应用

5、掌握马尔可夫决策过程的定义,了解其算法应用范围,并能够实际应用

6、掌握经典强化学习算法(Q-learning、SARMA)的定义与原理。

7、掌握经典深度强化学习算法(DQN、DDPG、A3C、TRPO、PPO)的定义与原理,了解其算法特性。

[文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]

以上为《2.2大数据专业二大数据分析应用-中级大纲》的无排版文字预览,完整格式请下载

下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。

图片预览