以下为《2.2大数据专业二大数据分析应用-中级大纲》的无排版文字预览,完整格式请下载
下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。
大数据职称考试知识大纲
大数据分析应用-中级大纲
2021年版
目 录
一、 大数据法律法规、政策文件及相关标准 1
二、计算机基础知识 2
三、信息化基础知识 3
四、大数据安全 6
五、 数据库系统(SQL + NoSQL) 7
六、数据仓库 7
七、大数据技术与应用 8
八、大数据分析模型 8
九、数据科学 9
第一部分 基础知识模块
大数据法律法规、政策文件及相关标准
(一)法律法规
1、《中华人民共和国民法典》中华人民共和国主席令第四十五号
(1)了解隐私权和个人信息保护有关内容。
2、《中华人民共和国数据安全法》中华人民共和国主席令第八十四号
(1)了解数据安全制度、数据安全保护义务、政务数据安全与开放等相关内容。
3、《中华人民共和国网络安全法》中华人民共和国主席令第五十三号
(1)熟悉数据分类、重要数据备份和加密等措施。
4、《中华人民共和国电子签名法(2019版)》中华人民共和国主席令第二十九号
(1)了解电子签名、数据电文基本概念。
5、《中华人民共和国密码法》中华人民共和国主席令第三十五号
(1)了解核心密码、普通密码、商用密码之间的区别。
(二)政策文件
1、《促进大数据发展行动纲要》国发〔2015〕50号
(1)熟悉数据共享的范围边界和使用方式。
2、《山东省“十四五”数字强省建设规划》
(1)了解数字强省“十四五”规划发展目标及主要任务。
3、《关于促进大数据发展的意见》鲁政发〔2016〕25号
(1)了解山东省促进大数据发展的总体目标以及大数据应用生态体系。
(三)相关标准
1、GB/T 35295-2017 信息技术 大数据 术语
(1)了解本标准的范围、术语和定义,以及密切相关的通用术语。
2、GB/T 35589-2017 信息技术 大数据 技术参考模型
(1)了解本标准的范围、术语和定义,熟悉大数据参考架构的目的、目标,熟悉大数据参考架构及其各组成部分。
3、GB/T 37973-2019 信息安全技术 大数据安全管理指南
(1)了解本标准的范围、术语和定义,了解大数据安全需求、大数据分类分级、大数据活动及安全要求、大数据安全风险评估等方面的内容。
4、GB/T 38667-2020 信息技术 大数据 数据分类指南
(1)了解本标准的范围、术语和定义,熟悉数据分类的过程,以及分类视角、分类维度和分类方法。
5、GB/T 38673-2020 信息技术 大数据 大数据系统基本要求
(1)了解本标准的范围、术语和定义,熟悉大数据系统框架、功能要求、非功能要求。
(四)职业道德
1、掌握专业技术人员职业道德的基本要求
二、计算机基础知识
(一)面向对象技术
1、了解面向对象的发展历史,为什么引入面向对象。
2、掌握面向对象编程与非面向对象编程的优缺点。
3、掌握抽象的5个层次,抽象形式。
4、掌握类和方法。
5、掌握消息、实例和初始化。
6、了解继承和替换。
7、了解静态行为和动态行为。
(二)数据结构与算法
1、掌握程序性能分析的概念和方法,包括时间复杂性与空间复杂性分析。
2、掌握线性表的概念,掌握堆栈、队列、跳表和散列的描述方法与应用。
3、了解树的描述方法与应用。
4、了解图的描述方法与应用。
(三)操作系统
1、掌握操作系统的概念和操作系统结构。
2、掌握操作系统的进程管理,包括进程概念、进程调度、同步及死锁处理。
3、掌握内存管理,包括内存管理策略和虚拟内存管理。
4、了解存储管理,包括文件系统、文件系统实现、大容量存储结构和I/O系统。
5、了解系统保护与安全。
(四)计算机网络
1、了解计算机网络在信息时代的核心作用以及计算机网络的发展历史;理解计算机网络的分类,网络标准化,网络参考模型,网络体系结构。
2、掌握物理层的基本概念,理解信道极限容量的概念以及信道最大传输速率的公式,模拟传输和数字化传输的物理层标准。
3、掌握数据链路层的基本概念,理解停等协议和连续ARQ协议,滑动窗口协议,检错和纠错机制。
4、掌握介质访问控制子层的基本概念,理解动态多路访问控制协议,以太网,无线局域网,数据链路层的交换技术。
5、了解网络层的基本概念,理解路由协议,拥塞控制算法,服务质量,网络互连,IP协议,子网掩码。
6、了解传输层的基本概念,理解传输层路由协议,TCP,UDP,拥塞控制算法。
7、了解应用层的基本概念,理解DN 内容过长,仅展示头部和尾部部分文字预览,全文请查看图片预览。 粒度、分割的概念,了解数据仓库中的数据组织形式。
6、了解数据仓库的数据模型,包括概念数据模型、逻辑数据模型、物理数据模型。
7、掌握联机分析处理(OLAP)技术的概念、特征。
8、掌握OLAP中的多维分析操作,包括钻取、切片和切块、旋转。
9、了解多维联机分析处理、关系联机分析处理、MOLAP和 ROLAP的差异、混合型联机分析处理;OLAP 的衡量标准。
10、了解数据预处理的原因、数据预处理的方法。
11、掌握数据清洗、数据集成和变换、数据归约的概念与方法,具有应用上述方法进行数据清洗的能力。
12、了解关联规则的概念和分类。
七、大数据技术与应用
(一)数据可视化
1、了解常见可视化图形(散点图、折线图、饼图、环图、双层环图、柱状图、堆积柱状图、分组柱状图、正负条形图、雷达图)的概念,具有初步的可视化图形展示数据的能力。
(二)大数据处理技术
1、掌握云计算的概念、云计算的特征、云计算的三层SPI模型(IaaS、PaaS、SaaS)。
2、掌握虚拟化技术的概念、常用虚拟化方法,了解常用虚拟化软件。
3、具有应用虚拟化技术搭建虚拟化平台的能力。
4、了解分布式计算、高性能计算、边缘计算的概念。
5.了解有监督学习、无监督学习、强化学习的概念和区别。
6、了解数据集市、数据仓库、数据中台、数据平台的概念。
7、掌握数据采集与预处理过程,掌握数据采集、数据清洗、数据转换、数据脱敏的方法。
8、了解数据存储与管理技术、大数据处理架构Hadoop、分布式文件系统HDFS、NoSQL数据库、分布式数据库HBase的相关概念。
9、了解大数据处理环节的主要思想:大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用(包括大数据检索、大数据可视化、大数据应用、大数据安全等)。
10、了解大数据处理与分析的代表性流行产品。
八、大数据分析模型
1、了解常用的大数据分析模型,例如行为事件分析模型、点击分析模型、用户行为路径分析模型、用户分群分析模型等,具有应用大数据技术进行大数据分析能力。
九、数据科学
(一)概率统计与统计推断
1、掌握概率、条件概率的概念,并会计算简单的概率、条件概率。
2、理解随机事件的独立性和随机变量的独立性。
3、掌握乘法公式、全概率公式、贝叶斯公式,并会简单应用。
4、掌握随机变量分布函数的概念,掌握连续型随机变量的密度函数和离散型随机变量的分布列。
5、掌握常见分布(两点分布、二项分布、泊松分布、均匀分布、正态分布、指数分布)及其简单性质。
6、理解数学期望、方差(标准差)、相关系数的概念,并会简单计算。
7、了解多元随机变量的概念,掌握多元正态分布。
8、理解统计量的概念,理解样本均值、样本方差(标准差)的概念,并会简单计算。
9、了解点估计的概念,了解点估计的无偏性、相合性。
10、了解参数的矩估计、最大似然估计。
11、了解线性回归的基本概念。
12、了解方差分析(ANOVA)的基本概念。
(二)统计学习与数据挖掘
1、掌握感知机的定义和基本原理。
2、掌握Logistic回归算法原理与特点,能够使用Logistic回归进行数据的分类建模与参数解释。
3、掌握朴素贝叶斯算法的定义与基本原理。
4、掌握k近邻算法算法定义与原理。
5、掌握支持向某某(SVM)算法的思想与原理。
6、掌握决策树的算法的定义与原理,了解决策树的剪枝理论。
7、了解常见集成方法如boosting、bagging等。
8、掌握聚类分析的相关概念。
9、掌握主成分分析的原理。
10、了解生成式半监督学习方法、半监督SVM、图半监督学习方法的思想与原理。
(三)深度学习与强化学习
1、掌握全连接网络(MLP)的定义与算法原理、并能够应用。
2、掌握卷积神经网络(CNN)基本概念,了解几种经典的卷积神经网络,如AlexNet、VGG、GoogLeNet、ResNet。
3、掌握循环神经网络(RNN)原理与基本概念,了解几种常见的模型,如长短期记忆网络LSTM、GRU。
4、掌握生成对抗网络(GAN、WGAN)的基本定义与原理,能够完成基本应用
5、掌握马尔可夫决策过程的定义,了解其算法应用范围,并能够实际应用
6、掌握经典强化学习算法(Q-learning、SARMA)的定义与原理。
7、掌握经典深度强化学习算法(DQN、DDPG、A3C、TRPO、PPO)的定义与原理,了解其算法特性。
[文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]
以上为《2.2大数据专业二大数据分析应用-中级大纲》的无排版文字预览,完整格式请下载
下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。