大学本科课程教学大纲《数据采集与预处理》
以下为《大学本科课程教学大纲《数据采集与预处理》》的无排版文字预览，完整格式请下载
下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的，下载的文档就是什么样的。
厦门大学本科课程教学大纲
课程名称
数据采集与预处理
课程代码
英文
类别代号
CSCI
授课对象
数据科学与大数据技术，本科生
适用年级
大二
课程类型
专业必修课
课程课型
理论课
总学分
总学时
授课
讨论
实验/上机
实践
其他
1.5
24
24
0
0
0
0
先修课程
无
一、课程简介
本课程详细阐述了大数据领域数据采集与预处理的相关理论和技术。课程内容共8章，包括概述、大数据实验环境搭建、网络数据采集、分布式消息系统Kafka、日志采集系统Flume、数据仓库中的数据集成、ETL工具Kettle、使用pandas进行数据清洗。
二、培养目标
本课程旨在实现以下几个培养目标：
了解数据采集的概念、方法和任务。
熟悉大数据实验环境的搭建方法，包括Python的安装和使用、JDK的安装、MySQL数据库的安装和使用、Hadoop的安装和使用。
了解网络爬虫的基础知识，掌握使用网络爬虫获取网页数据的方法。
了解Kafka的特性，掌握使用Python操作Kafka的方法。
了解Flume的组件功能，掌握使用Flume采集数据的方法。
了解数据仓库中的数据集成方法，熟悉ETL和CDC。
掌握ETL工具Kettle的基本使用方法。
掌握使用pandas进行数据清洗的方法。
三、教学方法
本课程以实践教学为主，并提供大量补充学习资料，以深化学生对知识的理解。同时，在课堂上为学生展示丰富的实际应用案例，激发学生学习兴趣，开拓学生视野，培养学生的数据能力。
四、主要内容及学时安排
章（或节）
主要内容
学时安排
第1章 概述
数据、数据分析过程、数据采集与预处理的任务、数据采集、数据清洗、数据集成、数据转换、数据脱敏
2
第2章 大数据实验环境搭建
Python的安装和使用、JDK的安装、MySQL数据库的安装和使用、Hadoop的安装和使用
2
第3章 网络数据采集
网络爬虫概述、网页基础知识、用Python实现HTTP请求、定制requests、解析网页、综合实例、Scrapy爬虫
4
第4章 分布式消息系统Kafka
Kafka简介、Kafka在大数据生态系统中的作用、Kafka与Flume的区别与联系、Kafka相关概念、Kafka的安装和使用、使用Python操作Kafka、Kafka与MySQL的组合使用
2
第5章 日志采集系统Flume
Flume简介、Flume的安装和使用、Flume和Kafka的组合使用、采集日志文件到HDFS、采集MySQL数据到HDFS
2
第6章 数据仓库中的数据集成
数据仓库概念、数据集成、ETL、CDC
2
第7章? ETL工具Kettle
Kettle的基本概念、Kettle的基本功能、安装Kettle、数据抽取、数据清洗与转换、数据加载
4
第8章 使用pandas进行数据清洗
NumPy的基本使用方法、pandas数据结构、基本功能、汇总和描述统计、处理缺失数据、综合实例
6
合计
24
五、考核方式与要求
（1）平时成绩：包括上课考勤和作业；
（2）期末考试：采用笔试，闭卷；
（3）最终成绩：平时成绩和期末考试成绩按5:5比例加权求和。
六、选用教材
林子雨编著《数据采集与预处理》，人民邮电出版社，2022年1月第1版。ISBN: 978-7-115 内容过长，仅展示头部和尾部部分文字预览，全文请查看图片预览。 ducation
思想政治教育类课程；
ENER:
Energy Science
能源科学类课程；
ASTR:
Astronomy
天文学类课程；
MELM:
laboratory medicine
实验医学类课程；
MEEC
Clinical Medical (English Courses)
英文授课临床医学类课程
KORN:
Korean
韩国语言文学类课程
ITAL:
Italian
意大利语言文学类课程
ARAB:
Arabic
阿拉伯语言文学类课程
MALA:
Malay
马来语言文学类课程
[文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]
以上为《大学本科课程教学大纲《数据采集与预处理》》的无排版文字预览，完整格式请下载
下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的，下载的文档就是什么样的。
图片预览
