以下为《大数据行业项目实训实训报告》的无排版文字预览，完整格式请下载

下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的，下载的文档就是什么样的。

分类号





密 级





U D C





编 号

XXX







大数据行业项目实训



实训报告









姓 名：

：

蒋某某







学 号：

：

***0117







指导教师姓名：

：

朱某某、严某某







专业名称：

：

大数据技术与应用







班级：

：

大数据2021







二0二二年 五 月





一、大数据平台搭建基础环境准备实践

本次实训的首要目标，是在虚拟机的环境下，完成以下三个任务：

Hadoop完全分布式部署管理：jdk的解压安装、jdk环境变量的配置、节点配置以及 Hadoop配置文件修改。

Hive组件部署管理：Hive的解压安装、Hive的环境变量配置、Hive-site.xml 文件配置、初始化Hive元数据和Hive的启停状态。

Kafka组件部署管理：Kadka的解压安装、Kafka的环境变量配置、Kafkaserver.Properties文件修改、Kafka的启停和Kafka的结果输出

在参考文档的帮助下，陆续解决了各种虚拟机配置的问题，最让人头疼的是虚拟机vmware-tools的安装，因电脑属性不同，安装的方式也不尽相同。最终在老师的帮助下，完成安装，保证能将桌面上的文件拖进虚拟机中，为后续配置工作做准备。完成基础配置的主界面截图如下。

/

接着操作的是host文件修改和免密登录，在教学文档的帮助下顺利解决相关问题，未出现难以解决的地方。

/

在此部分最难完成的便是对存在的虚拟机进行克隆操作，需要配置三台一样的虚拟机操作较为复杂，最终在视频的指导下完成此项工作。

/

大数据平台核心服务部件搭建实践

首先进行了在cesten系统中安装jdk组件的工作，此项作业是在shell软件上完成。

/

/

如何进行了hadoop的配置。设置了一主二从三个节点，三个主机同时工作安装zookeeper组件并于hadoop ha环境适配再分别在两台从主机上运行此项目。

/

/

数据采集操作

根据以下代码，列举出常用的数据爬取技术：

# -*- coding:utf-8 -*-

from xml.dom.minidom import parse

import xml.dom.minidom

# 使用minidom解析器打开 XML 文档

DOMTree = xml.dom.minidom.parse("movies.xml")

collection = DOMTree.documentElement

if collection.hasAttribute("shelf"):

print ("根元素是 : %s" % collection.getAttribute("shelf"))

# 在集合中获取所有电影

movies = collection.getElementsByTagName("movie")

for movie in movies:

print ("*****Movie*****")

if movie.hasAttribute("title"):

print ("Title电影名: %s" % movie.getAttribute("title"))

type = movie.getElementsByTagName('type')[0]

print ("Type电影类型: %s" % type.childNodes[0].da 内容过长，仅展示头部和尾部部分文字预览，全文请查看图片预览。 过GPS精准定位和以往数据的分析，提前预测用户出行热门路线，动态调节供需平衡，实现车辆合理投放和智能调度。通过实时监控运行数据，大数据能改善用户使用行为，实现整车和动力电池的智能健康管理。

在这次实训认知中，通过老师的讲解，让我对大数据这门课程有了更深的了解，也学会了Java,Hadoop,HDFS,Spark等工具的使用，让我对大数据有了不同的认识。我的感想是:我们已进入了一个大数据时代，大数据广泛应用我们的日常生活中，学好这门课程，我相信对我们有很大的作用。当然，在这次实训中，我也知道了要学好大数据，不仅仅要学会老师讲的内容，还要有自主学习的精神，要靠自己去学习有关他的课本之外的知识。

[文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]

以上为《大数据行业项目实训实训报告》的无排版文字预览，完整格式请下载

下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的，下载的文档就是什么样的。