大数据开发工程师岗位的职责描述

本文由用户“dickandong”分享发布 更新时间:2021-10-19 17:27:12 举报文档

以下为《大数据开发工程师岗位的职责描述》的无排版文字预览,完整格式请下载

下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。

大数据开发工程师岗位的职责描述

  大数据开发工程师负责大数据体系架构设计和应用产品的研究。以下是小编整理的大数据开发工程师岗位的职责描述。

  大数据开发工程师岗位的职责描述1

  职责:

  1、负责异构数据系统和大数据平台的集成与融合;

  2、负责数据挖掘算法的设计及对海量数据进行挖掘分析;

  3、负责分布式数据仓库平台、海量数据批处理平台、实时数据处理平台等系统开发;

  4、参与海量数据处理,业务数据体系的设计、数据统计、分析及数据建模;

  5、参与数据平台各系统的性能分析与系统优化,不断提高系统运行效率;

  6、完成领导交办的其他任务。

  任职资格:

  1、计算机及其相关专业,大专及以上学历。两年以上大数据应用经验;

  2、具备实时处理框架的设计和开发能力,熟练掌握Storm、Spark streaming等大数据实时处理框架中的一种;

  3、熟悉Spark 、R、Hadoop、Hbase、Hive、Elastic Search/Solr等相关技术;

  4、熟悉Scala、熟悉Linux开发环境,能进行shell脚本的编写;

  5、具有较强的逻辑分析能力,高度的责任心及团队合作精神;

  6、具有实际大数据项目的成功经验者优先考虑。

  大数据开发工程师岗位的职责描述2

  职责

  1、参与大规模数据快速查询系统的架构设计和开发;

  2、大规模数据挖掘和机器学习算法的实现;

  3、在线和离线海量数据分析平台的开发;

  4、研究大数据前沿技术,提升系统的运维效率;

  5、实现大数据基础架构平台的自动化运维。

  任职资格

  1、计算机相关专业,具有3年以上大数据开发经验,熟悉Java,Linux;

  2、熟悉Hadoop大数据处理系统的开发,搭建及部署者优先;

  3、熟练地处理数据模型、数据ETL以及存储管理;

  4、熟悉HDFS/Hive/MapReduc 内容过长,仅展示头部和尾部部分文字预览,全文请查看图片预览。 通JAVA等面向对象编程,有分布式并行计算的开发经验优先;

  4、熟练掌握至少一种MySQL、SQL Server、Oracle等关系型数据库或MongoDB、Redis等NoSQL数据库 ,有hive等数据仓库研发经验优先;

  5、熟悉大数据、云计算概念,了解Hadoop、Hive、Hbase等大数据主流技术及开源框架者优先;

  6、自学能力强,沟通能力较好,有一定独立分析,技术研究能力,具有良好的团队合作精神;

  7、数据意识强,有较好的文档编写能力,以及踏实的工作作风。

  大数据开发工程师岗位的职责描述5

  职责

  1、负责大数据分析平台的建设,基于历史和业务实时数据构建数据挖掘模型;

  2、根据需求设计和实现数据分析展示平台;

  3、负责建立、维护和改进大数据分析流程、规范、方法;

  4、负责基于大数据的数据分析算法研究,基于数据分析结果优化现有应用并探索新的应用。

  任职要求:

  1、本科及以上学历,统计、数学、计算机或相关专业/方向,3年以上数据分析、数据挖掘相关工作经验;

  2、精通MATLAB、Python等大数据涉及的语言和工具,并能熟练运用相关数据分析工具实现数据分析方法;

  3、对机器学习、数据挖掘算法及其应用有比较全面的认识和理解,熟悉主流数据挖掘框架;

  4、熟悉分布式数据库、数据仓库和数据集市,熟悉数据库相关操作和编程;

  5、具有优秀的发现、分析并解决问题的能力,积极性高,具有严谨缜密的工作习惯、较强的沟通能力及团队合作精神;

  6、有旅游行业数据分析与挖掘从业经验者优先。有主导完成优秀应用、大型数据平台项目、有数据挖掘,算法设计等开发经验者优先。

  相关*:

  1.大数据开发工程师的岗位职责

  2.大数据架构师岗位的主要职责概述

  3.大数据架构师的工作职责描述

  4.软件架构师的岗位职责描述

  5.大数据运维工程师岗位的主要职责

[文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]请点击下方选择您需要的文档下载。

  1. 软件开发管理制度
  2. 手机抄表APP功能需求
  3. 计算机A试卷
  4. php博客系统设计与实现
  5. ***GIS系统数据更新入库流程说明
  6. 市建系统应急预案
  7. 项目测试计划
  8. 关于新带息负债系统上线安排的通知
  9. 质控系统责任人员确认表

以上为《大数据开发工程师岗位的职责描述》的无排版文字预览,完整格式请下载

下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。

图片预览