“小小关中小侠”通过精心收集，向本站投稿了12篇大数据开发工程师岗位的基本职责，下面是小编给大家带来大数据开发工程师岗位的基本职责，一起来阅读吧，希望对您有所帮助。
- 目录
篇1：大数据开发工程师岗位的基本职责
职责:
1、负责大数据平台的技术和产品的设计、开发、优化和维护;
2、负责大数据平台设计文档编写，线上产品的维护;
3、负责系统性能优化，解决各类潜在系统技术风险，保证系统的安全、稳定、快速运行;
4、负责整个产品平台的搭建、多维数据库建设及管控流程设计;
5、参与指标设计，数据建模，负责将数据模型在系统中实现;
6、负责数据抽取、数据交换、实时计算等框架研究及相关产品的研发;
7、负责追踪整体产品过程及质量把控。
任职要求：
1、专业技能：精通 Hadoop 生态圈中的一项或几项技术，深入了解 Hadoop 及相关组件的部署及调优;设计或开发过大容量，高性能，高可用，易扩展的分布式系统;熟悉实时计算/流式计算系统，至少熟悉一项 Nosql 技术;具有扎实 java 功底及开发能力;对 hadoop，hive，hbase，spark 等相关源码有一定了解;
2、学历背景：计算机相关专业本科及以上学历;
3、工作经验：3年以上JAVA开发经验及1年以上大数据研发经验
4、能力素质：具有出色的抽象设计能力，思路清晰，善于思考，良好的团队合作能力、沟通能力、较好的自学能力，具有敬岗爱业的精神。
5、有团队管理经验者优先。
篇2：大数据开发工程师岗位的基本职责
职责：
1.有独立工作能力，工作踏实认真，以及较强的团队协作精神。
2.负责日志大数据平台的搭建和规划;
3.在总体架构设计下，完成日志大数据产品的设计、搭建、维护和调优，技术文档的编写与维护;
4.参与业务日志的大数据分析;
5.及时反馈开发中遇到的难点问题，沟通并寻求解决方案，按阶段有计划地完成开发任务
任职资格:
1、计算机等相关专业本科以上学历，2年以上开发经验;
2、熟悉 linux 操作系统，熟悉 shell 脚本语言，精通 Java，有较强的开发能力;
2、熟练使用SQL，熟悉Mysql、MongoDB、Hive等数据库技术的基本操作及原理;
3、熟悉Hadoop/Spark生态系统组件的使用，至少有1年的Spark(Core/Streaming/SQL)开发经验;
4、熟悉Elastic产品线(如 Elasticsearch、Kafka、Kibana、Logstash)的使用方法，了解常见优化方案，熟悉Elasticsearch部署、监控及性能调优;
5、熟悉数据挖掘、机器学习、网络数据分析等技术优先;
篇3：大数据开发工程师岗位的基本职责
职责：
1. 根据公司业务需求，进行数据开发及报表制作;
2. 参与BI、大数据平台体系建设;
3. 文档整理，包括ER图、原型设计、数据字典整理等;
岗位要求：
1. 本科或以上学历，计算机相关专业，2年及以上工作经验;
2. 熟练使用主流数据库(如ORACLE/PostgreSQL/MYSQL等)，掌握SQL查询优化方法;
3. 熟悉HADOOP生态，能够熟练使用HIVE/HBASE/SPARK进行数据开发;
4. 掌握JAVA或PYTHON，会TABLEAU/KYLIN/帆软等BI工具者优先;
篇4：大数据开发工程师岗位的基本职责
职责：
1. 负责设计和实现手机卫士大数据BI平台;
2. 不断完善数据产品的架构设计，应用开发和新技术迭代;
3. 配合业务，产品，根据不同的业务需求，灵活快速地完成具有挑战性的项目，为业务提供有价值的数据分析和预测。
任职要求
1. 计算机软件相关专业本科及以上学历，至少3年以上工作经验;
2. 认可技术与平台在BI的价值，能够深入业务领域，通过使用数据分析和挖据技术，让业务生成的海量数据产生更大价值。
3. 熟练掌握大数据技术：包括Hadoop，Spark，Storm，Hive，Presto，Parquet，Flink，Druid，OLAP, Elastic Search等等。
4. 具备良好的编程能力和代码风格，熟练掌握Java， Python等语言，熟练使用SQL，并具有较强的优化能力。
5. 需要有很强的开发和架构设计能力，特别是在大数据的分布式和实时处理领域，对存储引擎和查询引擎的原理和优化都具备比较深入的理解。
6. 有一定的数据挖掘和机器学习算法能力，包括推荐系统，深度学习等技术领域 。
7. 拥有正直、积极、宽容的品质，学习能力强，并且善于沟通合作。
篇5：大数据开发工程师岗位的基本职责
职责：
1、负责大数据统计平台建设与优化;
2、负责广告效果分析，反作弊平台建设;
3、负责移动广告平台相关系统的设计研发及持续优化。
职位要求：
1、计算机或相关专业本科学历及以上，2年工作经验;
2、精通大数据采集、处理、存储、查询相关技术;
3、熟悉Hadoop/Hbase/Hive/Spark/Storm/Kafka相关技术;
4、至少熟练掌握 Java/Scala/Python 中一门语言;
5、有做过大数据量查询优化的优先;
6、有大数据服务运维、性能调优者优先;
7、熟悉常用的设计模式，对MVC框架有了解;
8、强烈的责任心，对技术充满热情，高效率，良好的沟通能力。
篇6：大数据开发工程师的基本职责
职责：
1、数字货币领域数据统计分析，负责数字货币量化投资策略的设计、管理以及实际投资运作
2、与交易员对接，制定切实可行的的策略测试计划，开展新策略模型的开发和验证
3、协助交易员进行交易、风险管理，并对实际交易结果进行量化的绩效分析，推动交易自动化
4、上级交办的其他工作
任职要求：
1、数学/计算机/金融专业毕业，有扎实的算法和机器学习的理论基础
2、有量化实盘交易经验，具备丰富的数学建模经验及较强的数据处理能力优先
3、对金融市场的价格波动有独特理解和深入的量化分析，具备一定对冲策略研究经验;
4、对数字货币领域感兴趣，结果导向;
5、有网页抓取和爬虫程序编写经验者优先。
篇7：大数据开发工程师的基本职责
职责：
1、大数据日志分析系统的设计，选型和开发;
2、配合各业务给予数据支持，对产品和运营数据总结和优化;
3、处理用户海量数据，提取、分析、归纳用户属性，行为等信息，完成分析结果;
4、发现并指出数据异常情况，分析数据合理性;
5、公司大数据基础架构平台的运维，保障数据平台服务的稳定性和可用性;
6、大数据基础架构平台的监控、资源管理、数据流管理;
7、基于数据分析的可预测的云平台弹性扩展解决方案。
任职要求：
1、日志分析数据系统实际经验;
2、3年以上互联网行业研发经验，有使用Hadoop/hive/spark分析海量数据的能力;
3、掌握 Hadoop、Flume，Kafka、Zookeeper、HBase、Spark 的安装与调试;
4、熟悉大数据周边相关的数据库系统，关系型数据库和 NoSQL。
5、掌握 Linux 操作系统的配置，管理及优化，能够独立排查及解决操作系统层的各类问题;
6、有良好的沟通能力，具备出色的规划、执行力，强烈的责任感，以及优秀的学习能力。
篇8：大数据开发工程师的基本职责
职责：
1、负责数据分析、加工、清理、处理程序的开发;
2、负责数据相关平台的搭建、维护和优化;
3、负责基于Hadoop/Spark/Hive/kafka等分布式计算平台实现离线分析、实时分析的计算框架的开发;
岗位要求：
1、本科学历须211院校以上，硕士及以上学历不限院校，计算机软件及相关专业
2、熟悉Java和Scala语言、熟悉常用设计模式、具有代码重构意识;
3、熟练使用hadoop、hbase、Kafka、hive、spark、presto,熟悉底层框架和实现原理;
4、使用Spark Streaming和Spark SQL进行数据处理, 并具有SPARK SQL优化经验;
5、需要有至少2年开发经验,有flink开发经验优先;
6、学习能力强，喜欢研究新技术，有团队观念，具备独立解决问题的能力。
篇9：大数据开发工程师的基本职责
职责:
1、负责大数据平台的基础环境搭建与性能优化，完成平台的构建与维护、实时流计算平台、分布式调度、可视化报表等平台的架构与研发;
2、对各种开源框架进行深入的代码剖析和优化;
3、参与大数据技术方案评审;
4、指导初中级大数据工程师工作;
岗位要求:
1、计算机相关专业全日制专科及以上学历，具有3年或以上的分布式计算平台研发工作经验;
2. 对大数据相关组件：Hadoop、Spark、Hbase、Hive、Flink、Kafka、Flume等架构与底层实现有深入理解，具备相应的定制和研发能力，尤其需要精通Flink框架;
3. 具备构建稳定的大数据基础平台的能力，具备数据收集、数据清洗、数据仓库建设、实时流计算等系统研发经验;
4. 对技术有热情，有不错的数据思维和敏感度，有一定的数据分析能力优先，对深度学习、机器学习有一定的了解优先;
5. 工作有计划性，责任心和执行能力强，具备高度的责任心、诚信的工作作风、优秀沟通能力及团队精神。
篇10：大数据开发工程师的基本职责
职责：
1.参与大数据平台搭建以及项目技术架构。
2.数据分析，挖掘，模型具体的产品化;
3.根据产品需求，分析编写和制定大数据相关解决方案
岗位要求：
1、计算机相关专业本科以上学历，编程基础扎实，有2年以上大数据开发经验
2、熟悉Hadoop生态和体系架构，熟悉Flink、Spark，Hive等常用开源工具
3、熟悉Flume，kakfa，scribe等日志收集体系
4、熟悉主流数据库(Oracle、postgresql、Mysql、Sql Server)中的1种及以上，有较好的SQL性能调优经验
5、有数据仓库ETL经验者优先
6、有用户行为日志采集、海量数据处理、数据建模方面经验者优先
7、有持续学习的能力;喜欢开源软件，乐于知识分享;对工作认真负责;可以独立承担较大工作压力
篇11：大数据开发工程师岗位的职责描述
职责：
1、负责异构数据系统和大数据平台的集成与融合;
2、负责数据挖掘算法的设计及对海量数据进行挖掘分析;
3、负责分布式数据仓库平台、海量数据批处理平台、实时数据处理平台等系统开发;
4、参与海量数据处理，业务数据体系的设计、数据统计、分析及数据建模;
5、参与数据平台各系统的性能分析与系统优化，不断提高系统运行效率;
6、完成领导交办的其他任务。
任职资格：
1、计算机及其相关专业，大专及以上学历。两年以上大数据应用经验;
2、具备实时处理框架的设计和开发能力，熟练掌握Storm、Spark streaming等大数据实时处理框架中的一种;
3、熟悉Spark 、R、Hadoop、Hbase、Hive、Elastic Search/Solr等相关技术;
4、熟悉Scala、熟悉Linux开发环境，能进行shell脚本的编写;
5、具有较强的逻辑分析能力，高度的责任心及团队合作精神;
6、具有实际大数据项目的成功经验者优先考虑。
篇12：大数据开发工程师岗位的职责描述
职责：
1、参与南方电网软件产品(项目)前/后台服务开发，要求高性能、高可用、高并发;
2、独立完成产品模块(项目)核心代码开发、业务代码开发、系统性能调优等工作;
3、根据分配任务制定开发计划并按时完成相应模块的设计、开发和单元测试;
4、参与产品(项目)相关系统需求分析以及撰写相关系统设计文档;
要求：
1. 五年左右大数据研发岗位工作经验
2、丰富大数据开发经验：熟悉企业大数据常用技术，熟悉Spark、Flume、Hbase、Hadoop、Kafka，ES技术;
3、具有大型应用系统开发经验，具有分布式、高并发、高性能等架构经验，具有一定团队管理经验者优先;
4、了解J2EE技术平台及主流框架，具有SpingMVC、SpringBoot、Spring cloud、Mybatis、Redis等框架开发经验;
5、了解HTML5,CSS3,JavaScript,Ajax,jQuery等Web前端技术，熟悉jQuery、Bootstrap、AngularJS，VUE等主流前端JS框架中的一种;
大数据开发工程师岗位的基本职责（精选12篇）
