“penser”通过精心收集,向本站投稿了17篇大数据架构师岗位的基本职责,下面就是小编给大家带来的大数据架构师岗位的基本职责,希望大家喜欢,可以帮助到有需要的朋友!
- 目录
篇1:大数据架构师岗位的基本职责
职责:
1、负责自然语音交互、IOT家电物联控制、知识图谱等相关模块和系统的开发;
2、负责掌握第三方接口的调用和功能实现,持续优化服务性能和容量,并保证产品的兼容性和执行效率;
3、根据设计文档和需求说明完成代码编写、调试、单元测试与维护,确保项目进度和质量;
4、协助制定测试计划,及时发现并修复BUG,实现服务端的性能优化。
任职资格:
1、大学本科3年以上工作经验,计算机相关专业;
2、熟悉软件项目开发流程,具有良好编码风格及文档编写能力;
3、熟悉Linux服务器相关技术,能够独立完成服务器部署,具有相关经验;
4、熟悉Hadoop/Spark框架,JAVA基础扎实;
5、熟练使用Mysql数据库,了解MongoDB或neo4j等分布式数据库;
6、熟悉SpringCloud,SSM,Docker,redis开发者优先;
7、熟悉前端(包括但不限于Html5、css、Angularjs、ajax、jquery等)开发技术优先;
8、了解Socket网络编程、MQTT等,有相应实践经验者优先;
9、有智能语音语义、知识图谱服务端开发经验者优先。
篇2:大数据架构师岗位的基本职责
职责:
负责公司大数据产品架构的设计与实现;
配合大数据产品经理完成产品的快速研发与交付;
负责大数据产品架构的持续优化设计;
负责大数据产品核心组件设计;
负责大数据相关数据架构规划、数据建模、数据库设计以及大数据产品研发工作;
为应用开发团队提供技术支撑。
任职要求:
本科及以上学历,3年以上的大数据开发经验、
2年以上大数据架构设计经验;
丰富的JAVA研发经验,精通JAVA,熟悉Python Scala等编程语言;具备深厚的分布式系统或数据库系统的理论基础,熟悉分布式计算系统的工作机制,具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;
熟悉整个大数据的完整处理流程(数据的采集、清洗、预处理、存储、分析挖掘、机器学习和数据可视化);
精通各种大数据相关技术体系:Hadoop、Spark、Storm、ElasticSearch、Kafka;
有数据挖掘、机器学习相关应用或研究背景;
沟通能力较好,积极主动意识较强,责任心较强。
篇3:大数据架构师岗位的基本职责
职责:
1、负责大数据项目或产品中架构设计、数据仓库公共层与应用层建模;
2、负责大数据项目或产品中业务需求的需求理解、数据指标维度需求梳理、数据探查和分析,指导技术团队进行工作;
3、负责大数据项目中的具体技术管理工作,完成验收目标。
4、发现并解决数据质量问题,推动整体数据质量提升。
任职要求:
1、计算机相关专业,3年以上数据研发与数据仓库相关开发经验;
2、熟练掌握维度建模方法,有大型数仓构建经验优先;
3、精通Oracle/DB2/Teradata等主流数据库编程,有较好的SQL性能调优经验;
4、扎实的编程基础和动手能力,精通至少一门编程语言,有大数据、分布式开发经验尤佳;
5、有良好沟通协调能力,有带领小团队或项目管理工作经验;
6、具备很强的责任心,做事细致、严谨,同时需要具备较强的沟通和学习能力,能快速理解行业的需求,对农业等行业数据应用有经验者优先;
7、能够接受出差。
篇4:大数据架构师岗位的基本职责
职责:
1、负责大数据项目技术架构评估与设计;
2、负责关键功能的开发,技术难题的解决,以及输出代码的关键把控;
3、负责对使用关键技术的预研和选型,完成PoC;
4、指导工程师完成开发工作,并能分享技术经验。
任职要求:
1、3年以上相关工作经验,其中具有1年以上架构设计经验
2、熟悉商业智能系统相关技术,如 ETL、数据仓库、OLAP开发;
3、精通设计模式,熟悉面向服务架构(SOA)以及其它常用软件架构思想,有SOA方案设计、开发实施的实际经验,要具备实际的服务规划、服务粒度划分经验;并且要善于设计可重用组件和可定制化产品。
4、相关技术栈:Java /Scala/Flume/Hive/Kafka/HBase/ Spark/Storm/Redis;
5、有扎实的计算机基础,熟悉Java等编程语言;
篇5:大数据架构师岗位的基本职责
职责:
1、负责大数据平台架构的评估、规划和设计 ;负责海量数据采集、处理及存储、应用方案的技术选型及架构实现;
2、开发大数据平台的核心代码,负责大数据平台的搭建,完成系统调试、集成与实施,技术难题的解决,保证大数据产品的上线运行 ;
3、根据业务需求持续优化数据架构,保证产品的可靠性、稳定性 ;
4、指导开发人员完成数据模型规划建设,分析模型构建及分析呈现 ,分享技术经验;
5、负责大数据平台的架构评审,代码评审,上线评审;参与数据应用需求、设计、审核和评审;
6、深入研究大数据相关技术和产品,跟进业界先进技术;
任职资格:
1.本科及以上学历,数学或计算机相关专业毕业,不少于5年的工作经验,具有扎实的计算机基础理论知识;
2.有3年以上Hadoop、Spark、Hbase平台性能调优经验;熟悉sparkstreaming等实时计算技术
3.熟悉hive、hbase、storm、mahout、flume、ElasticSearch、Spark、Kafka等,具备实际项目设计及开发经验;
4.熟悉sparkstreaming等相关的实时计算技术;
5.熟悉大规模数据挖掘、机器学习、自然语言处理、分布式计算中一项或多项技术,并具备多年的实际工作经验;
6.熟悉主流关系型数据库(Oracle、MySql)、NoSql数据库,熟悉pl/sql编程;精通Linux操作系统,熟练使用Java;熟悉常用框架.如Spring、MyBatis等;
7.具有较强的执行力,高度的责任感、很强的学习、沟通能力,能够在高压下高效工作;
篇6:大数据架构师的基本职责
职责:
1.负责整个大数据平台架构的设计和构建;
2.负责构建大数据平台的数据交换、任务调度等通用平台;
3.制定开发、测试、实施、维护的标准和规范,指导和培训工程师,不断提升团队能力。
4.参与系统需求分析、架构设计、技术选型、应用设计与开发以及测试与部署,负责编写核心部分代码。
5.持续挑战新的技术方向,攻克大数据量、高并发、高可用、可扩展等技术难点。
任职要求:
1.3年以上大数据架构经验,丰富的数据仓库、数据挖掘、机器学习项目经验
2.大规模数据处理的架构和设计实战经验
3.精通Spark、MR,熟练HDFS、Yarn、Hbase、Hive、MongoDB,熟悉Kafka、Redis、Storm、Mahout、Flume、ElasticSearch、GraphDB(NEO4J或其他)等,并具有丰富的大型数据平台工程经验
4.深刻理解大数据处理(流计算,分布式计算,分布式文件系统,分布式存储等)相关技术和实现方法
5.熟悉主数据、元数据、数据质量等企业数据管理相关的体系和方法,熟练Linux/Unix平台上的开发环境
6.本科或以上学历,计算机软件或相关专业,丰富的java开发经验和互联网背景优先。
7.具有比较强的问题分析和处理能力,有比较优秀的动手能力,热衷技术,精益求精
篇7:大数据架构师的基本职责
职责:
1. 深刻理解政府行业业务模式,构建政府行业的数据模型,制定公司大数据技术发展路线;
2. 对接业务研究和技术部门,主动搜集和转化需求,组织数据中心业务开发,进行数据相关产品需求分析和设计;
3. 搭建数据仓库,研发数据库管理系统,搜集、提取、处理业务积累的海量数据,开展数据分析和挖掘;
4. 根据公司战略和发展需要,规划数据中心重点工作和任务;落实部门人员、事务管理,开展跨部门、跨地区协作,协助对外交流与合作。
职位要求:
1. 5年以上相关工作经验,有团队管理和项目管理经验者优先;
2.了解政府运作机制,掌握财政行业知识,有电子政务行业经验者优先;
3. 熟练掌握使用Java或Python,精通数据库查询语言如SQL,Oracle等,在机器学习模型和算法方向有应用经验者优先;
4. 具备数据中心产品策划整体思维,有大数据处理、分析、挖掘经验者优先;
5. 逻辑思维严密,具备业务抽象、分解和标准化的能力,口头和书面表达优秀;
6. 有较强的大局意识和良好的团队合作意识,富有领导力,具备优秀的人际交往和沟通能力。
篇8:大数据架构师的基本职责
职责:
1、负责大数据平台的架构设计、核心代码开发等任务;根据项目要求编写相关技术文档;
2、负责大数据平台的架构评审,代码评审,上线评审;参与数据应用需求、设计、审核和评审;
3、负责核心模块研发,负责大数据平台的搭建,完成系统调试、集成与实施;
4、负责建立和维护大数据平台技术标准规范,指导开发人员编写代码;
任职要求:
1、本科及以上计算机相关专业毕业;
2、精通离线和实时数据处理流程,掌握离线数据处理框架hive、impala、spark-sql等,掌握实时数据处理常用技术工具,包括Storm、SparkStreaming等;
3、熟悉大数据技术生态圈,精通大数据技术架构,有大数据平台构建经验;
4、掌握常见数据流接入工具,包括Flume、kafka等;
5、熟练掌握基本的Linux操作系统和某种脚本语言编程(如Shell等);
6、掌握一种或以上实时处理语言,如JAVA、SCALA、PYTHON等,有SCALA经验者优先;
7、有实际大规模数据(TB级以上)处理经验优先;
篇9:大数据架构师的基本职责
职责:
1、从事电信行业大数据项目相关业务调研、产品标准建设、核心模型设计和优化、系统测试等相关工作
2、与数据专业委员会一起研究数据建模方案和建模工具,负责产品线产品的数据架构、数据模型设计
3、参与研究数据库之间的数据转换方式,参与项目中的数据移植工作,收集在项目中的数据移植经验,优化产品的数据模型
4、负责培训本部门队伍的数据模型基础理论工作,建立数据模型团队
岗位要求:
1、统招本科学历,3年以上主流数据上(DB2、Oracle、SQLServer、Mysql等)ETL设计、开发经验,具备大型数据仓库逻辑模型和物理模型设计经验,精通SQL,有较好的SQL性能调优经验;
2、拥有Python,R等数学建模工具的使用经验,并具备一定的数据处理和建模经验,可以输出相应的模型分析结果、模型比较、模型效率以及对模型的理论和判断依据方法并对其进行完整的解释和说明;
3、熟悉统计学基本原理,做过实战的数据建模项目;
4、有分布式数据仓库建设相关经验者优先,具备电信行业数据仓库建设相关经验者优先;
篇10:大数据架构师的基本职责
职责:
1、负责公司的大数据处理框架的研发设计工作,梳理可实现方案和技术规范;
2、开发、完善公司大数据平台;参与公司离线、实时大数据处理系统的设计、开发、测试及多个业务模块的自动化集成;
3、负责业务平台数据统计分析模块的设计与规划;
4、负责公司产品研发过程中的数据及存储设计;
5、带领和培养团队完成组织分解的目标;
任职要求:
1、统招本科及以上学历,计算机、软件工程相关专业,至少8年以上工作经验,5年以上大数据开发经验;
2、熟悉Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相关技术的基础架构
3、熟悉数据仓库,数据算法,分布式计算技术理论,具有大数据整体系统架构设计经验;
4、熟悉Linux系统,熟练使用shell/perl/python脚本处理问题;
5、对深度学习框架(Tensorflow)和机器学习(svm 随机深林贝叶斯等)有一定了解的优先;
6、能够组织项目开发组协同工作,包括团队沟通、计划、开发环境管理等
篇11:大数据架构师岗位的工作职责
职责:
1.负责数据仓库建设,基于数据驱动构建企业级数据模型,根据架构设计进行各层数据模型开发。
2.面向PB级别超大规模数据处理和查询需求,设计适合业务变化的合理的多维数据分析系统架构,满足多样性需求。
3.构建设计良好的数据流、调度系统、查询引擎、监控系统,保证系统稳定高效运行,以实现数据的最大价值。
4.指导团队成员开展数据仓库建设。
5.参与重点项目的评审,参与企业数据管理体系建设。
任职要求:
1.统招本科及以上学历。
2.从事数据仓库领域至少5年以上,熟悉数据仓库模型设计与ETL开发经验 ,掌握Kimball的维度建模设计方法,具备海量数据加工处理(ETL)相关经验 。
3.具有一定数据模型和数据架构基础,熟悉hadoophive和常用数据库。
4. 精通SQL,有一定的SQL性能调优经验,熟悉hive sql的开发。
5.具有管理团队开发经验,具备良好的组织能力、协调能力及项目管理能力。
6.具有较好的文字功底及语言表达能力,能够快速、准确地理解需求。
7.具有专研、快速学习和创新精神,具备独立分析问题和解决问题的能力。
8.具有责任心,时间观念强,工作独立性强,有良好的团队合作精神。
9.全日制普通本科毕业。
篇12:大数据架构师岗位的工作职责
职责:
1、负责大数据平台架构的规划与设计;
2、负责大数据平台技术框架的选型与技术难点攻关;
3、参与企业级大数据产品和应用规划;
4、研究跟进大数据架构领域新技术并分享;
5、大数据处理和分析应用平台的设计指导。
任职资格:
1、具备深厚的分布式系统或数据库系统的理论基础,熟悉分布式计算系统的工作机制,具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;
2、熟悉BI平台架构及相关项目标准,大数据解决方案包括Hadoop、Spark、Storm、机器学习等大数据平台解决方案;
3、熟悉MySql/Postgresql/Oracle/MongoDB/Redis等主流数据数据库;
4、精通Linux/Unix环境,精通J java、scala、python、R中的一种或多种语言;
5、具备优秀的团队意识和沟通能力,学习能力和主动性强,具有钻研精神,充满激情,乐于接受挑战;
6、大专及以上学历,3年及以上工作经验。
篇13:大数据架构师岗位的工作职责
职责:
1. 规划设计大数据平台整体架构,规划各种组件,并且指导技术团队完成相关系统验证、安装、部署、配置;
2. 负责制定大数据平台技术规范和接口规范,指导研发团队按照规范进行系统开发;
3. 配合商务人员完成售前技术支持工作;
4. 完成其他与数据应用有关的技术工作;
任职要求:
1. 计算机相关专业本科学历,5年以上工作经验;
2. 对大数据技术栈有非常深刻的了解;具备架构设计的实际经验;
3. 对信息安全架构设计及实施有一定的经验;
4. 熟悉Linux、Windows等操作系统的安装配置;
5. 熟悉互联网应用的安装配置;熟悉常见大数据技术栈组件的安装配置;熟悉Visio等绘图工具的使用;
6. 有卫生信息化建设经验者优先;有容器安装部署经验者优先。
篇14:大数据架构师岗位的工作职责
职责:
1.能够带领技术人员基于hadoop平台进行海量数据应用系统开发;
2.负责结构化和非结构化数据的解析和清洗,海量数据查询和报表展现;
3.负责超大规模数据平台的搭建、维护和优化;
4.负责大数据采集、存储框架研究,参与在线或离线数据存储模型设计;
5.负责大数据平台新技术的开发使用和性能优化,测试。
任职资格:
1.计算机相关专业本科及以上学历;
2. 熟悉hadoop相关各种开源项目,比如HDFS/Hive/Hbase等有实际应用。(5年以上开发经验者优先);
3.两年以上熟练编写mapreduce代码经验,有三年以上网络日志分析、ETL经验。熟悉日志分析框架chukwa,flume,scribe者优先;
4.两年以上海量数据存储的安装部署、优化、二次开发经验,对大规模数据存储、传输、处理等有丰富的经验;
5.在数据挖掘、数据密集型处理、分布式计算、网格计算领域有深入理论基础;
6.具有较强的文档撰写能力,较强的团队精神和合作精神,对工作有热情,能承受压力。
篇15:大数据架构师岗位的工作职责
职责
1、负责企业级大数据平台、数据云服务的设计与开发;
2、基于大数据生态圈,支持智慧交通等大数据场景应用实现;
3、负责公司大数据产品的设计、封装与落地;
4、负责学习大数据相关算法研究、实现与应用
任职要求
1、统招本科及以上学历;2年以上智慧城市建设或交通行业信息化相关工作经验,3年以上大数据架构设计、开发经验;
2、精通大数据生态圈的技术,包括但不限于MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具备源码级问题解决和集群优化改造能力;
3、熟悉常用编程语言,包括Java、Python、Scala等;
4、具有很强的技术研发和创新能力,能有效把握技术发展方向,有较强的执行能力、学习能力、沟通能力、适应能力,责任心强;
篇16:大数据架构师的职责
职责:
1、负责大数据基础平台、海量数据存储处理分布式平台、数据分析系统架构设计和研发;
2、负责实时计算平台基础架构设计、部署、监控、优化升级;
3、制定项目数据仓库设计及实现规范,指导设计研发和部署;
4、协助策略和算法团队工作,保障数据挖掘建模和工程化;
5、深入研究大数据相关技术和产品,跟进业界先进技术。
任职要求:
1、3年以上大数据系统架构经验;
2、精通Hadoop HBase Hive Spark Flink Kafka Redis技术及其生态圈;
3、具备Java Scala Python等开发经验,熟悉数据挖掘和分析的策略与算法;
4、精通数据抽取,海量数据传输,数据清洗的常用方法和工具。
5、具备良好的系统分析能力、故障诊断能力;
6、有大数据策略、算法、可视化经验优先;
7、有在华为云存储产品和大数据产品的开发使用经验优先。
篇17:大数据架构师的职责
职责:
1、负责公司的大数据平台的数仓架构、系统架构设计;
2、负责带领团队完成舆情分析相关的挖掘方案设计;
3、负责大数据研发组团队管理;
4、负责带领团队完成舆情平台的方案文档撰写、迭代开发;
5、负责研发规范制定,研究行业前沿技术;
6、参与产品规划及设计讨论。
任职要求:
1、本科五年工作经验及以上,有至少五年的大数据技术实践经验,有NLP或AI相关经验;
2、有很强的架构设计能力和良好的表达能力;
3、有一定的项目管理及团队管理能力;
4、精通Hadoop、Spark生态圈中的常用组件原理及应用;
6、理解媒体业务,精通数据仓库的规划和设计;
5、精通掌握Java或Python编程,有性能调优能力;
4、熟悉NLP算法原理及应用;
6、对新生事物或者新技术有浓厚兴趣,学习能力强。
大数据架构师岗位的基本职责(精选17篇)




