欢迎访问散文集文学网!

大数据架构师岗位职责

佚名 分享 时间: 加入收藏 我要投稿 点赞

人的记忆力会随着岁月的流逝而衰退,写作可以弥补记忆的不足,将曾经的人生经历和感悟记录下来,也便于保存一份美好的回忆。相信许多人会觉得范文很难写?以下是小编为大家收集的优秀范文,欢迎大家分享阅读。

大数据架构师岗位职责篇一

1、负责大数据基础平台、海量数据存储处理分布式平台、数据分析系统架构设计和研发;

2、负责实时计算平台基础架构设计、部署、监控、优化升级;

3、制定项目数据仓库设计及实现规范,指导设计研发和部署;

4、协助策略和算法团队工作,保障数据挖掘建模和工程化;

5、深入研究大数据相关技术和产品,跟进业界先进技术。

任职要求:

1、3年以上大数据系统架构经验;

2、精通hadoop hbase hive spark flink kafka redis技术及其生态圈;

3、具备java scala python等开发经验,熟悉数据挖掘和分析的策略与算法;

4、精通数据抽取,海量数据传输,数据清洗的常用方法和工具。

5、具备良好的系统分析能力、故障诊断能力;

6、有大数据策略、算法、可视化经验优先;

7、有在华为云存储产品和大数据产品的开发使用经验优先。

大数据架构师岗位职责篇二

职责

1、参与打造数据中内容的规划、设计、开发和优化工作,实现高质量数据的互通与共享;

2、参与数据模型体系构建及数据主题设计和开发,搭建离线、实时数据公共层;

3、参与数据产品与应用的数据研发,发掘数据商业价值,打造极致体验的数据产品;

4、深入理解数据产品的使用场景,为业务方在可用性、成本上做更好的设计做参考;

5、团队成员的搭建与培养,任务划分,进度监控,代码规范,质量保证。

任职要求

1、熟悉数据仓库建模理论,3年以上相关领域实践经验;

2、hadoop、hive、hbase、storm、spark等技术框架;

3、精通java、python、scala、go等开发语言中的1到2种;

4、熟练使用python/java/scala或其他语言进行复杂业务逻辑的数据处理工作,具备海量数据处理以及性能优化的能力;

5、对mysql、redis、hbase等数据库有一定的了解和使用经验;

6、对olap,多维分析及kylin熟悉的更好;

7、思路清晰,具备良好的沟通能力和理解能力,较强的学习能力以及快速解决问题的能力;

8、对新技术,新事物有很好的探索和求知欲;

9、熟悉常规的机器学习算法:降维(pca、svd)、svm、逻辑回归(logisticsregression)、决策树(gbdt、randomforest)、关联规则(apriori、fp-growth)、聚类(k-means)等优先。

大数据架构师岗位职责篇三

职责

1、负责公司大数据平台的整体架构设计,包含数据收集、数据存储、数据挖掘、数据输出;

2、负责规划从数据源到数据应用的整体流程,并参与用户产品和数据产品的决策;

3、负责海量数据分析、用户行为分析,构建用户数据模型;

4、负责解决核心技术问题,对技术方案进行决策;

5、技术团队管理。

6、熟悉手机ios、安卓系统app开发

任职资格

1、计算机相关专业毕业,本科以上学历;

2、5年以上相关工作经验,具备软件产品架构设计经验,熟练掌握高性能、高扩展性架构设计方法;

3、熟练掌握java或c++任意一门语言、熟悉linux操作系统;

4、熟悉hadoop/mr/hbase/mahout/spark等大数据技术,并能够基于上述项目开发大数据相关应用;

5、熟悉基本数据挖掘方法和技术;

6、强烈的敬业精神,良好的沟通与协调能力,能有效组织协调团队完成各类开发工作;

7、热爱技术,相信数据的价值,对大数据有深刻的理解。

大数据架构师岗位职责篇四

职责:

1、负责公司的大数据平台的数仓架构、系统架构设计;

2、负责带领团队完成舆情分析相关的挖掘方案设计;

3、负责大数据研发组团队管理;

4、负责带领团队完成舆情平台的方案文档撰写、迭代开发;

5、负责研发规范制定,研究行业前沿技术;

6、参与产品规划及设计讨论。

任职要求:

1、本科五年工作经验及以上,有至少五年的大数据技术实践经验,有nlp或ai相关经验;

2、有很强的架构设计能力和良好的表达能力;

3、有一定的项目管理及团队管理能力;

4、精通hadoop、spark生态圈中的常用组件原理及应用;

6、理解媒体业务,精通数据仓库的规划和设计;

5、精通掌握java或python编程,有性能调优能力;

4、熟悉nlp算法原理及应用;

6、对新生事物或者新技术有浓厚兴趣,学习能力强。

大数据架构师岗位职责篇五

职责:

1、负责规划科技大数据平台及科技数据入库自动化的方案设计;

2、负责大数据平台的开发和维护,以及对外服务接口的开发;

3、负责大数据平台的优化和改进工作。

任职要求

1、计算机相关专业本科及以上学历,5年以上开发经验,其中3年以上为互联网、大数据相关的开发经验;

2、熟知hadoop生态圈体系,精通hadoop/spark/storm/kafka中的一项或几项,深刻理解mapreduce的运行原理和机制,有mpi经验者尚佳;

3、熟悉elasticsearch、redis、hbased等相关数据库的构建和操作,尤其是数据库集群的构建和操作,熟悉neo4j者尚佳;

4、具有机器学习相关项目经验者优先。

大数据架构师岗位职责篇六

职责:

1、负责公司大数据产品的架构设计,包含数据收集、数据存储、数据应用,并完成相关架构设计文档的撰写;

2、参与规划从数据源到数据应用的整体流程,并参与相关产品的决策;

3、负责解决核心技术问题,对技术方案进行决策;

4、负责大数据研发团队建设、人才梯队培养和技术团队管理;

5、积极了解业界发展,研究与跟踪大数据新技术发展方向。

任职要求:

1、精通goldengate for bigdata相关理论,具备大型数据利用的生产实战经验;

2、精通数据驱动的理论,设计并生产上线相关数据驱动的产品;

3、精通常用消息中间件的使用,例如kafka/rocketmq/apache pulsar,有解读相关源码者优先;

4、掌握hadoop、spark生态体系相关产品的使用,掌握mapreduce编程或spark编程;

5、了解传统数据仓库理论及相关etl工具,例如kettle/datastage;

6、熟悉oracle、mongodb、mysql数据库的使用;

7、扎实的java语言基础,熟悉java开发工具和调试工具的使用;

8、良好的团队协作精神,有能力对团队在软件设计、实现和测试方面进行指导;

9、良好的逻辑分析能力和沟通能力,执行力强、对待工作认真严谨、责任心强、具备出色的学习能力和团队合作精神,有一定的推动能力;

10、计算机科学、信息技术或相关领域本科以上学历,具有5年以上数据平台项目开发经验,3年以上的架构设计经验,具有大数据平台应用大型项目架构设计经验优先;

大数据架构师岗位职责篇七

职责:

1. 负责设计企业级大数据平台的整体架构,从技术层面制定清晰的大数据产品与系统技术架构,并负责实现关键技术和产品。

2. 负责设计具有创新价值的大数据底层平台、大数据上层应用系统等,带领团队完成有质变的技术解决方案。

3. 负责组织同事研究行内最前沿的技术发展方向,突破现有的技术难题。

4. 负责研究院对外项目合作协调与支持,编写项目建设方案及后期项目建设支持。

任职要求:

1. 硕士及以上学历,计算机相关专业。

2. java基础扎实,不少于8年的一线开发经验,精通spring boot/mybatis/restful api的开发与管理. 熟悉reactjs/angular/vue之一前端开发技术,熟悉maven或ant.,熟悉python语言开发加分。

3. 不少于4年大数据的直接研发经验,精通hadoop/spark系统,有hands-on的架构设计、性能调优、开发经验。有mongodb、kafka、hbase/cassandra/storm/hive 等系统的开发经验。

4. 掌握分布式系统原理,对分布式存储、流式计算、消息队列中的一项或多项有深入的理解和认识。

5. 熟悉分布式系统的监控、运维、故障恢复,高可用原理和设计理念。

6. 算法基础扎实,熟悉常见的数据结构,掌握大规模高并发访问、大数据开发等处理经验;熟练的linux系统, 网络, 内存和存储等方面知识。

7. 必须要有千万级别的项目管理经验,包括但不限于前期需求沟通,建设方案编写,中期项目实施,进度汇报,后期项目维护。

大数据架构师岗位职责篇八

职责:

1.能够带领技术人员基于hadoop平台进行海量数据应用系统开发;

2.负责结构化和非结构化数据的解析和清洗,海量数据查询和报表展现;

3.负责超大规模数据平台的搭建、维护和优化;

4.负责大数据采集、存储框架研究,参与在线或离线数据存储模型设计;

5.负责大数据平台新技术的开发使用和性能优化,测试。

任职资格:

1.计算机相关专业本科及以上学历;

2. 熟悉hadoop相关各种开源项目,比如hdfs/hive/hbase等有实际应用。(5年以上开发经验者优先);

3.两年以上熟练编写mapreduce代码经验,有三年以上网络日志分析、etl经验。熟悉日志分析框架chukwa,flume,scribe者优先;

4.两年以上海量数据存储的安装部署、优化、二次开发经验,对大规模数据存储、传输、处理等有丰富的经验;

5.在数据挖掘、数据密集型处理、分布式计算、网格计算领域有深入理论基础;

6.具有较强的文档撰写能力,较强的团队精神和合作精神,对工作有热情,能承受压力。

大数据架构师岗位职责篇九

职责:

1. 负责大数据平台的基础技术规划,编制相关规范文档。

2. 负责大数据平台的数据采集,处理,存储以及挖掘分析的架构实现。

3. 负责大数据平台的实际规划建设,包括环境和框架的规划搭建以及部分核心编码工作。

4. 负责大数据相关技术发展方向的预研。

5. 参与业务需求调研,根据需求及行业特点设计大数据解决方案并跟进具体实施项目。

6. 制定大数据平台中数据质量,业务质量监控及管理办法。

岗位要求:

1. 全日制本科及以上学历,5年以上工作经验,4年及以上大数据架构设计经验,熟悉大数据解决方案,包括hadoop平台、spark、storm、机器学习、深度学习等大数据解决方案。

2. 深刻理解大数据处理(流计算、分布式计算、分布式文件系统、分布式存储等相关技术)实现方法。有架构和设计实践经验。

3. 精通大型数据库oracle、sqlserver等的开发。

4. 精通java,python中的一种或多种语言。

5. 熟悉容器、虚拟化、微服务框架等相关技术。

6. 对数据敏感,有严谨的工作思路,良好的沟通能力和团队合作精神。

7. 熟悉r,python,sas、spss等数据挖掘经验者优先。

8. 高宽展性,高性能,和分布式系统的实践及运维经验者优先。

9. 有大型数据仓库实施、大数据平台数据开发经验,熟悉运营商业务者优先。

大数据架构师岗位职责篇十

职责:

1)负责公司软件产品整体架构的设计和关键功能实现

2)负责公司架构长期看护以及优化;

3)负责软件部门各模组间的协调配合;

4)提高巩固软件代码质量;

5)负责大数据流式框架的设计、优化及部署;

6)规划研发部门员工的技术发展路线并提供必要的帮助和指导

任职资格:

1)本科及以上学历,计算机相关专业,5年以上工作经验;

2)频繁换工作,比如一年一个公司,请绕路;

3)3年以上产品架构经验,主导过产品的成功上线;

4)对底层设备通讯协议,b/s系统,手机app开发等都有一定的了解;

5)对各种主流语言c#\java\pathon有一定的了解

5)精通各种大数据架构,并深入研究过其中一种,有storm\kafka等流式实时处理经验为佳

6)能够承担较强的工作压力,有良好的自我驱动能力和责任感;

7)具备优秀的逻辑思维能力、表达能力、沟通协调能力。

大数据架构师岗位职责篇十一

职责

1、负责企业级大数据平台、数据云服务的设计与开发;

2、基于大数据生态圈,支持智慧交通等大数据场景应用实现;

3、负责公司大数据产品的设计、封装与落地;

4、负责学习大数据相关算法研究、实现与应用

任职要求

1、统招本科及以上学历;2年以上智慧城市建设或交通行业信息化相关工作经验,3年以上大数据架构设计、开发经验;

2、精通大数据生态圈的技术,包括但不限于mapreduce、spark、hadoop、kafka、mongodb、redis、flume、storm、hbase、hive,具备源码级问题解决和集群优化改造能力;

3、熟悉常用编程语言,包括java、python、scala等;

4、具有很强的技术研发和创新能力,能有效把握技术发展方向,有较强的执行能力、学习能力、沟通能力、适应能力,责任心强;

大数据架构师岗位职责篇十二

职责:

1、数据分析软件平台架构搭建

2、负责深度学习核心框架或高性能后台服务系统的架构设计工作,包括系统总体规划、架构设计、系统分析、软件实现、性能优化;

3、指导开发人员开发,并解决系统出现的问题,理解物业需求;

4、制定开发计划和控制开发进度,负责指导研发团队开展设计工作;

任职要求:

1、硕士以上,计算机或先关专业;

2、5年左右软件开发经验,含3年以上系统分析、设计经验,有大型软件项目大型软件项目;有中大型互联网企业数据库架构设计及管理经验,

3、 具备良好的组件级建模能力,熟悉http、tcp等协议

4、熟练使用uml进行软件架构设计,至少精通ea,rational, visio等一种设计工具.

5、精通至少一种编程语言,熟悉 linux 相关技术,能独立在上面进行开发、测试和部署

6、深入理解数据库、数据仓库、大数据、分布式体系架构和关键技术

大数据架构师岗位职责篇十三

职责:

根据大数据业务需求,设计大数据方案及架构,实现相关功能;

搭建和维护大数据集群,保证集群规模持续、稳定、高效平稳运行;

负责大数据业务的设计和指导具体开发工作;

负责公司产品研发过程中的数据及存储设计;

针对数据分析工作,能够完成和指导负责业务数据建模。

职位要求:

计算机、自动化或相关专业(如统计学、数学)本科以上学历,3年以上大数据处理相关工作经验;

精通大数据主流框架(如 hadoop、hive、spark等);

熟悉 mysql、nosql(mongodb、redis)等主流数据库,以及rabbit mq等队列技术;

熟悉hadoop/spark生态的原理、特性且有实战开发经验;

熟悉常用的数据挖掘算法优先.

大数据架构师岗位职责篇十四

职责:

1、负责大数据开发团队建设;

2、负责行业大数据产品架构设计与研发;

3、负责带领团队进行行业大数据产品关键技术攻关。

任职要求:

1、有三年以上大数据应用、开发经验;具备海量数据加工处理(etl)相关经验,对数据挖掘及机器学习有较为深刻的理解;

2、熟悉hadoop相关技术,对hdfs、mapreduce、hive、hbase有一定的使用和开发经验;

3、熟悉linux,熟练使用shell或python,进行脚本编写;

4、对数据结构和数据统计分析算法有较为深刻理解;

5、掌握至少一种主流关系数据库开发技术:oracle、sql server、mysql等;

6、掌握实时流计算技术,有spark、storm开发经验者优先;

7、需要具备2年以上研发团队管理经验。

大数据架构师岗位职责篇十五

职责:

1.负责公司大数据底层框架的整体架构设计,结合公司实际业务情况进行技术选型及大数据战略规划;

2.负责统一数据平台项目的整体评估、设计、架构及关键模块的开发,不断提升系统的稳定性和效率;

3.负责架构优化及系统关键模块的设计开发,协助团队解决开发过程中的技术难题;

4.建立良好的公司内外的业界技术影响力;有效辅导团队,提升数据研发能力;

任职要求:

1.从事大数据项目相关开发和设计2年以上经验;有作为技术负责人系统化解决问题的成功案例;有海量数据实践经验优先;

2.拥有一定的算法和数据结构基础;有很强的数据设计抽象能力,善于从复杂的数据问题中找到关键路径;

3.熟悉目前正在发展的大数据分布式平台前沿技术的应用;包括但不仅仅限于:hadoop、storm、spark、等;

4. 良好的逻辑思维能力,良好的业务解读能力,懂电力或通信业务优先;

5.具有钻研精神,乐于接受挑战;

大数据架构师岗位职责篇十六

职责:

1、负责规划大数据平台及应用产品的需求和技术方案设计;

2、负责数据对接和对外服务设计、开发和维护,并能保证质量和性能;

3、负责基于大数据平台的应用设计、开发和维护;

4、能从系统全局和各子系统的角度思考可能存在的问题,并提出改进方案建议;

任职要求:

1、大学本科6年以上工作经验,计算机相关专业。

2、至少4年以上的java开发经验,3年以上大数据应用系统的开发和设计经验。

3、熟悉hadoop生态圈技术体系, 对离线计算、内存计算和流式计算均有深刻理解, 如hadoop、storm、spark三个中的任意二个, 能进行平台和组件优化。

4、精通hive、hbase仓库设计,深刻理解mr运行原理和机制,能进行以提供高任务执行效率的优化。

5、精通java开发,熟悉jvm调优, 对gc有深刻理解。

6、熟悉linux、shell、kafka、oracle、mysql、redis等相关技术, 能进行hbase可靠性诊断和维护。

7、快速研究和学习技术能力。

大数据架构师岗位职责篇十七

职责:

1. 负责大数据基础和应用平台的整体规划和架构设计,参与需求分析,架构设计,详细设计以及技术选型决策

2. 参与数据挖掘和建模相关核心算法的代码实现

3. 负责大数据算法平台的技术把关,性能调优,控制架构质量,解决项目技术难题;对研发项目和任务需求进行评估和方案设计、拆分任务并指导工程师完成开发

4. 带领团队提供并实现大数据算法平台上各项数据接入、数据挖掘分析及数据可视化的架构设计与能力,支持解决方案实施

5. 负责数据库设计、应用架构设计、核心技术选型等工作

6. 协调解决开发中的技术问题、设计和监控运营指标,保障系统稳定运行

7. 培养,指导有能力的员工,指导工程师进行技术验证实现,核心技术攻关,解决开发过程中的技术难题

任职要求:

1. 熟悉大数据和数据仓库的系统架构设计方法

2. 熟练使用并理解hadoopspark架构及生态。(hadoop,hive,hbase,elasticsearch,kafka,sparkflink等)

3. 熟悉分布式系统架构,有分布式实时、离线和机器学习平台的架构和开发经验,具备海量数据清洗、分析处理及存储的实践经验

4. 熟练使用java,具有大规模分布式系统调优经验

5. 熟悉ai相关算法,熟悉机器学习、深度学习。熟悉ai学习开源框架(tensorflow、pytorch等)者优先;

6. 具备良好的团队合作精神,对工作充满激情。

7. 熟悉fusioninsight平台开发经验者优先

大数据架构师岗位职责篇十八

职责:

1.负责企业数据中心建设,设计数据逻辑模型和物理模型,并完成相关开发

2.梳理公司各业务线常用的指标和维度,统一指标定义口径

3.根据数据应用开发和数据分析需求,设计数据仓库信息层模型,提高数据开发的效率

4.负责数据模型的运营和优化,及时响应业务逻辑变更,保证模型的数据质量和稳定性

5.负责公司数据标签体系的建设,并推动标签体系在实际业务场景中落地

岗位要求:

1.5年以上dw/bi数据架构设计、模型设计和性能调优等相关经验

2.有较强的数据分析能力,精通数据仓库架构,熟悉erwin或powerdesigner建模工具

3.精通一种主流关系数据库(如mysql等),熟悉hive开发

4.有电商业务经验,元数据管理,数据质量管理或标签体系搭建经验者优先

5.优秀的协调沟通与团队协作能力,极强的责任心,能承受一定的工作压力,认同企业文化和团队价值

大数据架构师岗位职责篇十九

职责:

1、负责大数据平台架构的规划与设计;

2、负责大数据平台技术框架的选型与技术难点攻关;

3、参与企业级大数据产品和应用规划;

4、研究跟进大数据架构领域新技术并分享;

5、大数据处理和分析应用平台的设计指导。

任职资格:

1、 具备深厚的分布式系统或数据库系统的理论基础,熟悉分布式计算系统的工作机制,具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;

2、熟悉bi平台架构及相关项目标准,大数据解决方案包括hadoop、spark、storm、机器学习等大数据平台解决方案;

3、熟悉mysql/postgresql/oracle/mongodb/redis等主流数据数据库;

4、 精通linux/unix环境,精通j java、scala、python、r中的一种或多种语言;

5、 具备优秀的团队意识和沟通能力,学习能力和主动性强,具有钻研精神,充满激情,乐于接受挑战;

6、大专及以上学历,3年及以上工作经验。

大数据架构师岗位职责篇二十

职责:

1、大数据平台架构规划与设计;

2、负责大数据平台技术框架的选型与技术难点攻关;

3、能够独立进行行业大数据应用的整体技术框架、业务框架和系统架构设计和调优等工作,根据系统的业务需求,能够指导开发团队完成实施工作;

4、负责数据基础架构和数据处理体系的升级和优化,不断提升系统的稳定性和效率,为相关的业务提供大数据底层平台的支持和保证;

5、培养和建立大数据团队,对团队进行技术指导。

任职要求:

1、计算机相关专业的背景专业一类院校毕业本科、硕士学位,8年(硕士5年)以上工作经验(至少拥有3年以上大数据项目或产品架构经验);

2、精通java,j2ee 相关技术,精通常见开源框架的架构,精通关系数据库系统(oracle mysql等)和nosql数据存储系统的原理和架构;

3、精通sql和mapreduce、spark处理方法;

4、精通大数据系统架构,熟悉业界数据仓库建模方法及新的建模方法的发展,有dw,bi架构体系的专项建设经验;

5、对大数据体系有深入认识,熟悉kafka、hadoop、hive、hbase、spark、storm、greenplum、es、redis等大数据技术,并能设计相关数据模型;

6、很强的学习、分析和解决问题能力,可以迅速掌握业务逻辑并转化为技术方案,能独立撰写项目解决方案、项目技术文档;

7、具有较强的内外沟通能力,良好的团队意识和协作精神;

8、机器学习技术、数据挖掘、人工智能经验丰富者优先考虑;

9、 具有能源电力行业工作经验者优先。

73769
领取福利

微信扫码领取福利

微信扫码分享