大数据运维工程师岗位职责 大数据是运维工程师(20篇)

无论是身处学校还是步入社会，大家都尝试过写作吧，借助写作也可以提高我们的语言组织能力。大家想知道怎么样才能写一篇比较优质的范文吗？下面是小编为大家收集的优秀范文，供大家参考借鉴，希望可以帮助到有需要的朋友。

1、负责hadoop平台搭建，运维，管理，故障处理。

2、负责保障大数据平台的高效运转、提升系统稳定性和安全性。

3、对平台的hadoop，hbase，kafka，hive等进行优化。

4、建立hadoop集群管理和维护规范，包括版本管理和变更记录等。

岗位要求:

1、有丰富的hadoop生态系统的运维经验，了解hadoop、storm、spark、kafka这些组件的原理，具备部署、实施、维护hadoop 及相关组件的能力;

2、至少精通 perl/python/shell脚本语言中的一种;

3、掌握linux操作系统的配置，管理、优化以及各种常用命令，能够独立排查及解决操作系统层的各类问题;

4、分析问题能力优秀，善于从各种系统、应用日志中寻找出问题的原因。

5、有独立分析问题和解决问题的能力，能出差。

职责:

1、技术保障各底层支撑系统的可靠性与稳定性;

2、负责车辆网平台的运行监控的解决方案编制、实施与二次功能开发;

3、负责技术文档手册编写，更新，经验总结沉淀，培训分享;

4、负责对新技术和方案进行调研，评估和引进，用技术去提升运维生产效率

任职资格:

1、熟悉常见的应用服务部署和调优(nginx、mysql、redis、mongodb、elk，hadoop等)，熟悉高可用集群、负载均衡集群的规划与搭建;

2、熟练使用linux、tcp/ip网络协议栈，了解常用的troubleshooting手段和常见性能指标

3、具有车联网平台运维的经验，精于容量规划、架构设计、性能优化;

4、熟悉主流paas云产品的使用，具有运维平台开发经验者、参与过开源产品的开发者优先;

5、优秀的沟通能力，出色的学习与钻研能力，良好的问题分析与解决能力;

6、对行业技术敏感度高且细致，善于思考，乐于发现，对解决具有挑战性问题充满激情。

职责：

1.负责hadoop、spark、hbase、oozie、hive等平台运营和优化工作，保障平台服务运行稳定、高效。

2.负责大数据方案架构及方案落地;

3.开发hadoop大数据管理平台与监控建设;

3.负责hadoop平台部署、维护;生产问题、告警、故障处理及服务器维护、日常值班;

4.负责集群网络架构、机器管理等。

任职资格：

1. 全日制本科以上学历，三年以上后台系统运营工作经验;

2. 熟悉hadoop原理，具有hadoop平台应用及管理经验，熟悉hadoop、hive、spark、hbase、oozie、druid、kylin、flink等开源项目及部署、维护、调优;

3. 熟悉linux操作系统及调优;熟悉sql编程，熟悉shell/python/java/perl语言的一种或多种，有开发经验优先， 熟悉nagios,cacti,ganglia,zabbix,zenoss优先;

4. 对大数据和自动化运维开发有浓厚兴趣，有大规模hadoop运维经验者优先;有hadoop/hbase/spark/hive 开发经验者优先。

职责：

1. 负责大数据平台的稳定性和性能优化;

2. 负责大数据项目的运维工作;

3. 针对业务需求制定统一的运维解决方案;

4. 完善自动监控报警系统，对业务层面关键指标进行监控与报警通知;

任职要求：

1、熟练掌握hadoop平台搭建、维护，有平台优化经验;

2、熟悉hdfs、hive、spark、hbbase、kafka、flume等组件的原理，有阅读源码能力者优先;

3、熟悉腾讯云产品，有腾讯云emr使用经验者优先考虑;

4、熟练掌握java、python语言，熟练使用sql，并有一定的优化能力

职责：

1、负责维护服务器的运行，包括巡检、故障排除、数据备份等业务，保证服务器高质量、高效率运行状态;

2、负责服务器漏洞整改及补丁升级;

3、负责hadoop运维相关工作;

4、负责大数据平台的日常部署、升级、扩容、迁移;

5、负责高并发，大存储和实时流的hadoop/spark大数据平台规划，运维，监控和优化工作。

任职资格：

1、2年左右服务器运维经验;

2、对linux基础运维命令熟悉，shell,python至少精通一种，如会scala语言可优先考虑;

3、熟悉linux的维护和管理，熟悉bat及shell脚本开发，能看懂python/scala优先;

4、做过大规模hadoop集群优先;

5、大数据项目：包括不限于hadoop、hive、kafka、hbase、spark、kudu、impala等大数据生态的平台搭建，监控，运维，调优、生产环境hadoop集群trouble shooting 、hadoop版本升级管理及优化支持。

职责：

1. 负责公司自研产品上线，包括整体上线方案讨论与制定、各事项准备、产品实施与部署以及上线方案涉及工具的优化等;

2. 负责运维公司线上产品，7x24小时运维预警、监控，处理客户在产品使用过程中遇到的问题;

3. 负责公司自研产品的日常维护，包括版本发布、应用问题排查、系统部署与配置、网络端口策略、资源服务器管理;

4. 根据工作要求，输出运维相关的技术文案。

岗位要求：

1.统招全日制专科以上，计算机相关专业，5年以上同岗位工作经验，同时具备应用平台运维、系统实施运维、linux运维、网络管理运维等多种经验者优先考虑;

2.精通linux命令grep、sed、awk、xargs、scp、tar等，具有批量查找和修改文件内容操作经验;能熟练使用shell/ant/python脚本，具备编写脚本代码者优先;

3.熟悉apache、jboss、tomcat、oracle等中间件，熟悉apache、jboss/tomcat集群配置和管理，具备中间件故障排查、性能诊断与分析等能力;

4.精通jenkins、git、svn软件，对软件操作与命令熟悉有丰富经验;

5.对java面向对象编程产品有一定了解，熟悉java风格的log日志文件格式，能从日志中快速定位问题发生的位置，并开展问题排查;

6.熟悉网络原理，懂得划分子网与路由信息，熟悉f5等网络相关知识;

7.公司会定期组织行业知识、业务需求、平台架构、运维规范及运维内容相关培训，并进行考核。

8.良好文字功底及沟通协调能力，强烈的责任心和团队合作意识，稳定的心理素质，能承受高强度工作压力。

职责：

1、 运维平台开发/搭建/维护,包括cmdb、发布平台、监控平台、工具平台等;

2、 研发自动化运维工具;

3、 研发基础服务组件，减少重复开发与运维;

4、 服务器的规划、监控，数据备份，日志分析，故障排除，性能调优等工作;

任职要求：

1、3年以上互联网运维开发经验

2、熟悉python语言，django/flask等常用的web框架原理，javascript，并至少熟悉angularjs、reactjs、、boostrap等框架中的一种。

3、熟悉nginx、ansible、git、jenkins、openfalcon、gitlab等工具使用。

4、熟悉docker和常用编排框架 swarm和k8s并有生产系统实践经验优先。

5、熟练掌握常用关系型数据库使用和优化，如mysql

职责：

1、负责集团客户应用系统底层环境的搭建和运维(包括线下系统及云平台环境);

2、对操作系统、数据库以及相关应用系统的维护和优化;

3、参与客户系统平台升级，负责相关系统环境的搭建和测试;

4、负责客户数据库的备份、管理及监控，跟踪处理系统异常数据，及时发现潜在问题，保障系统正常运行。

岗位要求：

1、本科及以上学历(计算机、通信或相关专业)，五年及以上相关工作经验;

2、精通windows，linux系统管理和维护;

3、熟悉vmware vsphere和esxi host的配置和管理;

4、熟悉oracle db，具备ocp认证者优先;

5、能独立完成oracle/sql server的备份恢复，了解相关的性能调整和故障诊断;

6、能适应江浙沪范围内的短途出差。

职责：

1. 业务平台的日常管理和维护。

2. 服务器的配置、维护、监控、调优，相关故障、疑难问题排查处理。

3. 应用系统性能优化。

4. 保障服务器与业务平台安全，检查并消除安全漏洞。

5. 设计业务平台和服务器可靠性保障方案、升级方案。

任职要求：

1. 3年以上在线系统运维工作经验，精通linux系统及常见服务的安装配置，熟悉常见的负载均衡实现方案并有实际实施经验。

2. 精通apache、nginx、mysql等常用服务的安装、配置和维护。

3. 精通和灵活运用一种以上的脚本语言，包括但不限于：shell、python等。

4. 能够熟练排查运维过程中出现的服务故障、系统故障、网络故障。

5. 高度的责任感，较强的故障分析及排除能力，善于在工作中学习，能够承受工作压力，能适应短期出差和加班。

6. 优先考虑：精通lamp架构，熟悉php，有相关大中型在线系统开发及维护经验。

职责：

1、负责日常公司已交付项目的管理维护，保障系统的稳定运行;

2、负责相关故障、疑难问题排查处理，编制汇总故障、问题，定期提交汇总报告;

3、依照项目实际情况进行简单的编程实现特殊业务需要 ;

4、对工作认真负责，并能承受一定的工作压力 。

任职资格：

1、具有2年以上相关工作经验，能熟练使用c#进行代码编写和调试;

2、具备优秀的计算机软、硬件知识，能够快速判断软、硬件故障并且提出解决方案;

3、熟悉常用的操作系统、数据库的安装、操作、配置、故障处理及部署的相关知识及解决问题的能力;

4、有使用主流大型数据库的实际开发、维护经验;

5、吃苦耐劳，踏实好学、有较强的责任心、团队协作能力及沟通能力;

6、适应频繁出差;

职责：

1、 负责操作系统、数据库的使用及常用软件的安装、配置和维护，保证系统稳定运行;

2、负责服务器相关硬件日常巡检、维护、故障分析及处理;

3、 负责it相关软件的安装及对公司用户提供相应的技术支持、客户培训等;

4、收集客户需求，处理客户协调工作;

5、编写技术支持相关文档和方案;

6、协助it经理完成相关运维工作。

任职要求：

1、大专及以上学历;年龄20-30岁;

2、计算机技术等相关专业; 了解数据库优先;

3、良好的沟通、表达和人际交往的能力;

4、具有较强的学习能力和强烈的学习愿望;

5、具备专业的it软硬件知识：服务器、网络、计算机设备、操作系统、数据库等;

6、有it行业智能交通、系统集成工作经验者优先;

7、团队合作能力强，能承受较大的工作压力。

职责：

1、负责计量自动化系统等基础架构(服务器、存储、fc交换机等设备)规划、安装、维护工作;

2、负责计量自动化系统等硬件故障处理、定检等;

3、负责计量自动化系统系统等加固、软件升级等;

4、负责计量自动化系统等运维文档编写;

5、根据需求对新项目的设计、规划、实施、维护等工作。

岗位要求：

1、计算机相关专业;

2、熟悉主流厂商服务器、存储、fc交换机等设备的产品线和设备基本安装;

3、熟悉市场主流操作系统linux、aix、hpux配置;

4、熟悉tcp/ip协议，掌握网络基础知识;

5、具备良好的团队合作精神，高度的责任感，善于沟通，有创新精神，能够承受压力;

6、有较好的文档编写能力，有标书、方案编写经验值优先;

7、具有rhce、ocp、ccnp、mcse、vcp等相关认证优先。

一、系统运维

1、负责系统发布，部署，编写集成方案和部署方案

2、负责系统故障、疑难问题排查处理，记录故障详情、解决过程

3、负责配合开发搭建测试平台，协助开发设计、推行、实施和持续改进

4、负责日常系统维护及监控，开发搭建系统日常维护、监控、分析、报警平台系统

5、负责信息系统在客户现场的安装、培训和维护工作

负责收集客户在使用系统过程中的原始需求，优化需求，传递给产品经理

二、网络运维

1、负责日常服务器、网络，邮箱，电话系统，视频会议系统的管理和维护

2、负责日常应用软件，公司桌面办公软件的维护

3、持续改进日常操作以及优化公司网络，跟踪网络互连技术发展，合理运用新技术

4、负责对服务器的健康状况，业务进行监控，并处理应急情况

日常服务器巡检，备案，安全等

职责：

1、负责项目功能技术支持和功能测试;

2、有1年以上运维、测试工作经验;

3、追踪解决项目相关 bug ;

4、具备良好的表达能力，包括语言及文字表达能，良好的团队合作精神和解决问题的能力;

5、与开发人员、运维人员沟通，找出并能够快速准确定位问题。

职位要求：

1、熟悉基本主机、数据库系统、网络知识 ;

2、至少1年以上的软件运维支持经验，有使用常用测试工具的经验者优先 ;

3、具有linux平台运维经验 ;

4、熟悉sql语言、熟悉基本数据库操作、有oracle经验者优先;

5、能够完成测试案例、测试计划编写;

职责：

1. 负责公司核心集群的运维工作,保证其高可用和稳定性。

2. 负责集群容量规划、扩容及集群性能优化。

3. 深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的hadoop运维技术及发展方向。

4. 设计实现分布式集群的运维、监控和管理平台。

职位要求：

1.2年以上中等规模集群环境下的hadoop/impala/hive/spark集群相关运维经验。

2.对各种hdfs/yarn/hive/impala/spark/hbase等相关参数调优, 性能优化等有实际经验。

3.有实际踩坑经历, 对于相关组件的版本跟进, 补丁跟踪, bug追踪等有相关经验。

4.实际处理过各种集群在线版本升级, 数据迁移, 集群扩容, 稳定性监控等工作。

4.熟悉kerberos安全认证系统，实施过集群权限管理, 资源隔离方面的方案规划或二次开发工作。

5.有cloudera的cm使用经验尤佳。

职责：

- 负责局点大数据平台的部署、管理、优化、监控报警，保障平台服务7*24稳定可靠高效运行;

- 深入理解公司大数据平台架构，发现并解决性能瓶颈，支撑业务和数据量的快速增长;

- 开发大数据自动化运维、监控报警、故障处理相关脚本和工具;

- 负责hadoop/spark/kafka等集群服务、业务监控、持续交付、应急响应、容量规划等。

要求：

- 4年以上运维相关工作经验，有大数据平台运维相关工作经验优先;

- 具备一定的故障排查能力，有良好的技术敏感度和风险识别能力，精通一门以上脚本语言(shell/python等)，熟悉http/https、tcp/ip、smtp等协议;

- 熟悉linux(redhat/centos)软硬件环境、系统管理和优化，熟练部署、优化各种常用服务。熟练使用linux 命令和常用的ssh、ftp、git、maven等开发工具;

- 熟悉hadoop大数据生态圈，包括但不限于cdh/hdfs/yarn/hive/hbase/kafka/zookeeper/spark/flink/impala/elasticsearch/kibana/mysql/kubernetes等;

- 熟悉hadoop各组件的原理和实现，有实际部署维护、管理( 包括元数据管理)及优化经验。并拥有持续调优能力，运维管理过大规模数据平台;

- 熟悉掌握常用的安全协议和组件服务，对hadoop各组件的权限、安全、kerberos进行配置管理。熟悉ssl、acl、kerberos等在大数据环境场景的使用;

- 熟悉常用运维监控工具(nagios/ganglia/zabbix/grafan/openfalcon等)和相关插件的开发。比如邮件、短信、微信报警插件等;

- 熟悉常用nginx/haproxy/varnish/netscaler等代理工具的使用和优化;

- 具备良好的服务意识，善于主动思考，自我驱动力强。有良好的沟通、协调能力，富有团队精神，有较强的文档编写能力;

- 有大数据开发经验和阅读源码能力者优先

职责：

1、负责零售业务系统的运维工作;

2、及时解决用户的系统使用问题;

3、推进建设系统运维流程、制度的制定，包括运维制度、流程与相关系统的日常运营维护、异常监控，保证其高效、稳定运行;

4、每日例行检查及维护工作的监督及执行;

5、定期对用户进行系统培训;

6、直属上司交付的其他工作。

岗位要求

1、大专及以上学历，专业不限，接收优秀应届毕业生，有无经验均可;

2、性格外向开朗，反应敏捷，表达能力强，有良好的沟通技巧和服务意识;

3、工作积极主动，勤恳踏实，执行力强，能够全面配合公司管理工作;

4、有一定的抗压能力及对应各类客户的能力。

职责：

1、参与特定基础架构领域(网络/操作系统/数据库)的基础架构方案设计及实施;

2、负责网络/操作系统/数据库领域的系统运行趋势分析，定期提交相关的故障、运行、流量、数据等情况的分析报告;

3、负责业务系统的日常运维工作;

4、负责数据中心日常巡检、监控、故障处理;

5、确保各网络系统正常运行，分析汇总日常问题，优化流程、提升服务质量;

6、上级交办的其他工作。

岗位要求：

1、计算机相关专业，本科及以上学历，2年以上工作经验;

2、熟悉网络/操作系统/数据库的基本原理，有相关实际管理经验或接受过相关专业培训者优先;

3、熟悉主流网络构架设计，精通tcp/ip协议。熟练配置主流网络设备、了解服务器、存储、虚拟化、集群、负载均衡、监控和系统安全等产品相关技术;

职责：

1. 负责大数据平台的规划、部署、监控、系统优化及运维等工作，保障系统7*24小时运营;

2. 为线上服务高效稳定运行负责，支撑业务和数据量的快速扩张，发现并能解决重大故障及性能瓶颈;

3. 深入理解系统平台及大数据相关运维技术，持续优化集群服务架构;

4. 对大数据体系下新技术的调研、应用、对内培训。

职位要求：

1. 至少3年以上大数据运维经验， 深入理解linux系统，运维体系结构;

2. 深度优化hadoop平台mr作业/计算框架/存储技术，提升集群吞吐并降低成本;

3. 具有cdh(或者hdp)/hdfs/yarn/hive/es/kylin/hbase/kafka/spark/storm/flume/impala/hue/kettle/flink等大数据系统的运维经验，有开发经验;

4. 熟悉hadoop生态，有数据安全相关工作经验， 并能对平台cpu/mem/io/网络/调度中一个或多个方面的性能调优;

5. 熟练掌握shell/python中的任意一门脚本语言;

6. 强烈责任感、缜密的逻辑思维能力，良好的团队协作能力，具备良好的项目管理及执行能力;

1、熟练掌握sql server的使用;

2、精通windows、linux、vmwares操作系统安装维护与故障排除，基础理论扎实，操作熟练;

3、对bs架构程序有所了解;

4、负责服务器日常维护、软硬件安装和配置、存储设备日常维护整理;

5、对服务器进行日常维护，确保各项服务连续正常运行，无重大事故;

6、负责服务器存储网络等基础平台的技术维护和问题处理 ;

7、熟悉pc服务器硬件安装与配置;