大數據運維工程師的工作職責
大數據運維工程師的工作職責
大數據需要負責公司產品的技術支持、安裝調試、客戶使用培訓及相關硬件的安裝調試。下面是學習啦小編為您精心整理的大數據運維工程師的工作職責。
大數據運維工程師的工作職責1
職責：
1、負責和參與公司大數據基礎架構平臺規(guī)劃，運維，監(jiān)控和優(yōu)化工作，保障數據平臺服務的穩(wěn)定性和可用性;
2、研究大數據前沿技術，改進現有系統(tǒng)的服務和運維架構，提升系統(tǒng)可靠性和可運維性;
3、負責和參與自動化運維系統(tǒng)及平臺的建設;
4、負責優(yōu)化部門運維流程提升運維效率。
任職要求：
1、統(tǒng)招本科及以上學歷，計算機相關專業(yè)，2年以上互聯網運維工作經驗;
2、熟悉Linux操作系統(tǒng)及常見開源軟件(Nginx,Tomcat,Zabbix等)的配置，管理及優(yōu)化，能夠獨立排查及解決操作系統(tǒng)層的各類問題;
3、熟悉Hadoop/Kafka/Hbase/Spark/Elasticsearch/Hive的組件原理及運維方式;
4、精通Python,shell,了解JAVA;有良好的系統(tǒng)性能優(yōu)化及故障排除能力;
5、具有很強的責任心、執(zhí)行力、服務意識、學習能力和抗壓能力;
6、具備較好的溝通能力、主動性和團隊合作精神。
大數據運維工程師的工作職責2
職責：
1、負責Hadoop、HBase、Hive、Spark等大數據平臺 規(guī)劃、部署、監(jiān)控、系統(tǒng)優(yōu)化等，確保高可用;
2、負責公司大數據平臺的運維管理工作，集群容量規(guī)劃、擴容及性能優(yōu)化;
3、處理公司大數據平臺各類異常和故障，確保系統(tǒng)平臺的穩(wěn)定運行;
4、設計實現大規(guī)模分布式集群的運維、監(jiān)控和管理平臺;
5、深入研究大數據業(yè)務相關運維技術，持續(xù)優(yōu)化集群服務架構，探索新的大數據運維技及發(fā)展方向;
6、為數據倉庫、數據挖掘建模等數據應用項目提供運行環(huán)境支持。
崗位要求：
1、掌握Linux操作系統(tǒng)的配置，管理及優(yōu)化，能夠獨立排查及解決操作系統(tǒng)層的各類問題;
2、熟練掌握Python, shell中的至少一門語言，有Python運維工具開發(fā)經驗優(yōu)先;
3、熟悉 Hadoop生態(tài)及高性能緩存相關的各種工具并有實戰(zhàn)經驗，包括但不限于Hadoop、HBase、Hive、Spark、impala、zookeeper、kafka、Elasticsearch、oozie、yarn、Scribe、Flume、Storm等;
4、具有集群運維經驗，以及大負載下的容量評估、問題定位、架構優(yōu)化等能力優(yōu)先;有分布式系統(tǒng)(計算/存儲)開發(fā)經驗優(yōu)先;
5、熟悉zabbix/ganglia/Prometheus/grafana系統(tǒng)的組合構件及使用;
6、精通ELK系統(tǒng)，有過大規(guī)模ELK配置管理、調優(yōu)經驗，有過ElasticSearch搜索和分析引擎開發(fā)經驗者優(yōu)先;
大數據運維工程師的工作職責3
職責：
1、負責大數據平臺架構的規(guī)劃、設計、搭建;
2、負責大數據平臺的運維保障工作;
3、負責運維相關數據分析，以及報表產出;
4、為線上服務高效穩(wěn)定運行負責，支撐業(yè)務和數據量的快速擴張;
5、深入理解大數據平臺架構，發(fā)現并解決重大故障及性能瓶頸;
6、研究跟進大數據架構領域新技術并分享。
工作要求：
1、熟悉大數據產品生態(tài)圈，包括但不限于HDFS、YARN、Hive、HBase、Spark等;
2、精通Linux/Unix系統(tǒng);
3、有數據分析經驗優(yōu)先，精通一門以上腳本語言(shell/perl/python等)，熟悉java/C/C++/Golang等開發(fā)語言一種及以上;
4、有2年以上大數據平臺相關運維開發(fā)經驗，了解分布式平臺運行的原理，并有實際部署維護經驗;
5、學習能力和主動性強，具有鉆研精神，充滿激情，樂于接受挑戰(zhàn);
6、良好的服務意識，善于團隊協作，項目管理，主動思考，自我驅動力強。
大數據運維工程師的工作職責4
1.負責公司大數據業(yè)務集群的運維工作(Hadoop/Hbase/Hive/Yarn/Spark/impala/kudu等)確保集群環(huán)境的穩(wěn)定可用;
2.負責集群容量規(guī)劃、擴容及性能優(yōu)化;
3.負責大數據集群性能監(jiān)控與優(yōu)化，故障處理，數據備份及容災恢復，集群出現異常時，能快速定位問題，并及時給出解決方案;
4.設計實現大規(guī)模分布式集群的運維、監(jiān)控和管理平臺;
5.參與/主導業(yè)務架構設計，在設計階段給出可運維性改進建議;
6.深入研究大數據業(yè)務相關運維技術，持續(xù)優(yōu)化集群服務架構，探索新的大數據運維技術及發(fā)展方向;
7.參與例如服務器維護、項目維護、監(jiān)控維護等常見運維事務
大數據運維工程師的工作職責5
職責：
1. 完成大數據平臺日常運維工作(上線/日常監(jiān)控/問題定位/腳本開發(fā))，涉及HDP/Hadoop/Spark/Tensorflow/Flink/Storm/Presto/Kudu/Alluxio等開源組件;
2. 完成大數據自研平臺工具運營，比如報表平臺、調度平臺和性能監(jiān)控平臺;
3. 提升系統(tǒng)可靠性，完善監(jiān)控策略，優(yōu)化運維流程，提升部門運維效率，保證7*24服務;
4. 參與開源社區(qū)建設，提升公司開源影響力;
任職條件：
1. 熟悉Hadoop工作原理，熟悉Hadoop、Hive、Storm、Presto、Flink、 Alluixo、Kudu等開源組件的搭建、維護以及問題定位;
2. 熟悉Linux操作系統(tǒng)，熟練掌握Linux常用命令,了解ansible/puppet;
3. 熟練掌握shell/python/java;
4. 熟悉hive/spark sql工作原理，熟悉SQL語法，掌握數據庫的維護工作;
5. 對自動化運維有一定見解，使用過各種開源工具完成日常運維工作;
6. 有大數據平臺維護經驗優(yōu)先;
7. 掌握dockerfile，了解大數據與k8s結合者優(yōu)先;
8. 參與開源社區(qū)，有代碼貢獻或者高質量博客文章者優(yōu)先;
相關文章：