特黄特色三级在线观看免费,看黄色片子免费,色综合久,欧美在线视频看看,高潮胡言乱语对白刺激国产,伊人网成人,中文字幕亚洲一碰就硬老熟妇

學習啦 > 實用范文 > 辦公文秘 > 崗位職責 > 大數據運維工程師的工作職責

大數據運維工程師的工作職責

時間: 舒欣1213 分享

大數據運維工程師的工作職責

  大數據需要負責公司產品的技術支持、安裝調試、客戶使用培訓及相關硬件的安裝調試。下面是學習啦小編為您精心整理的大數據運維工程師的工作職責。

  大數據運維工程師的工作職責1

  職責:

  1、負責和參與公司大數據基礎架構平臺規(guī)劃,運維,監(jiān)控和優(yōu)化工作,保障數據平臺服務的穩(wěn)定性和可用性;

  2、研究大數據前沿技術,改進現有系統(tǒng)的服務和運維架構,提升系統(tǒng)可靠性和可運維性;

  3、負責和參與自動化運維系統(tǒng)及平臺的建設;

  4、負責優(yōu)化部門運維流程提升運維效率。

  任職要求:

  1、統(tǒng)招本科及以上學歷,計算機相關專業(yè),2年以上互聯網運維工作經驗;

  2、熟悉Linux操作系統(tǒng)及常見開源軟件(Nginx,Tomcat,Zabbix等)的配置,管理及優(yōu)化,能夠獨立排查及解決操作系統(tǒng)層的各類問題;

  3、熟悉Hadoop/Kafka/Hbase/Spark/Elasticsearch/Hive的組件原理及運維方式;

  4、精通Python,shell,了解JAVA;有良好的系統(tǒng)性能優(yōu)化及故障排除能力;

  5、具有很強的責任心、執(zhí)行力、服務意識、學習能力和抗壓能力;

  6、具備較好的溝通能力、主動性和團隊合作精神。

  大數據運維工程師的工作職責2

  職責:

  1、負責Hadoop、HBase、Hive、Spark等大數據平臺 規(guī)劃、部署、監(jiān)控、系統(tǒng)優(yōu)化等,確保高可用;

  2、負責公司大數據平臺的運維管理工作,集群容量規(guī)劃、擴容及性能優(yōu)化;

  3、處理公司大數據平臺各類異常和故障,確保系統(tǒng)平臺的穩(wěn)定運行;

  4、設計實現大規(guī)模分布式集群的運維、監(jiān)控和管理平臺;

  5、深入研究大數據業(yè)務相關運維技術,持續(xù)優(yōu)化集群服務架構,探索新的大數據運維技及發(fā)展方向;

  6、為數據倉庫、數據挖掘建模等數據應用項目提供運行環(huán)境支持。

  崗位要求:

  1、掌握Linux操作系統(tǒng)的配置,管理及優(yōu)化,能夠獨立排查及解決操作系統(tǒng)層的各類問題;

  2、熟練掌握Python, shell中的至少一門語言,有Python運維工具開發(fā)經驗優(yōu)先;

  3、熟悉 Hadoop生態(tài)及高性能緩存相關的各種工具并有實戰(zhàn)經驗,包括但不限于Hadoop、HBase、Hive、Spark、impala、zookeeper、kafka、Elasticsearch、oozie、yarn、Scribe、Flume、Storm等;

  4、具有集群運維經驗,以及大負載下的容量評估、問題定位、架構優(yōu)化等能力優(yōu)先;有分布式系統(tǒng)(計算/存儲)開發(fā)經驗優(yōu)先;

  5、熟悉zabbix/ganglia/Prometheus/grafana系統(tǒng)的組合構件及使用;

  6、精通ELK系統(tǒng),有過大規(guī)模ELK配置管理、調優(yōu)經驗,有過ElasticSearch搜索和分析引擎開發(fā)經驗者優(yōu)先;

  大數據運維工程師的工作職責3

  職責:

  1、負責大數據平臺架構的規(guī)劃、設計、搭建;

  2、負責大數據平臺的運維保障工作;

  3、負責運維相關數據分析,以及報表產出;

  4、為線上服務高效穩(wěn)定運行負責,支撐業(yè)務和數據量的快速擴張;

  5、深入理解大數據平臺架構,發(fā)現并解決重大故障及性能瓶頸;

  6、研究跟進大數據架構領域新技術并分享。

  工作要求:

  1、熟悉大數據產品生態(tài)圈,包括但不限于HDFS、YARN、Hive、HBase、Spark等;

  2、精通Linux/Unix系統(tǒng);

  3、有數據分析經驗優(yōu)先,精通一門以上腳本語言(shell/perl/python等),熟悉java/C/C++/Golang等開發(fā)語言一種及以上;

  4、有2年以上大數據平臺相關運維開發(fā)經驗,了解分布式平臺運行的原理,并有實際部署維護經驗;

  5、學習能力和主動性強,具有鉆研精神,充滿激情,樂于接受挑戰(zhàn);

  6、良好的服務意識,善于團隊協作,項目管理,主動思考,自我驅動力強。

  大數據運維工程師的工作職責4

  1.負責公司大數據業(yè)務集群的運維工作(Hadoop/Hbase/Hive/Yarn/Spark/impala/kudu等)確保集群環(huán)境的穩(wěn)定可用;

  2.負責集群容量規(guī)劃、擴容及性能優(yōu)化;

  3.負責大數據集群性能監(jiān)控與優(yōu)化,故障處理,數據備份及容災恢復,集群出現異常時,能快速定位問題,并及時給出解決方案;

  4.設計實現大規(guī)模分布式集群的運維、監(jiān)控和管理平臺;

  5.參與/主導業(yè)務架構設計,在設計階段給出可運維性改進建議;

  6.深入研究大數據業(yè)務相關運維技術,持續(xù)優(yōu)化集群服務架構,探索新的大數據運維技術及發(fā)展方向;

  7.參與例如服務器維護、項目維護、監(jiān)控維護等常見運維事務

  大數據運維工程師的工作職責5

  職責:

  1. 完成大數據平臺日常運維工作(上線/日常監(jiān)控/問題定位/腳本開發(fā)),涉及HDP/Hadoop/Spark/Tensorflow/Flink/Storm/Presto/Kudu/Alluxio等開源組件;

  2. 完成大數據自研平臺工具運營,比如報表平臺、調度平臺和性能監(jiān)控平臺;

  3. 提升系統(tǒng)可靠性,完善監(jiān)控策略,優(yōu)化運維流程,提升部門運維效率,保證7*24服務;

  4. 參與開源社區(qū)建設,提升公司開源影響力;

  任職條件:

  1. 熟悉Hadoop工作原理,熟悉Hadoop、Hive、Storm、Presto、Flink、 Alluixo、Kudu等開源組件的搭建、維護以及問題定位;

  2. 熟悉Linux操作系統(tǒng),熟練掌握Linux常用命令,了解ansible/puppet;

  3. 熟練掌握shell/python/java;

  4. 熟悉hive/spark sql工作原理,熟悉SQL語法,掌握數據庫的維護工作;

  5. 對自動化運維有一定見解,使用過各種開源工具完成日常運維工作;

  6. 有大數據平臺維護經驗優(yōu)先;

  7. 掌握dockerfile,了解大數據與k8s結合者優(yōu)先;

  8. 參與開源社區(qū),有代碼貢獻或者高質量博客文章者優(yōu)先;

相關文章:

1.大數據運維工程師的職責精選

2.運維服務工程師的職位職責

3.運維經理的具體職責

4.運維主管的工作職責

5.運維經理的崗位職責

55899