大數據運維工程師具體職責描述1
職責:
1，負責數據平臺的運維管理(部署、監控、優化、故障處理)；
2.負責Hadoop/Spark/Flink/Elastic Search/Kafka系統的架構評審、容量規劃和成本優化；
3.負責大數據平臺的用戶管理、權限分配和資源分配；
4.參與數據挖掘和機器學習平臺的設計，給出可執行的運維方案；
5.參與數據平臺相關工具的開發(包括自動部署、監控、ETL等。);
6、深入了解數據平臺架構，發現並解決隱患和性能瓶頸；
7.操作和維護ETL工具，調度工具和關系數據庫。
資格:
1，本科及以上學歷，計算機軟件專業；
2.1年以上大數據相關組件(Hadoop/Yarn/h base/Hive/Spark/Kafka等)運維經驗。)，1年以上CDH或HDP維護經驗，3年以上系統運維經驗；
3.對Linux系統有深入了解，能夠獨立部署開源軟件，掌握壹種以上腳本語言(shell/perl/python等。)，並熟悉python開發語言者優先；
4.邏輯思維能力強，做事有條不紊，責任心強，工作積極主動，執行力強，團隊合作意識好。
大數據運維工程師二具體職責描述
責任
1.負責大數據ETL系統，確保運維服務的穩定可用；
2.負責數據采集和交換方案及聯合調試測試；
3.負責采集和交換任務的審核和上線；
4.負責及時排查ETL過程故障，形成知識庫，完善運維文檔；
5.負責監控和優化ETL的性能，持續提出改進自動化運維平臺的建議。
技能要求
1.計算機科學或相關專業本科以上學歷；
2.熟悉Linux系統，熟練編寫shell/perl/python的壹種或多種腳本語言；
3.熟悉Hive、hadoop和MapReduce集群原理，有Hadoop大數據平臺運維經驗者優先；
4.熟悉數據庫性能優化和SQL調優，有相應經驗；
5.抗壓能力強，責任心強，良好的溝通能力，學習能力和團隊合作能力。
大數據運維工程師具體職責描述3
職責:
1，負責分布式大數據平臺產品的運維開發，保證其高可用性和穩定性；
2.負責大數據系統架構的可操作性設計、容量規劃和服務監控，持續優化服務架構和集群性能；
3.通過技術手段控制和優化成本，通過自動化的工具和流程提高大數據平臺的運維效率；
4.為項目開發者提供大數據技術指導，解決大數據平臺應用中遇到的技術問題；
資格:
1，三年以上大數據運維工作經驗，有大型互聯網公司工作經驗者優先，全日制本科以上學歷；
2.精通至少壹種開發語言，有Java或Python語言開發經驗者優先；
3.精通Hadoop生態和高性能緩存相關的各種工具並有實踐經驗，包括但不限於Hadoop、HBase、Hive、Presto、Kafka、Spark、Yarn、Flink、Logstash、Flume、ClickHouse等。
4.熟悉Mysql等常用關系數據庫，熟練編寫sql語句，有分布式nosql數據庫應用和性能調優經驗者優先；
5、熟悉Linux環境，能熟悉shell腳本的使用；
6.對大數據技術有濃厚興趣，有興趣向大數據方向發展；
7.有較強的責任心、執行力、服務意識、學習能力和抗壓能力；
8.有良好的溝通能力，主動性和責任感。
大數據運維工程師具體職責描述4
職責:
1，負責大數據集群的日常維護、監控、異常處理等工作，保證集群的穩定運行；
2.負責大數據的批量管理和運維；
3.負責大數據集群的用戶管理、權限管理、資源管理和性能優化；
4.深刻理解數據平臺架構，發現並解決重大故障和性能瓶頸，打造壹流的數據平臺；
5.跟進大數據前沿技術，持續優化數據集群；
6.有華為大數據平臺運維經驗者優先；
工作要求:
1年以上大數據運營開發經驗；
2、有良好的計算機和網絡基礎，熟悉linux文件系統、內核、性能調優、TCP/IP、HTTP等協議；
3.熟悉大數據生態，有相關(HDFS、Hive、Hbase、Sqoop、Spark、Flume、Zookeeper、ES、Kafka)運營開發經驗；
4.熟練使用shell、python等腳本語言開發相關運維管理工具；
5.良好的公文寫作習慣；
大數據運維工程師具體職責描述5
職責:
1，負責公司內部及項目的大數據集群建設、任務調度、監控預警，持續完善大數據平臺，確保穩定性和安全性；
2.負責集群容量規劃、擴容、集群性能優化、日常巡檢和應急值守，參與大數據基礎設施的架構設計和完善；
3.深入研究大數據業務相關的運維技術，探索新的運維技術和發展方向。
要求:
1，熟悉Linux基本命令操作，能夠獨立編寫Shell腳本進行日常服務器運維；
2.熟悉Hadoop生態系統中Hadoop、Kafka、Zookeeper、Hbase、Spark的安裝和優化；
3.熟悉軟硬件設備、網絡原理，有豐富的大數據平臺部署、性能優化和運維經驗；
4、工作認真負責，學習能力、動手能力和分析解決問題的能力強；
5.能夠使用各種開源監控工具、運維工具、HA和負載均衡軟件完成任務；
6.熟悉JVM虛擬機調優；