大數(shù)據(jù)開(kāi)發(fā)工程師崗位的主要職責(zé)概述

時(shí)間：2022-09-21 08:18:14 崗位職責(zé) 我要投稿

銷(xiāo)售經(jīng)理崗位職責(zé)概述推薦度：
hr經(jīng)理崗位的主要職責(zé) 推薦度：
項(xiàng)目經(jīng)理的崗位職責(zé)概述推薦度：
項(xiàng)目經(jīng)理崗位主要職責(zé) 推薦度：
崗位大練兵總結(jié) 推薦度：
相關(guān)推薦

　　在充滿(mǎn)活力，日益開(kāi)放的今天，越來(lái)越多地方需要用到崗位職責(zé)，崗位職責(zé)具有提高內(nèi)部競(jìng)爭(zhēng)活力，更好地發(fā)現(xiàn)和使用人才的作用。想必許多人都在為如何制定崗位職責(zé)而煩惱吧，以下是小編精心整理的大數(shù)據(jù)開(kāi)發(fā)工程師崗位的主要職責(zé)概述，僅供參考，希望能夠幫助到大家。

大數(shù)據(jù)開(kāi)發(fā)工程師崗位的主要職責(zé)概述

大數(shù)據(jù)開(kāi)發(fā)工程師崗位的主要職責(zé)概述1

　　職責(zé)：

　　1、規(guī)劃及建設(shè)大數(shù)據(jù)平臺(tái);

　　2、負(fù)責(zé)大數(shù)據(jù)存儲(chǔ)系統(tǒng)、分布式計(jì)算系統(tǒng)、挖掘算法等設(shè)計(jì)、研發(fā)以及維護(hù)、優(yōu)化工作;

　　3、負(fù)責(zé)分析、挖掘、對(duì)抗各種產(chǎn)品安全層面的惡意行為;

　　4、參與項(xiàng)目的系統(tǒng)設(shè)計(jì)和核心代碼開(kāi)發(fā)，指導(dǎo)和培訓(xùn)其他工程師;

　　5、整理和提交技術(shù)文檔，負(fù)責(zé)核心功能模塊的代碼編寫(xiě)和測(cè)試工作。

　　崗位要求：

　　1、計(jì)算機(jī)、統(tǒng)計(jì)學(xué)等相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷，具有深厚的數(shù)學(xué)、統(tǒng)計(jì)學(xué)和計(jì)算機(jī)相關(guān)知識(shí)，精通數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的相關(guān)技術(shù)，3年以上大數(shù)據(jù)開(kāi)發(fā)相關(guān)經(jīng)驗(yàn);

　　2、具有非常扎實(shí)的Java基礎(chǔ)，熟悉Shell、Python、R、Scala等一種以上語(yǔ)言;

　　3、算法基礎(chǔ)扎實(shí)，熟悉常見(jiàn)的數(shù)據(jù)結(jié)構(gòu)，了解分布式算法和分布式系統(tǒng)的技術(shù)原理;

　　4、精通MapReduce設(shè)計(jì)方法或Spark計(jì)算框架、對(duì)NoSQL，Hadoop、Hbase、Spark、Hive等主流云計(jì)算，大數(shù)據(jù)相關(guān)軟件有充分的了解，并且有實(shí)踐經(jīng)驗(yàn)，能解決應(yīng)用中的復(fù)雜問(wèn)題;

　　5、熟悉大數(shù)據(jù)處理相關(guān)技術(shù)，包括但不限于Hadoop、Hive、Hbase、Impala、Spark，Kafaka、Flume、Sqoop、Storm、Redis等;

　　6、研讀過(guò)Hadoop、Hbase、Hive源代碼者，能夠在特定業(yè)務(wù)中進(jìn)行定制改造者優(yōu)先;

　　7、具有海量數(shù)據(jù)處理、數(shù)據(jù)挖掘、數(shù)據(jù)分析相關(guān)項(xiàng)目的工作經(jīng)驗(yàn)者優(yōu)先。

大數(shù)據(jù)開(kāi)發(fā)工程師崗位的主要職責(zé)概述2

　　職責(zé)：

　　1、參與大數(shù)據(jù)架構(gòu)的.規(guī)劃設(shè)計(jì)，參與業(yè)務(wù)建模及數(shù)據(jù)化運(yùn)營(yíng)平臺(tái)的搭建、運(yùn)維，對(duì)業(yè)務(wù)流程與大數(shù)據(jù)的結(jié)合提出建議和解決方案;

　　2、完成基于大數(shù)據(jù)平臺(tái)的業(yè)務(wù)項(xiàng)目的開(kāi)發(fā)、實(shí)施和維護(hù)工作;

　　3、負(fù)責(zé)解決大數(shù)據(jù)平臺(tái)建設(shè)過(guò)程中的技術(shù)難點(diǎn)和性能調(diào)優(yōu)工作;

　　4、參與數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)，根據(jù)業(yè)務(wù)需求實(shí)現(xiàn)高效率高靈活性的查詢(xún)，數(shù)據(jù)分析，數(shù)據(jù)挖掘;

　　5、負(fù)責(zé)高吞吐高可用數(shù)據(jù)實(shí)時(shí)和離線(xiàn)采集，高并發(fā)的大數(shù)據(jù)業(yè)務(wù)架構(gòu)設(shè)計(jì)

　　6、負(fù)責(zé)研發(fā)技術(shù)發(fā)展方向，新技術(shù)領(lǐng)域的探索，引入并驗(yàn)證數(shù)據(jù)平臺(tái)領(lǐng)域新技術(shù)，提供系統(tǒng)效能

　　7、對(duì)大數(shù)據(jù)技術(shù)及開(kāi)源框架充滿(mǎn)熱情，具有鉆研精神，能自我學(xué)習(xí)。

　　任職資格：

　　1、具有5年Java開(kāi)發(fā)經(jīng)驗(yàn)，熟悉Spring生態(tài)，掌握Hibernate、Mybatis任意一種ORM框架，掌握Oracle、Mysql數(shù)據(jù)庫(kù)。

　　2、具有2年以上的大數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn)，熟悉大數(shù)據(jù)、數(shù)據(jù)倉(cāng)庫(kù)，分布式架構(gòu)技術(shù)理論，具有大數(shù)據(jù)整體系統(tǒng)架構(gòu)設(shè)計(jì)和實(shí)戰(zhàn)經(jīng)驗(yàn)，熟悉CDH、HDP、TDH至少一款大數(shù)據(jù)產(chǎn)品，有從無(wú)到有建設(shè)大數(shù)據(jù)平臺(tái)經(jīng)驗(yàn)者優(yōu)先;

　　3、熟悉大數(shù)據(jù)組件的開(kāi)發(fā)、搭建、維護(hù)以及性能優(yōu)化;

　　4、較強(qiáng)的開(kāi)發(fā)能力，必須熟練使用相關(guān)開(kāi)發(fā)語(yǔ)言(Java/Python/Scala/Shell等)，熟悉大數(shù)據(jù)生態(tài)、關(guān)系數(shù)據(jù)庫(kù)和NOSQL數(shù)據(jù)庫(kù)、Linux等相關(guān)知識(shí)，能夠獨(dú)立完成并指導(dǎo)初級(jí)開(kāi)發(fā)人員完成大數(shù)據(jù)相關(guān)的技術(shù)實(shí)現(xiàn)和調(diào)優(yōu);

　　5、熟悉Hadoop、Hbase、Hdfs、MapReduce、Yarn、Zookeeper、Hive、Impala、Spark、Flink、Kafka、Flume、Kylin、Phoenix等組件或技術(shù)，能閱讀源碼跟蹤問(wèn)題。

　　6、熟練掌握Spark、flink任意一種計(jì)算框架，掌握MapReduce計(jì)算框架原理，并有實(shí)際項(xiàng)目開(kāi)發(fā)經(jīng)驗(yàn)。

　　7、熟練掌握HDFS、HBase、Kafka、Redis、Hive、Sqoop、Shell等技術(shù)和組件，熟練應(yīng)用開(kāi)發(fā)，必須熟悉復(fù)雜數(shù)據(jù)查詢(xún)性能調(diào)優(yōu)，包括實(shí)時(shí)查詢(xún)和離線(xiàn)批處理查詢(xún)，服務(wù)器和生態(tài)組件的參數(shù)優(yōu)化。

　　8、精通高級(jí)算法并有與業(yè)務(wù)結(jié)合落地優(yōu)先;

　　9、扎實(shí)的獨(dú)立分析問(wèn)題、解決問(wèn)題的能力，具備良好的需求理解能力、溝通協(xié)調(diào)能力和團(tuán)隊(duì)合作精神;有很強(qiáng)的數(shù)據(jù)設(shè)計(jì)抽象能力，善于從復(fù)雜的數(shù)據(jù)問(wèn)題中找到關(guān)鍵路徑，并且擅于跟業(yè)務(wù)團(tuán)隊(duì)就業(yè)務(wù)問(wèn)題進(jìn)行良好的溝通，能推動(dòng)業(yè)務(wù)的指標(biāo)化、量化;

　　10、有較好的學(xué)習(xí)能力、團(tuán)隊(duì)協(xié)作精神，認(rèn)真細(xì)心，有強(qiáng)烈的責(zé)任心，愛(ài)崗敬業(yè)，有較高抗壓能力，有較好的工作穩(wěn)定性。