欧美成人永久免费_欧美日本五月天_A级毛片免看在线_国产69无码,亚洲无线观看,精品人妻少妇无码视频,777无码专区,色大片免费网站大全,麻豆国产成人AV网,91视频网络,亚洲色无码自慰

當前位置:網(wǎng)站首頁 >> 作文 >> 最新大數(shù)據(jù)架構工程師是干嘛的(二十一篇)

最新大數(shù)據(jù)架構工程師是干嘛的(二十一篇)

格式:DOC 上傳日期:2023-02-27 09:24:17
最新大數(shù)據(jù)架構工程師是干嘛的(二十一篇)
時間:2023-02-27 09:24:17     小編:zdfb

無論是身處學校還是步入社會,,大家都嘗試過寫作吧,,借助寫作也可以提高我們的語言組織能力,。寫范文的時候需要注意什么呢?有哪些格式需要注意呢,?下面是小編為大家收集的優(yōu)秀范文,,供大家參考借鑒,,希望可以幫助到有需要的朋友。

大數(shù)據(jù)架構工程師是干嘛的篇一

1. 負責公司大數(shù)據(jù)平臺的設計和開發(fā),,負責spark, hadoop, flink等云計算平臺的開發(fā)和優(yōu)化;制定數(shù)據(jù)架構規(guī)范,,進行核心代碼編寫,指導團隊落地;

2. 負責數(shù)據(jù)基礎架構和數(shù)據(jù)處理體系的升級和優(yōu)化,,技術難題攻關,,持續(xù)提升核心系統(tǒng)性能,保證系統(tǒng)的安全,、穩(wěn)定,、高效運行

3. 設計并實現(xiàn)對bi分析、數(shù)據(jù)產(chǎn)品開發(fā),、算法開發(fā)的系統(tǒng)性支持

4. 研究未來數(shù)據(jù)模型和計算框架的創(chuàng)新與落地,,包括但不限于以下領域:大規(guī)模數(shù)據(jù)實時化、研發(fā)模式敏捷化,、數(shù)據(jù)計算框架輕量化,、數(shù)據(jù)模型組織方式業(yè)務化等方面參與制定并實踐團隊的技術發(fā)展路線

5. 建立良好的公司內(nèi)外的業(yè)界技術影響力;參與培養(yǎng)未來數(shù)據(jù)人才;有效輔導團隊,提升數(shù)據(jù)研發(fā)能力

任職要求:

1. 有很強的數(shù)據(jù)設計抽象能力,,善于從復雜的數(shù)據(jù)問題中找到關鍵路徑,,能夠開發(fā)創(chuàng)新而實際的分析方法以解決復雜的商業(yè)問題

2. 有作為技術負責人系統(tǒng)化解決問題的成功案例;有海量數(shù)據(jù)建模實踐經(jīng)驗優(yōu)先

3. 熟練掌握hadoop、spark,、flink,、hbase的原理特性以及適用場景,精通流式計算開發(fā),,有開源二次開發(fā)經(jīng)驗者優(yōu)先,,有nlp數(shù)據(jù)處理經(jīng)驗者優(yōu)先

4. 性格積極樂觀,誠信,,能自我驅動,,有較強的語言表達能力;具備強烈的進取心、求知欲及團隊合作精神;具有良好的溝通,、團隊協(xié)作,、計劃和創(chuàng)新的能力

5. 本科以上學歷,,扎實的計算機專業(yè)基礎,,有5年以上大數(shù)據(jù)平臺開發(fā)經(jīng)驗;

大數(shù)據(jù)架構工程師是干嘛的篇二

職責:

1、負責公司大數(shù)據(jù)底層框架的整體架構設計,,結合公司實際業(yè)務情況進行技術選型及大數(shù)據(jù)戰(zhàn)略規(guī)劃;

2,、負責公司項目的整體評估,、設計、架構及關鍵模塊的開發(fā);

3,、負責架構優(yōu)化,,協(xié)助團隊解決開發(fā)過程中遇到的技術難題;

4、負責新技術的調(diào)研和大數(shù)據(jù)相關開源組件的研究,,并能在團隊進行推廣應用;

5,、參與數(shù)據(jù)分析、數(shù)據(jù)建模,、項目核心模塊及核心框架的開發(fā);

6,、負責大數(shù)據(jù)平臺的性能條有和問題診斷。

任職要求:

1,、計算機相關專業(yè),,本科及以上學歷,3-5年以上工作經(jīng)驗,,2-3年大數(shù)據(jù)相關經(jīng)驗;

2,、具有扎實的大數(shù)據(jù)和數(shù)據(jù)倉庫理論功底,負責過大數(shù)據(jù)平臺或數(shù)據(jù)倉庫設計;

3,、對基于hadoop的大數(shù)據(jù)體系有深入的認識,,具備相關產(chǎn)品(hadoop、hive,、hbase,、spark、storm,、flume,、kafka、redis,、es等)項目應用研發(fā)經(jīng)驗,,有hadoop集群搭建和管理經(jīng)驗,度過hadoop和spark源碼;

4,、熟悉linux和python語言,,了解scala原理和底層技術;

5、熟悉分布式系統(tǒng)的架構及對其進行設計和優(yōu)化,,對海量數(shù)據(jù)的清晰,、分析處理及存儲有相關的實戰(zhàn)經(jīng)驗;

6、算法基礎扎實,,熟悉常見的數(shù)據(jù)結構,,深入理解分布式算法和以上提到的分布式系統(tǒng),

7,、必須有一線coding的能力;

8,、有統(tǒng)計學,、數(shù)學知識,海量數(shù)據(jù)處理,、分析和挖掘,,大型互聯(lián)網(wǎng)公司從業(yè)經(jīng)歷著優(yōu)先。

大數(shù)據(jù)架構工程師是干嘛的篇三

職責:

1. 負責大數(shù)據(jù)基礎和應用平臺的整體規(guī)劃和架構設計,,參與需求分析,,架構設計,詳細設計以及技術選型決策

2. 參與數(shù)據(jù)挖掘和建模相關核心算法的代碼實現(xiàn)

3. 負責大數(shù)據(jù)算法平臺的技術把關,,性能調(diào)優(yōu),,控制架構質(zhì)量,解決項目技術難題;對研發(fā)項目和任務需求進行評估和方案設計,、拆分任務并指導工程師完成開發(fā)

4. 帶領團隊提供并實現(xiàn)大數(shù)據(jù)算法平臺上各項數(shù)據(jù)接入,、數(shù)據(jù)挖掘分析及數(shù)據(jù)可視化的架構設計與能力,支持解決方案實施

5. 負責數(shù)據(jù)庫設計,、應用架構設計,、核心技術選型等工作

6. 協(xié)調(diào)解決開發(fā)中的技術問題、設計和監(jiān)控運營指標,,保障系統(tǒng)穩(wěn)定運行

7. 培養(yǎng),,指導有能力的員工,指導工程師進行技術驗證實現(xiàn),,核心技術攻關,,解決開發(fā)過程中的技術難題

任職要求:

1. 熟悉大數(shù)據(jù)和數(shù)據(jù)倉庫的系統(tǒng)架構設計方法

2. 熟練使用并理解hadoopspark架構及生態(tài)。(hadoop,,hive,,hbase,elasticsearch,,kafka,,sparkflink等)

3. 熟悉分布式系統(tǒng)架構,有分布式實時,、離線和機器學習平臺的架構和開發(fā)經(jīng)驗,,具備海量數(shù)據(jù)清洗、分析處理及存儲的實踐經(jīng)驗

4. 熟練使用java,,具有大規(guī)模分布式系統(tǒng)調(diào)優(yōu)經(jīng)驗

5. 熟悉ai相關算法,,熟悉機器學習、深度學習,。熟悉ai學習開源框架(tensorflow,、pytorch等)者優(yōu)先;

6. 具備良好的團隊合作精神,對工作充滿激情。

7. 熟悉fusioninsight平臺開發(fā)經(jīng)驗者優(yōu)先

大數(shù)據(jù)架構工程師是干嘛的篇四

職責:

1,、負責大數(shù)據(jù)平臺的技術選型,,基于spark,、hadoop大數(shù)據(jù)平臺建設和開發(fā);

2,、完成包括數(shù)據(jù)模型設計、數(shù)據(jù)采集,、數(shù)據(jù)存儲等方面的大數(shù)據(jù)系統(tǒng)架構的設計和數(shù)據(jù)層架構設計;

3,、構建數(shù)據(jù)中臺,為多種行業(yè)應用提供主數(shù)據(jù)(畫像標簽/關系圖譜),、數(shù)據(jù)模型,、人工智能業(yè)務算法及數(shù)據(jù)服務。

4,、對海量數(shù)據(jù)處理的業(yè)務需求進行評估和方案設計,、拆分任務并指導工程師完成開發(fā);

5、帶領大數(shù)據(jù)技術團隊提供并實現(xiàn)大數(shù)據(jù)平臺上各項數(shù)據(jù)分析和數(shù)據(jù)可視化的架構設計,,支撐解決方案實施,。

任職要求:

1、本科及以上學歷,,具有5年及以上大數(shù)據(jù)架構設計和開發(fā)經(jīng)驗;2年及以上帶領團隊經(jīng)驗;溝通能力強,。在大型互聯(lián)網(wǎng)企業(yè)從事大數(shù)據(jù)架構設計者優(yōu)先考慮;有分布式大型商業(yè)軟件系統(tǒng)設計經(jīng)驗、主導過大型商業(yè)軟件的架構設計并取得過市場商業(yè)成功者優(yōu)先考慮;

2,、熟悉整個大數(shù)據(jù)的完整處理流程,,包括數(shù)據(jù)的采集、清洗,、預處理,、存儲、分析挖據(jù),、機器學習和數(shù)據(jù)可視化;

3,、精通oracle/mysql/postgresql/greenplum/mongodb等其中至少一種主流數(shù)據(jù)庫的使用,并能進行性能調(diào)優(yōu);

4,、具備優(yōu)秀的團隊意識和溝通能力,,學習能力和主動性強,具有鉆研精神,,充滿激情,,樂于接受挑戰(zhàn)。

大數(shù)據(jù)架構工程師是干嘛的篇五

職責:

(1) 負責公司大數(shù)據(jù)平臺搭建,,相關的設計和技術開發(fā)工作,,負責大數(shù)據(jù)存儲系統(tǒng)、分布式計算系統(tǒng)、數(shù)據(jù)集成,、挖掘算法等的設計,、研發(fā)以及維護、優(yōu)化工作;

(2) 通過數(shù)據(jù)分析技術,,挖掘有利于營銷中各業(yè)務場景的變量或規(guī)則類標簽,,以提升模型效果,為文旅,、教育業(yè)務提供數(shù)學模型理論及編程支撐;

(3) 對接溝通業(yè)務系統(tǒng)研發(fā)團隊和產(chǎn)品部門,,提供數(shù)據(jù)驅動方面的專業(yè)咨詢方案,并對業(yè)務的大數(shù)據(jù)應用場景提出建設性意見;

(4) 配合部門領導進行項目需求分析,、設計開發(fā)工作,。

任職要求:

(1) 計算機、統(tǒng)計學,,數(shù)學等相關專業(yè)本科以上學歷,,5年以上大數(shù)據(jù)或文旅、教育數(shù)據(jù)產(chǎn)品設計開發(fā)經(jīng)驗,,高效高質(zhì)量產(chǎn)出需求和技術文檔;

(2) 精通hadoop,,熟悉大數(shù)據(jù)生態(tài)技術,如storm,、spark,、scala、flume,、kafka,、zookeeper、hive,、hbase,、kerberos等,有大規(guī)模集群架構,、開發(fā)及運維經(jīng)驗;熟悉hdfs/mapreduce等;

(3) 熟悉java,,能夠獨立應用python、r,、sas或類似分析工具進行數(shù)據(jù)分析;

(4) 熟悉大數(shù)據(jù)挖掘,、可視化分析,各種bi算法和產(chǎn)品等,,在計算廣告,、搜索引擎、推薦系統(tǒng),、用戶畫像等有一個或多個算法領域的研發(fā)經(jīng)驗,,能夠運用數(shù)據(jù)作為產(chǎn)品解決業(yè)務方運營及決策問題;

(5) 有互聯(lián)網(wǎng)行業(yè)工作經(jīng)驗者優(yōu)先,,有海量數(shù)據(jù)的機器學習算法實踐經(jīng)驗優(yōu)先;

(6) 工作認真、負責,,有良好的團隊合作精神,,良好的分析能力、溝通技巧,。

大數(shù)據(jù)架構工程師是干嘛的篇六

職責:

1. 規(guī)劃設計大數(shù)據(jù)平臺整體架構,,規(guī)劃各種組件,并且指導技術團隊完成相關系統(tǒng)驗證,、安裝,、部署,、配置;

2. 負責制定大數(shù)據(jù)平臺技術規(guī)范和接口規(guī)范,,指導研發(fā)團隊按照規(guī)范進行系統(tǒng)開發(fā);

3. 配合商務人員完成售前技術支持工作;

4. 完成其他與數(shù)據(jù)應用有關的技術工作;

任職要求:

1. 計算機相關專業(yè)本科學歷,5年以上工作經(jīng)驗;

2. 對大數(shù)據(jù)技術棧有非常深刻的了解;具備架構設計的實際經(jīng)驗;

3. 對信息安全架構設計及實施有一定的經(jīng)驗;

4. 熟悉linux,、windows等操作系統(tǒng)的安裝配置;

5. 熟悉互聯(lián)網(wǎng)應用的安裝配置;熟悉常見大數(shù)據(jù)技術棧組件的安裝配置;熟悉visio等繪圖工具的使用;

6. 有衛(wèi)生信息化建設經(jīng)驗者優(yōu)先;有容器安裝部署經(jīng)驗者優(yōu)先,。

大數(shù)據(jù)架構工程師是干嘛的篇七

職責:

1、負責企業(yè)大數(shù)據(jù)平臺的基礎建設,、管理及制定拓展規(guī)劃;

2,、負責大數(shù)據(jù)平臺相關自動化服務工具的設計、開發(fā);

3,、參與hadoop,、hbase、spark等核心平臺組件的開發(fā),、優(yōu)化;

4,、對平臺特殊場景化的數(shù)據(jù)應用制定相關實踐方案;

5、大數(shù)據(jù)團隊的搭建,。

任職資格:

1,、統(tǒng)招本科以上學歷,計算機等相關專業(yè),,5年以上工作經(jīng)驗;

2,、具有hadoop等大規(guī)模集群管理經(jīng)驗、海量(pb)數(shù)據(jù)處理經(jīng)驗;

3,、精通hadoop,、hive、hbase等離線平臺相關組件的原理機制;

4,、了解或熟悉storm/spark/redis/kafka/mongodb等分布式系統(tǒng);

5,、熟悉高并發(fā)、分布式開發(fā)等相關知識,,具有后端服務優(yōu)化相關經(jīng)驗;

6,、熟悉爬蟲常用框架以及反爬技術;

7,、具有良好的溝通能力、分析問題與攻關問題的能力;

8,、有責任心,,工作積極,對新領域新技術有熱情,。

大數(shù)據(jù)架構工程師是干嘛的篇八

職責:

1,、負責spark, hadoop, flink等開發(fā)和優(yōu)化。

2,、參與前期需求溝通和分析,,以產(chǎn)品化開發(fā)的思維,完成需求分解和數(shù)據(jù)架構設計,。

3,、與研發(fā)和數(shù)據(jù)科學家合作保證產(chǎn)品定義清晰,按時完成產(chǎn)品上線,。

4,、能夠洞察市場狀況,與各部門合作轉化為基于大數(shù)據(jù)挖掘的新策略或方案.

5,、主動創(chuàng)造和發(fā)掘新的基于大數(shù)據(jù)挖掘產(chǎn)品商業(yè)模式.

任職要求:

1,、全日制本科及以上學歷,計算機軟件相關專業(yè),,5年以上開發(fā)經(jīng)驗,,3年以上架構經(jīng)驗

2、精通hadoop/mapreduce/spark/hbase/flink/hive/r/mahout等分布式數(shù)據(jù)存儲和分布式計算平臺原理,,流式計算開發(fā),,有開源二次開發(fā)經(jīng)驗者優(yōu)先。

3,、精通大數(shù)據(jù)挖掘,、機器學習.熟練掌握java/perl/python至少一種編程語言。

4,、具有數(shù)據(jù)挖掘和分析,、機器學習等項目實施相關經(jīng)驗者優(yōu)先;

5、良好的跨部門溝通合作能力,,解決不同觀點能力并取得結果,。具備敏銳的互聯(lián)網(wǎng)產(chǎn)品理解力,學習能力和邏輯思維能力強;

6,、較強的自我驅動力,、推動和協(xié)調(diào)能力,強烈的責任心和團隊合作精神;

大數(shù)據(jù)架構工程師是干嘛的篇九

職責:

1,、負責公司的大數(shù)據(jù)平臺的數(shù)倉架構,、系統(tǒng)架構設計;

2,、負責帶領團隊完成輿情分析相關的挖掘方案設計;

3、負責大數(shù)據(jù)研發(fā)組團隊管理;

4,、負責帶領團隊完成輿情平臺的方案文檔撰寫,、迭代開發(fā);

5、負責研發(fā)規(guī)范制定,,研究行業(yè)前沿技術;

6,、參與產(chǎn)品規(guī)劃及設計討論。

任職要求:

1,、本科五年工作經(jīng)驗及以上,,有至少五年的大數(shù)據(jù)技術實踐經(jīng)驗,有nlp或ai相關經(jīng)驗;

2,、有很強的架構設計能力和良好的表達能力;

3,、有一定的項目管理及團隊管理能力;

4、精通hadoop,、spark生態(tài)圈中的常用組件原理及應用;

6,、理解媒體業(yè)務,,精通數(shù)據(jù)倉庫的規(guī)劃和設計;

5,、精通掌握java或python編程,有性能調(diào)優(yōu)能力;

4,、熟悉nlp算法原理及應用;

6,、對新生事物或者新技術有濃厚興趣,學習能力強,。

大數(shù)據(jù)架構工程師是干嘛的篇十

職責:

1. 負責大數(shù)據(jù)基礎平臺,、海量數(shù)據(jù)存儲/處理分布式平臺、數(shù)據(jù)分析系統(tǒng)架構設計和研發(fā);

2. 負責實時計算平臺基礎架構設計,、部署,、監(jiān)控、優(yōu)化升級;

3. 制定項目/數(shù)據(jù)倉庫設計及實現(xiàn)規(guī)范,,指導設計研發(fā)和部署;

4. 協(xié)助策略和算法團隊工作,,保障數(shù)據(jù)挖掘建模和工程化;

5. 深入研究大數(shù)據(jù)相關技術和產(chǎn)品,跟進業(yè)界先進技術;

任職要求:

1. 全日制本科及以上學歷,,5年以上軟件和分布式系統(tǒng)研發(fā)經(jīng)驗,,3年以上大數(shù)據(jù)系統(tǒng)架構經(jīng)驗;

2. 精通hadoop/hbase/spark/storm/redis技術及其生態(tài)圈;

3. 具備良好的系統(tǒng)分析能力、故障診斷能力;

4 有大數(shù)據(jù)策略,、算法,、可視化經(jīng)驗優(yōu)先。

大數(shù)據(jù)架構工程師是干嘛的篇十一

職責:

1,、負責大數(shù)據(jù)平臺技術框架的技術選型和搭建;

2,、負責核心技術問題公關,,建設高可靠性,擴展性及高性能大數(shù)據(jù)/數(shù)據(jù)應用平臺;

3,、負責規(guī)劃數(shù)據(jù)挖掘的整體流程,,負責大數(shù)據(jù)開發(fā)團隊業(yè)務需求開發(fā);

4、與其他團隊密切配合,,尋求數(shù)據(jù)層面的業(yè)務價值,,利用數(shù)據(jù)分析結論推動產(chǎn)品優(yōu)化;

5、研究和分享大數(shù)據(jù)架構領域新技術,。

任職要求:

1,、計算機相關專業(yè)全日制統(tǒng)招本科及以上;

2、5年以上工作經(jīng)驗,,至少3年以上大數(shù)據(jù)項目相關工作經(jīng)驗,,能夠設計大型大數(shù)據(jù)系統(tǒng)的架構和技術方案;

3、精通hadoop/spark/hbase/hive等大數(shù)據(jù)技術,精通etl技術;

4,、熟悉數(shù)據(jù)挖掘,,了解典型大數(shù)據(jù)算法和策略;

5、熟悉主流java技術框架,,精通關系型數(shù)據(jù)庫及sql語言,,熟悉nosql/json/xml;

6、有較強的學習能力和問題解決能力,,邏輯嚴密,、思路清晰;

7、有數(shù)據(jù)倉庫經(jīng)驗者優(yōu)先,,有金融行業(yè)項目經(jīng)驗者優(yōu)先,。

大數(shù)據(jù)架構工程師是干嘛的篇十二

職責:

1、負責大數(shù)據(jù)項目技術架構評估與設計;

2,、負責關鍵功能的開發(fā),,技術難題的解決,以及輸出代碼的關鍵把控;

3,、負責對使用關鍵技術的預研和選型,,完成poc;

4、指導工程師完成開發(fā)工作,,并能分享技術經(jīng)驗,。

任職要求:

1、3年以上相關工作經(jīng)驗,,其中具有1年以上架構設計經(jīng)驗

2,、熟悉商業(yè)智能系統(tǒng)相關技術,如 etl,、數(shù)據(jù)倉庫,、olap開發(fā);

3,、精通設計模式,熟悉面向服務架構(soa)以及其它常用軟件架構思想,,有soa方案設計,、開發(fā)實施的實際經(jīng)驗,要具備實際的服務規(guī)劃,、服務粒度劃分經(jīng)驗;并且要善于設計可重用組件和可定制化產(chǎn)品,。

4、相關技術棧:java /scala/flume/hive/kafka/hbase/ spark/storm/redis;

5,、有扎實的計算機基礎,,熟悉java等編程語言;

大數(shù)據(jù)架構工程師是干嘛的篇十三

職責:

1、負責自然語音交互,、iot家電物聯(lián)控制,、知識圖譜等相關模塊和系統(tǒng)的開發(fā);

2、負責掌握第三方接口的調(diào)用和功能實現(xiàn),,持續(xù)優(yōu)化服務性能和容量,,并保證產(chǎn)品的兼容性和執(zhí)行效率;

3、根據(jù)設計文檔和需求說明完成代碼編寫,、調(diào)試,、單元測試與維護,確保項目進度和質(zhì)量;

4,、協(xié)助制定測試計劃,,及時發(fā)現(xiàn)并修復bug,實現(xiàn)服務端的性能優(yōu)化,。

任職資格:

1、大學本科3年以上工作經(jīng)驗,,計算機相關專業(yè);

2,、熟悉軟件項目開發(fā)流程,具有良好編碼風格及文檔編寫能力;

3,、熟悉linux服務器相關技術,,能夠獨立完成服務器部署,具有相關經(jīng)驗;

4,、熟悉hadoop/spark框架,,java基礎扎實;

5、熟練使用mysql數(shù)據(jù)庫,,了解mongodb或neo4j等分布式數(shù)據(jù)庫;

6,、熟悉springcloud,ssm,docker,redis開發(fā)者優(yōu)先;

7、熟悉前端(包括但不限于html5,、css,、angularjs,、ajax,、jquery等)開發(fā)技術優(yōu)先;

8、了解socket網(wǎng)絡編程,、mqtt等,有相應實踐經(jīng)驗者優(yōu)先;

9,、有智能語音語義,、知識圖譜服務端開發(fā)經(jīng)驗者優(yōu)先。

大數(shù)據(jù)架構工程師是干嘛的篇十四

職責:

1. 負責產(chǎn)品級業(yè)務系統(tǒng)架構(如業(yè)務數(shù)據(jù)對象識別,,數(shù)據(jù)實體,、數(shù)據(jù)屬性分析,數(shù)據(jù)標準,、端到端數(shù)據(jù)流等)的設計與優(yōu)化,。協(xié)助推動跨領域重大數(shù)據(jù)問題的分析、定位,、解決方案設計,,從架構設計上保障系統(tǒng)高性能、高可用性,、高安全性,、高時效性、分布式擴展性,,并對系統(tǒng)質(zhì)量負責,。

2.負責云數(shù)據(jù)平臺的架構設計和數(shù)據(jù)處理體系的優(yōu)化,推動云數(shù)據(jù)平臺建設和持續(xù)升級,,并制定云數(shù)據(jù)平臺調(diào)用約束和規(guī)范,。

3. 結合行業(yè)應用的需求負責數(shù)據(jù)流各環(huán)節(jié)上的方案選型,主導云數(shù)據(jù)平臺建設,,參與核心代碼編寫,、審查;數(shù)據(jù)的統(tǒng)計邏輯回歸算法、實時交互分析;數(shù)據(jù)可視化方案等等的選型,、部署,、集成融合等等。

4. 對云數(shù)據(jù)平臺的關注業(yè)內(nèi)技術動態(tài),,持續(xù)推動平臺技術架構升級,,以滿足公司不同階段的數(shù)據(jù)需求。

任職要求:

1. 熟悉云計算基礎平臺,,包括 linux(ubuntu/centos)和 kvm,、openstack/k8s 等基礎環(huán)境,熟悉控制、計算,、存儲和網(wǎng)絡;

2. 掌握大型分布式系統(tǒng)的技術棧,,如:cdn、負載均衡,、服務化/異步化,、分布式緩存、nosql,、數(shù)據(jù)庫垂直及水平擴容;熟悉大數(shù)據(jù)應用端到端的相關高性能產(chǎn)品,。

3. 精通 java,python,,shell 編程語言,,精通 sql、nosql 等數(shù)據(jù)庫增刪改查的操作優(yōu)化;

4. pb 級別實戰(zhàn)數(shù)據(jù)平臺和生產(chǎn)環(huán)境的實施,、開發(fā)和管理經(jīng)驗;

5. 熟悉 docker 等容器的編排封裝,,熟悉微服務的開發(fā)和日常調(diào)度;

6.計算機、軟件,、電子信息及通信等相關專業(yè)本科以上學歷,,5 年以上軟件工程開發(fā)經(jīng)驗,2 年以上大數(shù)據(jù)架構師工作經(jīng)驗,。

大數(shù)據(jù)架構工程師是干嘛的篇十五

職責:

1,、搭建基于hadoop/spark的數(shù)據(jù)挖掘體系和大數(shù)據(jù)分析系統(tǒng)架構;

2、研究大數(shù)據(jù)領域前沿數(shù)據(jù)挖掘技術,,并引入相應技術在數(shù)據(jù)中心的使用;

3,、進行大數(shù)據(jù)系統(tǒng)框架設計、模型算法開發(fā);

4,、負責大型數(shù)據(jù)挖掘項目方案制定,、項目實施落地及優(yōu)化等 ;

5、開展數(shù)據(jù)爬取,、聚類分析,、輿情分析、魚骨圖分析,、定價策略等領域數(shù)據(jù)挖掘工作;

任職資格:

1、本科以上學歷(持有學士學位)(985,,211優(yōu)先),,計算機相關專業(yè),五年工作經(jīng)驗;

2,、二年以上數(shù)據(jù)挖掘項目經(jīng)驗,,完整參與過數(shù)據(jù)挖掘大數(shù)據(jù)平臺的架構開發(fā)過程,具備互聯(lián)網(wǎng)行業(yè)背景優(yōu)先;

3,、精通分布式計算框架(hadoop,、spark,、storm等)及相關經(jīng)驗,熟練掌握hive/sql,,python,,熟悉python、r相關數(shù)值科學計算庫(numpy,scipy等);

4,、了解傳統(tǒng)的bi/dw 理論,,能結合傳統(tǒng)bi實踐設計大數(shù)據(jù)平臺;

5、熟悉常用機器學習算法(如分類,、回歸,、聚類、關聯(lián)規(guī)則等)及其原理,,具備應用場景經(jīng)驗,,如用戶畫像、商品關聯(lián)度分析,、輿情分析;

6,、熟悉主數(shù)據(jù)、元數(shù)據(jù),、數(shù)據(jù)質(zhì)量,、和數(shù)據(jù)建模等數(shù)據(jù)治理相關的體系和方法;

7、具備較強的邏輯思維能力,、數(shù)據(jù)敏感度,,擅于利用數(shù)據(jù)發(fā)現(xiàn)問題及解決問題;

大數(shù)據(jù)架構工程師是干嘛的篇十六

職責:

1、對業(yè)務需求深入分析,,從而進行大數(shù)據(jù)平臺核心應用的架構設計,、開發(fā)和技術支持;

2、規(guī)劃業(yè)務應用系統(tǒng)和基礎平臺的技術架構,,參與需求分析,、建模、架構設計,、技術決策以及詳細設計;

3,、把握復雜系統(tǒng)的設計,確保系統(tǒng)的架構質(zhì)量,,編寫核心部分代碼;

4,、帶領團隊攻克例如大數(shù)據(jù)量、高并發(fā),、高穩(wěn)定性等帶來的各種挑戰(zhàn)及技術難關;

5,、在大數(shù)據(jù)平臺建設路線圖指導下,進行架構實施和交付物投遞,同時確保研發(fā)質(zhì)量和方向的準確性;

6,、進行團隊技術的培訓和梯隊建設崗位要求;

任職條件:

1,、本科或以上學歷,計算機相關專業(yè),,8年以上研發(fā)經(jīng)驗,,3年以上大數(shù)據(jù)平臺相關工作經(jīng)驗;

2、精通java開發(fā)技術,,熟悉shell,、scala語言和python優(yōu)先;

3、編程基礎扎實,,熟悉i/o,、多線程、集群等基礎框架和原理,,熟悉分布式,、緩存、消息等機制;

4,、熟悉常用設計模式,,代碼評審規(guī)則,單元測試,,持續(xù)集成;

5,、熟悉aws云服務或阿里云服務;

6、熟悉容器技術原理,、生態(tài)系統(tǒng),,熟悉docker、mesos,、kubernetes等容器系統(tǒng),、大規(guī)模容器資源調(diào)度系統(tǒng)、分布式應用生命周期,。

大數(shù)據(jù)架構工程師是干嘛的篇十七

職責

1,、參與打造數(shù)據(jù)中內(nèi)容的規(guī)劃、設計,、開發(fā)和優(yōu)化工作,,實現(xiàn)高質(zhì)量數(shù)據(jù)的互通與共享;

2、參與數(shù)據(jù)模型體系構建及數(shù)據(jù)主題設計和開發(fā),,搭建離線,、實時數(shù)據(jù)公共層;

3、參與數(shù)據(jù)產(chǎn)品與應用的數(shù)據(jù)研發(fā),,發(fā)掘數(shù)據(jù)商業(yè)價值,打造極致體驗的數(shù)據(jù)產(chǎn)品;

4、深入理解數(shù)據(jù)產(chǎn)品的使用場景,,為業(yè)務方在可用性,、成本上做更好的設計做參考;

5、團隊成員的搭建與培養(yǎng),,任務劃分,,進度監(jiān)控,代碼規(guī)范,,質(zhì)量保證,。

任職要求

1、熟悉數(shù)據(jù)倉庫建模理論,,3年以上相關領域實踐經(jīng)驗;

2,、hadoop、hive,、hbase,、storm、spark等技術框架;

3,、精通java,、python、scala,、go等開發(fā)語言中的1到2種;

4,、熟練使用python/java/scala或其他語言進行復雜業(yè)務邏輯的數(shù)據(jù)處理工作,具備海量數(shù)據(jù)處理以及性能優(yōu)化的能力;

5,、對mysql,、redis、hbase等數(shù)據(jù)庫有一定的了解和使用經(jīng)驗;

6,、對olap,,多維分析及kylin熟悉的更好;

7、思路清晰,,具備良好的溝通能力和理解能力,,較強的學習能力以及快速解決問題的能力;

8、對新技術,,新事物有很好的探索和求知欲;

9,、熟悉常規(guī)的機器學習算法:降維(pca、svd),、svm,、邏輯回歸(logisticsregression)、決策樹(gbdt,、randomforest),、關聯(lián)規(guī)則(apriori,、fp-growth)、聚類(k-means)等優(yōu)先,。

大數(shù)據(jù)架構工程師是干嘛的篇十八

職責:

1,、大數(shù)據(jù)平臺架構規(guī)劃與設計;

2、負責大數(shù)據(jù)平臺技術框架的選型與技術難點攻關;

3,、能夠獨立進行行業(yè)大數(shù)據(jù)應用的整體技術框架,、業(yè)務框架和系統(tǒng)架構設計和調(diào)優(yōu)等工作,根據(jù)系統(tǒng)的業(yè)務需求,,能夠指導開發(fā)團隊完成實施工作;

4,、負責數(shù)據(jù)基礎架構和數(shù)據(jù)處理體系的升級和優(yōu)化,不斷提升系統(tǒng)的穩(wěn)定性和效率,,為相關的業(yè)務提供大數(shù)據(jù)底層平臺的支持和保證;

5,、培養(yǎng)和建立大數(shù)據(jù)團隊,對團隊進行技術指導,。

任職要求:

1,、計算機相關專業(yè)的背景專業(yè)一類院校畢業(yè)本科、碩士學位,,8年(碩士5年)以上工作經(jīng)驗(至少擁有3年以上大數(shù)據(jù)項目或產(chǎn)品架構經(jīng)驗);

2,、精通java,j2ee 相關技術,,精通常見開源框架的架構,,精通關系數(shù)據(jù)庫系統(tǒng)(oracle mysql等)和nosql數(shù)據(jù)存儲系統(tǒng)的原理和架構;

3、精通sql和mapreduce,、spark處理方法;

4,、精通大數(shù)據(jù)系統(tǒng)架構,熟悉業(yè)界數(shù)據(jù)倉庫建模方法及新的建模方法的發(fā)展,,有dw,,bi架構體系的專項建設經(jīng)驗;

5、對大數(shù)據(jù)體系有深入認識,,熟悉kafka,、hadoop、hive,、hbase,、spark、storm,、greenplum,、es、redis等大數(shù)據(jù)技術,,并能設計相關數(shù)據(jù)模型;

6,、很強的學習,、分析和解決問題能力,可以迅速掌握業(yè)務邏輯并轉化為技術方案,,能獨立撰寫項目解決方案,、項目技術文檔;

7、具有較強的內(nèi)外溝通能力,,良好的團隊意識和協(xié)作精神;

8、機器學習技術,、數(shù)據(jù)挖掘,、人工智能經(jīng)驗豐富者優(yōu)先考慮;

9、 具有能源電力行業(yè)工作經(jīng)驗者優(yōu)先,。

大數(shù)據(jù)架構工程師是干嘛的篇十九

職責:

1,、從事電信行業(yè)大數(shù)據(jù)項目相關業(yè)務調(diào)研、產(chǎn)品標準建設,、核心模型設計和優(yōu)化,、系統(tǒng)測試等相關工作

2、與數(shù)據(jù)專業(yè)委員會一起研究數(shù)據(jù)建模方案和建模工具,,負責產(chǎn)品線產(chǎn)品的數(shù)據(jù)架構,、數(shù)據(jù)模型設計

3、參與研究數(shù)據(jù)庫之間的數(shù)據(jù)轉換方式,,參與項目中的數(shù)據(jù)移植工作,,收集在項目中的數(shù)據(jù)移植經(jīng)驗,優(yōu)化產(chǎn)品的數(shù)據(jù)模型

4,、負責培訓本部門隊伍的數(shù)據(jù)模型基礎理論工作,,建立數(shù)據(jù)模型團隊

崗位要求:

1、統(tǒng)招本科學歷,,3年以上主流數(shù)據(jù)上(db2,、oracle、sqlserver,、mysql等)etl設計,、開發(fā)經(jīng)驗,具備大型數(shù)據(jù)倉庫邏輯模型和物理模型設計經(jīng)驗,,精通sql,,有較好的sql性能調(diào)優(yōu)經(jīng)驗;

2、擁有python,,r等數(shù)學建模工具的使用經(jīng)驗,,并具備一定的數(shù)據(jù)處理和建模經(jīng)驗,可以輸出相應的模型分析結果,、模型比較,、模型效率以及對模型的理論和判斷依據(jù)方法并對其進行完整的解釋和說明;

3,、熟悉統(tǒng)計學基本原理,做過實戰(zhàn)的數(shù)據(jù)建模項目;

4,、有分布式數(shù)據(jù)倉庫建設相關經(jīng)驗者優(yōu)先,,具備電信行業(yè)數(shù)據(jù)倉庫建設相關經(jīng)驗者優(yōu)先;

大數(shù)據(jù)架構工程師是干嘛的篇二十

職責:

1、數(shù)據(jù)分析軟件平臺架構搭建

2,、負責深度學習核心框架或高性能后臺服務系統(tǒng)的架構設計工作,,包括系統(tǒng)總體規(guī)劃、架構設計,、系統(tǒng)分析,、軟件實現(xiàn)、性能優(yōu)化;

3,、指導開發(fā)人員開發(fā),,并解決系統(tǒng)出現(xiàn)的問題,理解物業(yè)需求;

4,、制定開發(fā)計劃和控制開發(fā)進度,,負責指導研發(fā)團隊開展設計工作;

任職要求:

1、碩士以上,,計算機或先關專業(yè);

2,、5年左右軟件開發(fā)經(jīng)驗,含3年以上系統(tǒng)分析,、設計經(jīng)驗,,有大型軟件項目大型軟件項目;有中大型互聯(lián)網(wǎng)企業(yè)數(shù)據(jù)庫架構設計及管理經(jīng)驗,

3,、 具備良好的組件級建模能力,,熟悉http、tcp等協(xié)議

4,、熟練使用uml進行軟件架構設計,,至少精通ea,rational,, visio等一種設計工具.

5,、精通至少一種編程語言,熟悉 linux 相關技術,,能獨立在上面進行開發(fā),、測試和部署

6、深入理解數(shù)據(jù)庫,、數(shù)據(jù)倉庫,、大數(shù)據(jù)、分布式體系架構和關鍵技術

大數(shù)據(jù)架構工程師是干嘛的篇二十一

職責:

1,、負責公司的大數(shù)據(jù)處理框架的研發(fā)設計工作,,梳理可實現(xiàn)方案和技術規(guī)范;

2,、開發(fā)、完善公司大數(shù)據(jù)平臺;參與公司離線,、實時大數(shù)據(jù)處理系統(tǒng)的設計,、開發(fā)、測試及多個業(yè)務模塊的自動化集成;

3,、負責業(yè)務平臺數(shù)據(jù)統(tǒng)計分析模塊的設計與規(guī)劃;

4,、負責公司產(chǎn)品研發(fā)過程中的數(shù)據(jù)及存儲設計;

5、帶領和培養(yǎng)團隊完成組織分解的目標;

任職要求:

1,、統(tǒng)招本科及以上學歷,,計算機、軟件工程相關專業(yè),,至少8年以上工作經(jīng)驗,5年以上大數(shù)據(jù)開發(fā)經(jīng)驗;

2,、熟悉java,、hadoop、hdfs,、hive,、hbase、spark,、storm,、flume等相關技術的基礎架構

3、熟悉數(shù)據(jù)倉庫,,數(shù)據(jù)算法,,分布式計算技術理論,具有大數(shù)據(jù)整體系統(tǒng)架構設計經(jīng)驗;

4,、熟悉linux系統(tǒng),,熟練使用shell/perl/python腳本處理問題;

5、對深度學習框架(tensorflow)和機器學習(svm 隨機深林貝葉斯等)有一定了解的優(yōu)先;

6,、能夠組織項目開發(fā)組協(xié)同工作,,包括團隊溝通、計劃,、開發(fā)環(huán)境管理等

全文閱讀已結束,,如果需要下載本文請點擊

下載此文檔
a.付費復制
付費獲得該文章復制權限
特價:5.99元 10元
微信掃碼支付
已付款請點這里
b.包月復制
付費后30天內(nèi)不限量復制
特價:9.99元 10元
微信掃碼支付
已付款請點這里 聯(lián)系客服