職位描述
該職位信息待核驗,請仔細了解后再進行投遞!
1.負責基于 DataWorks EMR 集群搭建企業(yè)級數(shù)據(jù)開發(fā)平臺架構,結合業(yè)務場景設計分層數(shù)據(jù)模型(ODS、DW、DM 層),保障數(shù)據(jù)鏈路的穩(wěn)定性、可擴展性與高效性,支撐業(yè)務數(shù)據(jù)需求的快速落地。
2.主導大規(guī)模數(shù)據(jù) ETL 任務開發(fā)與優(yōu)化,基于 DataWorks 調度系統(tǒng)配置復雜任務依賴,運用 Hive、Spark、Flink 等計算引擎處理 TB/PB 級數(shù)據(jù),解決數(shù)據(jù)傾斜、任務延遲等性能問題,提升數(shù)據(jù)處理效率 30% 以上。
3.參與數(shù)據(jù)質量體系建設,基于 DataWorks 數(shù)據(jù)質量模塊設計監(jiān)控規(guī)則(如空值校驗、一致性校驗、業(yè)務邏輯校驗),定期輸出數(shù)據(jù)質量報告,推動數(shù)據(jù)問題溯源與整改,確保數(shù)據(jù)準確率達 99.9% 以上。
4.負責 DataWorks EMR 集群與上下游系統(tǒng)的集成對接,包括業(yè)務數(shù)據(jù)庫(MySQL、Oracle 等)的數(shù)據(jù)同步(通過 DataX、Sqoop 等工具)、數(shù)據(jù)服務接口開發(fā)(對接 API 網(wǎng)關),保障數(shù)據(jù)流轉的完整性與實時性。
5.主導數(shù)據(jù)開發(fā)領域技術難題攻關,例如實時數(shù)據(jù)處理場景下的流批一體架構設計、DataWorks 權限精細化管控方案落地、EMR 集群資源動態(tài)調度優(yōu)化等,形成可復用的技術方案與最佳實踐。
6.參與數(shù)據(jù)開發(fā)規(guī)范制定與推廣,包括 SQL 編碼規(guī)范、ETL 任務開發(fā)流程、DataWorks 項目管理規(guī)范等,組織技術培訓與代碼 Review,提升團隊整體數(shù)據(jù)開發(fā)能力與協(xié)作效率。
7.支撐業(yè)務部門數(shù)據(jù)需求,深入理解業(yè)務邏輯(如電商交易、用戶行為分析、風控模型等),提供定制化數(shù)據(jù)開發(fā)解決方案,輸出數(shù)據(jù)報表、數(shù)據(jù)接口等成果,助力業(yè)務決策與產(chǎn)品優(yōu)化。
8.負責數(shù)據(jù)開發(fā)相關系統(tǒng)的運維與應急響應,監(jiān)控 DataWorks 任務運行狀態(tài)、EMR 集群資源使用率,制定應急預案,快速解決任務失敗、集群故障等問題,保障數(shù)據(jù)服務可用性達 99.99%。
1.本科及以上學歷,計算機、大數(shù)據(jù)、統(tǒng)計學等相關專業(yè),5 年以上數(shù)據(jù)開發(fā)經(jīng)驗,其中至少 3 年基于阿里云 DataWorks EMR 集群的實戰(zhàn)經(jīng)驗,有大型互聯(lián)網(wǎng)、金融或零售行業(yè)數(shù)據(jù)平臺搭建經(jīng)驗者優(yōu)先。
2.精通 DataWorks 全流程操作,包括數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、調度配置、數(shù)據(jù)質量、數(shù)據(jù)服務等模塊,能獨立完成復雜數(shù)據(jù)項目從設計到上線的全生命周期管理。
3.熟練掌握 EMR 集群常用組件(Hadoop、Hive、Spark、Flink、Hologres等)的原理與使用,能基于業(yè)務需求選擇合適的計算引擎,具備組件性能調優(yōu)與故障排查能力。
4.精通 SQL 語言(包括復雜查詢、窗口函數(shù)、存儲過程),熟練使用 Python/Scala 編寫數(shù)據(jù)處理腳本,具備基于 Flink/Spark Streaming 開發(fā)實時數(shù)據(jù) pipelines 的經(jīng)驗,能處理高并發(fā)、低延遲的數(shù)據(jù)場景。
5.深入理解數(shù)據(jù)倉庫理論(如星型模型、雪花模型、緩慢變化維度),具備從 0 到 1 搭建企業(yè)級數(shù)據(jù)倉庫的經(jīng)驗,能結合業(yè)務特點設計合理的數(shù)據(jù)分層與模型,保障數(shù)據(jù)的易用性與可維護性。
6.具備較強的技術方案設計能力與問題解決能力,能獨立分析并解決數(shù)據(jù)開發(fā)過程中的復雜技術問題(如數(shù)據(jù)一致性問題、大規(guī)模數(shù)據(jù)處理性能瓶頸),有技術難點攻關成功案例者優(yōu)先。
7.具備良好的團隊協(xié)作與溝通能力,能清晰理解業(yè)務需求并轉化為技術方案,主動推動跨部門協(xié)作(如與業(yè)務部門、運維部門對接),同時具備指導初級數(shù)據(jù)開發(fā)工程師的能力。
8.對數(shù)據(jù)安全與合規(guī)有深刻認知,熟悉數(shù)據(jù)脫敏、權限管控、數(shù)據(jù)備份等相關規(guī)范,能在數(shù)據(jù)開發(fā)過程中落實數(shù)據(jù)安全要求,有參與過數(shù)據(jù)安全項目或持有相關認證(如阿里云大數(shù)據(jù)認證)者優(yōu)先。
工作地點
地址:北京朝陽區(qū)北京-朝陽區(qū)仰山公園朝陽仰山公園
??
點擊查看地圖
詳細位置,可以參考上方地址信息
求職提示:用人單位發(fā)布虛假招聘信息,或以任何名義向求職者收取財物(如體檢費、置裝費、押金、服裝費、培訓費、身份證、畢業(yè)證等),均涉嫌違法,請求職者務必提高警惕。
職位發(fā)布者
HR
天九共享控股集團有限公司
-
基金·證券·期貨·投資
-
1000人以上
-
國內(nèi)上市公司
-
秋實街秀菊園7號樓

應屆畢業(yè)生
本科
最近更新
614人關注
注:聯(lián)系我時,請說是在四川人才網(wǎng)上看到的。
