職位概述
- 工作職責：1、基于公司業(yè)務需要，建設和設計數(shù)據(jù)倉庫及數(shù)據(jù)模型，維護與完善數(shù)據(jù)模型各類信息； 2、負責大數(shù)據(jù)資產(chǎn)管理、集群治理的方案設計與落地 3、負責數(shù)據(jù)倉庫設計，以及數(shù)據(jù)ETL的設計、開發(fā)與性能優(yōu)化； 4、負責核心數(shù)據(jù)倉庫模型代碼開發(fā)，跟進ETL的完成。負責接入源系統(tǒng)數(shù)據(jù)的腳本開發(fā)、數(shù)據(jù)測試與驗證、以及調度開發(fā)等工作； 5、跟蹤、監(jiān)測、維護及優(yōu)化數(shù)據(jù)模型，確保數(shù)據(jù)模型被有效使用
崗位要求：1、熟悉數(shù)據(jù)資產(chǎn)管理、集群治理、數(shù)據(jù)倉庫和數(shù)據(jù)模型建設的相關技術細節(jié)； 2、熟悉 Hadoop，Hive，Spark等一種以上大數(shù)據(jù)處理工具和技術， 有實際大數(shù)據(jù)開發(fā)、處理經(jīng)驗；具備編寫、優(yōu)化復雜SQL的能力； 3、負責過大型數(shù)據(jù)平臺或數(shù)據(jù)倉庫設計，具有扎實的大數(shù)據(jù)和數(shù)據(jù)倉庫的理論功底；掌握一定元數(shù)據(jù)管理方法論、元數(shù)據(jù)管理設計； 4、掌握一定的數(shù)據(jù)質量管理方法論、評估模型設計、質量報表設計，能夠根據(jù)數(shù)據(jù)質量要求制定數(shù)據(jù)質量探查規(guī)則并進行實施； 5、邏輯思維能力強，對數(shù)據(jù)敏感，有較強的學習能力和創(chuàng)新思維； 6、5年以上大數(shù)據(jù)開發(fā)、分析相關項目經(jīng)驗； 7、熟悉sparkStreaming、flink，且有實時項目開發(fā)經(jīng)驗，能獨立完成開發(fā)任務； 8、有互聯(lián)網(wǎng)數(shù)據(jù)研發(fā)、海量數(shù)據(jù)處理分析、OLAP項目開發(fā)或用戶行為數(shù)據(jù)分析經(jīng)驗者優(yōu)先； 9、有參與開源項目對社區(qū)有貢獻的經(jīng)驗者優(yōu)先； 10、熱愛計算機科學和互聯(lián)網(wǎng)技術，樂于快速學習和嘗試新技術、新工具。
|