IT小白向大數(shù)據(jù)領(lǐng)域邁進(jìn)
掌握實(shí)用技能
增長(zhǎng)經(jīng)驗(yàn)
搭建完善的項(xiàng)目
接觸廣泛技術(shù)面
學(xué)習(xí)前沿技術(shù)
突破職業(yè)瓶頸
掌握核心技能
Linux、Hadoop
Java、Hive
Flume、Kafka
等基礎(chǔ)框架
深入了解金融審批業(yè)務(wù)流程
學(xué)會(huì)構(gòu)建金融行業(yè)的數(shù)據(jù)處理平臺(tái)
充分掌握多種大數(shù)據(jù)技術(shù)框架的協(xié)調(diào)應(yīng)用
熟練應(yīng)用數(shù)倉(cāng)建模理論
包含數(shù)十個(gè)Shell腳本，涉及若干業(yè)務(wù)數(shù)據(jù)原始表格及幾十張金融審批大數(shù)據(jù)表格和幾十個(gè)金融審批統(tǒng)計(jì)指標(biāo)。
根據(jù)完整的數(shù)倉(cāng)建模體系，提出實(shí)踐性強(qiáng)的數(shù)倉(cāng)搭建理論過(guò)程，進(jìn)行建模流程分析。
參考多方大廠的數(shù)倉(cāng)分層體系，合理數(shù)倉(cāng)分層，降低數(shù)據(jù)的耦合度，提高數(shù)據(jù)分析效率，同時(shí)降低數(shù)據(jù)計(jì)算成本。
采用實(shí)戰(zhàn)式數(shù)據(jù)模擬策略，模擬生成金融審批行業(yè)的原始業(yè)務(wù)員數(shù)據(jù)，針對(duì)真實(shí)數(shù)據(jù)執(zhí)行數(shù)據(jù)采集工作。
采用流行數(shù)據(jù)采集框架DataX采集業(yè)務(wù)數(shù)據(jù)，提供詳細(xì)配置文件及腳本解讀，掌握更多腳本編寫技巧。
采用Maxwell監(jiān)控業(yè)務(wù)數(shù)據(jù)變動(dòng)情況，做到更實(shí)時(shí)更準(zhǔn)確的變動(dòng)數(shù)據(jù)采集。
進(jìn)行真實(shí)數(shù)據(jù)ETL實(shí)操，掌握如何對(duì)原始數(shù)據(jù)進(jìn)行清洗、脫敏、數(shù)據(jù)分類和整合。
基于業(yè)務(wù)總線矩陣構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)DWD層，完成周期型快照事實(shí)表和累積型快照事實(shí)表的搭建和數(shù)據(jù)裝載。
基于業(yè)務(wù)總線矩陣構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)DIM層。
基于指標(biāo)體系分析構(gòu)建DWS層，將相同粒度、統(tǒng)計(jì)周期的派生指標(biāo)整合統(tǒng)計(jì)為寬表，提高計(jì)算結(jié)果復(fù)用性。
安裝部署DolphinScheduler，實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)搭建全流程定時(shí)自動(dòng)化調(diào)度以及故障自動(dòng)郵件告警。
采用SuperSet對(duì)調(diào)度采集至RDBMS數(shù)據(jù)庫(kù)中的結(jié)果數(shù)據(jù)進(jìn)行多圖表、儀表盤可視化展示。
針對(duì)企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)的海量數(shù)據(jù)計(jì)算業(yè)務(wù)，進(jìn)行全面的性能調(diào)優(yōu)，包括CPU配置、內(nèi)存分配、任務(wù)提交和任務(wù)執(zhí)行計(jì)劃等方面。
