我要報名

咨詢電話：
手　　機：	郵箱：

課程對象

1，系統(tǒng)架構師、系統(tǒng)分析師、高級程序員、資深開發(fā)人員。

2，牽涉到大數(shù)據(jù)處理的數(shù)據(jù)中心運行、規(guī)劃、設計負責人。

3，政府機關，金融保險、移動和互聯(lián)網(wǎng)等大數(shù)據(jù)來源單位的負責人。

4，高校、科研院所牽涉到大數(shù)據(jù)與分布式數(shù)據(jù)處理的項目負責人。

培訓目標

1，全面掌握大數(shù)據(jù)處理技術的相關知識。

2，學習Spark的核心技術方法以及應用特征。

3，深入使用Spark在大數(shù)據(jù)實時處理中的使用。

4，掌握BDAS相關工具及其主要功能。

課程大綱

第一講 數(shù)據(jù)中臺建設（基礎篇）

本節(jié)要點：

中國的信息化建設開始由IT向著DT轉型，在未來的3-5年時間里，各行各業(yè)都會陸續(xù)建設起來自己的數(shù)據(jù)中臺。只有有了數(shù)據(jù)中臺作為基礎，才能落地更多的人工智能應用。然而，什么是數(shù)據(jù)中臺，它有什么功能，該如何建設？本節(jié)從DT轉型的過程開始梳理，幫助大家準確理解數(shù)據(jù)中臺的建設。

目標：

1、準確理解數(shù)據(jù)中臺，數(shù)據(jù)驅動，以及數(shù)據(jù)價值變現(xiàn)

2、在數(shù)據(jù)中臺中實踐“盡可能采集數(shù)據(jù)、更好地整理數(shù)據(jù)、有效地挖掘數(shù)據(jù)價值”

3、將“自頂向下”與“自下而上”相結合，制訂切實可行的數(shù)據(jù)中臺建設路線圖

4、數(shù)據(jù)中臺的技術架構最終落地到分布式大數(shù)據(jù)技術上

內容：

1、從IT向DT的信息化轉型

1）以部門為單位的IT建設及其局限

2）基于SOA架構的IT建設及其局限

3）互聯(lián)網(wǎng)架構發(fā)展及其數(shù)據(jù)需求

結論：我們需要存儲、處理、應用海量數(shù)據(jù)的能力

2、數(shù)據(jù)應用成熟度

1）查詢統(tǒng)計：數(shù)據(jù)分散于各業(yè)務系統(tǒng)，無質量管控，應用價值低

2）決策支持：數(shù)據(jù)集中于數(shù)據(jù)倉庫，有質量管控，但局限于數(shù)據(jù)庫、數(shù)據(jù)采集手段等問題

3）數(shù)據(jù)中臺：讓數(shù)據(jù)產生價值（核心）

3、數(shù)據(jù)中臺

1）盡可能多地收集數(shù)據(jù)

2）更好地整理歸集數(shù)據(jù)

3）如何去挖掘數(shù)據(jù)的價值

4、數(shù)據(jù)中臺的建設思路

1）自頂而下

2）自下而上

5、數(shù)據(jù)中臺的技術架構

第二講 數(shù)據(jù)中臺建設（大數(shù)據(jù)篇）

本節(jié)要點：

數(shù)據(jù)中臺建設的底層技術框架是大數(shù)據(jù)技術。通過大數(shù)據(jù)技術，可以為數(shù)據(jù)中臺提供豐富的手段，采集更多的數(shù)據(jù)、更高效處理數(shù)據(jù)，以及有更多的方式挖掘數(shù)據(jù)價值。那么，什么是大數(shù)據(jù)技術，它們有什么豐富的手段，怎么建設大數(shù)據(jù)技術中臺，去支撐數(shù)據(jù)中臺？

目標：

1、了解大數(shù)據(jù)技術的運行原理，理解大數(shù)據(jù)為什么能夠高效處理海量數(shù)據(jù)

2、掌握大數(shù)據(jù)有哪些豐富的技術，如何支撐數(shù)據(jù)中臺的各個層次的應用

3、掌握大數(shù)據(jù)技術中臺的建設思路，如何封裝技術框架、支撐業(yè)務應用

內容：

1、傳統(tǒng)關系型數(shù)據(jù)庫的設計局限

1）數(shù)據(jù)量

2）計算能力

3）數(shù)據(jù)復雜性

2、分布式大數(shù)據(jù)的設計理念

1）分布式并行計算

2）移動計算而不是移動數(shù)據(jù)

3）分布式計算發(fā)展歷程與未來趨勢

3、大數(shù)據(jù)技術及其生態(tài)圈

1）Hadoop核心組件：MapReduce，HDFS

2）并行計算框架：Spark vs. MapReduce

3）在線查詢：HBase與Impala

4）流式計算：Flink vs. Spark Stream

5）文本索引：Solr vs. ElasticSearch

6）Zookeeper與高可靠架構

7）Kafka分布式隊列與日志收集

8）數(shù)據(jù)挖掘工具：Mahout、SparkR與Spark ML

4、數(shù)據(jù)中臺的大數(shù)據(jù)技術中臺建設

1）數(shù)據(jù)中臺的大數(shù)據(jù)技術框架

2）數(shù)據(jù)中臺的大數(shù)據(jù)關鍵技術

a. Hadoop的工作原理與HDFS

b. Spark的工作原理與分布式內存計算

3）數(shù)據(jù)中臺的大數(shù)據(jù)技術中臺建設

a.將技術框架與業(yè)務應用解耦

b.抽象共性、降本增效的思想方法

c.業(yè)務層、基礎層與技術層的建設思路

第三講 數(shù)據(jù)中臺建設（數(shù)據(jù)治理篇）

本節(jié)要點：

在數(shù)據(jù)中臺建設中，數(shù)據(jù)治理起到及其重要的作用，可以有效地進行數(shù)據(jù)質量管理，為后續(xù)的數(shù)據(jù)應用打下良好的基礎。在本節(jié)課程中，老師詳細拆解，多樣化地采集數(shù)據(jù)，設計ETL過程，進行數(shù)據(jù)質量管理，運用大數(shù)據(jù)技術構建數(shù)據(jù)倉庫。

目標：

1、掌握大數(shù)據(jù)技術結構化與非結構化的數(shù)據(jù)采集

2、掌握數(shù)據(jù)中臺的ETL過程與數(shù)據(jù)倉庫建設實踐

3、如何運用大數(shù)據(jù)技術進行ETL過程與數(shù)據(jù)倉庫建設

內容：

1、數(shù)據(jù)中臺中數(shù)據(jù)采集功能的建設思路

1）結構化數(shù)據(jù)采集（Sqoop框架）及其案例實戰(zhàn)

a. Sqoop數(shù)據(jù)導入設計實戰(zhàn)

b. Sqoop數(shù)據(jù)導出設計實戰(zhàn)

c. Sqoop在大數(shù)據(jù)技術中臺中的設計思路

2）非結構化數(shù)據(jù)采集（flume+kafka+spark streaming）及其案例實戰(zhàn)

a. flume+kafka+spark streaming的設計原理

b.用戶行為分析的應用實戰(zhàn)

2、數(shù)據(jù)中臺中的數(shù)據(jù)質量管理與數(shù)據(jù)倉庫

1） ETL過程中數(shù)據(jù)清洗、轉換、集成及其應用實戰(zhàn)

2）運用大數(shù)據(jù)技術進行ETL過程的應用實戰(zhàn)

a. Spark+Hive的設計原理與實戰(zhàn)

b. Spark+Hive在大數(shù)據(jù)技術中臺中的設計思路

3）多維數(shù)據(jù)模型與數(shù)據(jù)倉庫建設

a. 多維數(shù)據(jù)模型的概念及其應用實踐

b. 雪花模型、星形模型與主題域模型的建設過程

c. 分享在數(shù)據(jù)倉庫建設上遇到的那些“坑”及其解決思路

3、數(shù)據(jù)中臺的質量體系建設

1）數(shù)據(jù)體系規(guī)劃：原始數(shù)據(jù)層、數(shù)據(jù)倉庫層、數(shù)據(jù)集市層

2）數(shù)據(jù)資產管理：資產規(guī)劃、數(shù)據(jù)治理、標簽管理

3）數(shù)據(jù)質量管理：元數(shù)據(jù)管理、數(shù)據(jù)血緣管理

4）數(shù)據(jù)倉庫建設：多維數(shù)據(jù)建模、事實表、維度表、聚合表

第四講 數(shù)據(jù)中臺建設（數(shù)據(jù)應用篇）

本節(jié)要點：

數(shù)據(jù)中臺建設的核心就是數(shù)據(jù)驅動，也就是以數(shù)據(jù)價值變現(xiàn)為核心，思考如何挖掘數(shù)據(jù)價值、設計數(shù)據(jù)產品、形成數(shù)據(jù)應用，甚至是智能應用。老師將通過一大波的應用案例，帶領大家去探尋數(shù)據(jù)應用的神奇世界，挖掘數(shù)據(jù)應用世界的神奇寶藏，以及挖掘這些寶藏的金鑰匙（思路與方法）

目標：

1、掌握數(shù)據(jù)價值變現(xiàn)的常見方法（可視化、風控、推薦、人工智能等）

2、掌握基于數(shù)據(jù)集市的數(shù)據(jù)建模過程（經驗模型、數(shù)據(jù)模型）

3、掌握如何將數(shù)據(jù)應用落地到大數(shù)據(jù)技術中臺建設

內容：

1、數(shù)據(jù)中臺的核心是數(shù)據(jù)價值變現(xiàn)

1）數(shù)據(jù)可視化

案例：網(wǎng)絡運營商大數(shù)據(jù)監(jiān)控系統(tǒng)建設過程

2）數(shù)據(jù)風控

案例：稅務系統(tǒng)虛開發(fā)票風險監(jiān)控系統(tǒng)建設過程

3）數(shù)字化運營

案例：用戶行為分析與數(shù)字化運營的建設過程

4）數(shù)據(jù)挖掘與人工智能

案例：遠程智慧醫(yī)療平臺的人工智能建設過程

2、數(shù)據(jù)集市的系統(tǒng)建設與數(shù)據(jù)標簽

1）數(shù)據(jù)集市的概念與應用舉例

案例：稅務系統(tǒng)虛開發(fā)票風險監(jiān)控系統(tǒng)的數(shù)據(jù)集市應用

2）數(shù)據(jù)血緣管理的概念及其設計

a. 數(shù)據(jù)血緣管理在數(shù)據(jù)質量管理中的重要作用

b. 數(shù)據(jù)血緣管理的相關設計及其實踐

3）數(shù)據(jù)標簽的分析設計與開發(fā)

a. 數(shù)據(jù)標簽的類型與在數(shù)據(jù)分析中的作用

b. 數(shù)據(jù)標簽融合表及其設計實踐

第五講 數(shù)據(jù)中臺建設（數(shù)據(jù)服務篇）

本節(jié)要點：

數(shù)據(jù)中臺經過一系列的分析處理之后，最終要對外提供數(shù)據(jù)服務才能價值變現(xiàn)。數(shù)據(jù)展現(xiàn)與數(shù)據(jù)服務是價值變現(xiàn)的最后一步，是用戶對產品質量最直觀的感受。因此，數(shù)據(jù)服務需要提供良好的用戶體驗，就需要數(shù)據(jù)服務“快、準、美”。

目標：

1、掌握在海量數(shù)據(jù)中離線分析、在線分析與近線分析的設計思路

2、掌握在海量數(shù)據(jù)中秒級查詢的設計思路（數(shù)據(jù)索引）與實踐

3、理解打造支持快速數(shù)據(jù)分析展現(xiàn)的大數(shù)據(jù)技術中臺建設思路

內容：

1、海量數(shù)據(jù)的離線分析、在線分析與近線分析

1）離線分析的概念與設計實踐

案例：稅務系統(tǒng)虛開發(fā)票風險監(jiān)控系統(tǒng)的風險數(shù)據(jù)離線分析

2）在線分析的概念與設計實踐

案例：網(wǎng)絡運營商大數(shù)據(jù)監(jiān)控系統(tǒng)的實時流量監(jiān)控

3）近線分析的概念與設計實踐

案例：用戶行為分析與數(shù)字化運營的分析設計過程

2、海量數(shù)據(jù)的秒級查詢的設計實現(xiàn)

1）分布式NoSQL數(shù)據(jù)庫的設計實踐

a. 傳統(tǒng)關系型數(shù)據(jù)庫的局限與NoSQL數(shù)據(jù)庫

b. MongoDB的工作原理與設計實踐

c. HBase的工作原理與設計實踐

2）分布式索引ElasticSearch的設計實踐

a. ElasticSearch的工作原理與設計實踐

b. ElasticSearch的優(yōu)化與在技術中臺中的設計思路

3）分布式MOLAP框架Kylin的設計實踐

a. Kylin的工作原理與設計實踐

b. Kylin的降維設計與性能優(yōu)化

3、海量數(shù)據(jù)的數(shù)據(jù)服務與數(shù)據(jù)共享

1）大數(shù)據(jù)分析報表系統(tǒng)的技術中臺建設思路

2）大數(shù)據(jù)服務共享平臺的技術架構與建設思路

范老師

航天信息前首席架構師，暢銷書籍《大話重構》作者，規(guī)?；艚軸PC，軟件架構及重構的客座講師，獨立咨詢顧問。先后參與了數(shù)十個國內大型軟件項目，涉及國家財政、軍工、稅務、醫(yī)療等領域的大數(shù)據(jù)建設、風險防控與人工智能研究，互聯(lián)網(wǎng)及大數(shù)據(jù)轉型的實踐者與倡導者。

我要報名

在線報名：數(shù)據(jù)中臺與大數(shù)據(jù)建設的方法與實踐(北京)