課程亮點

以課堂講解、演示、案例分析為主,輔以互動研討、現場答疑、學以致用。

適用對象

不限

學習目標

了解大數據業內*新發展趨勢,深入掌握Hadoop的原理,Hadoop生態系統

課程內容

大數據背景與思維

1. 什么是大數據

2. 大數據技術的產生背景

3. 大數據應用場景

4. 大數據思維

5. 大數據產業鏈

6. 大數據是如何變革各行業的技術架構、商業模

式和組織方式

大數據應用-運營商案例分析

大數據時代的數據特征與數據來源分析

大數據時代的發展趨勢—軟件應用的泛互聯網化

大數據時代的發展趨勢—行業應用垂直整合

大數據時代的發展趨勢—數據銀行的誕生

大數據時代處理數據理念的三個大改變

大數據時代的核心技術-數據分析技術(Hadoop、MPI、BSP)

大數據時代的核心技術-數據挖掘

大數據分析的核心技術-可視化技術精解

大數據時代的精髓-預測技術

目前運營商大數據利用現狀

利用大數據存在的問題

數據質量分析

場景不足

數據不統一的問題解決

如何進化金融行業的大數據基礎數據

案例分享: 對外數據服務-數據到價值的轉換, 我們能夠提供的對外大數據服務

案例分享:位置數據貨幣化-如何為俏江南提供選址報告

互聯網金融大數據應用案例深度解析

大數據在互聯網金融及傳統金融公司的應用案例解析-以下幾個案例將貫穿整個培訓內容, 作為每個章節的案例分析細化到每個大數據的知識點

互聯網企業遇到大數據的問題

案例分享:海量數據金融解決方案

案例分享:基于區塊鏈的金融信任體系海量數據解決方案

案例分享:淘寶飛天平臺實踐

案例分享:微信紅包大數據分析

案例分享:互聯網金融的大數據分析

案例分享:金融行業在風控, 營銷, 產品設計, 營業網點分析等領域的大數據分析

案例分享:一個大型銀行的核心信用系統大數據項目分析案例深入剖析

大數據企業級平臺選型方案

開源方案:Hadoop,Spark

海量數據處理系統

的架構設計

這個部分主要講解海量數據處理的架構設計,針對海量數據的問題設計海量數據的架構解決方案。

海量數據處理的系統場景

大數據時代的數據架構解決方案

海量數據處理的架構匯總

8種海量數據處理的架構設計比較

分布式系統架構的海量數據處理設計

海量數據處理設計

典型案例分析:結合一個500強實時數據系統的實例案例進行分析,詳細分析海量數據處理的架構設計

Hadoop集群架構搭建及實踐案例沙盤演練

Hadoop版本介紹與選擇

Hadoop部署實踐

系統環境配置

進程分布規劃與啟動

Hadoop基本使用操作

HDFS核心架構分析

開發環境準備

讀文件

寫文件

Eclipse與Hadoop的集成

基于HDFS的命令總結

基于的API編程模型及其開發演練

Hadoop集群架構搭建方法

Hadoop集群架構性能管理

Namenode單點問題改進

HDFS,NameNode,DataNode的調優和節點擴展*佳實踐

主要調優工具和性能監控工具

Hadoop集群對于硬件的要求和選型

Hadoop集群中對硬件、操作系統的調優方法

實際案例分析

基于Hadoop的集群解決方案

典型案例分析:結合一個大型金融行業大數據系統的實例案例分析及演練Hadoop集群架構搭建過程

典型案例分析:通過HDFS API完成一個復雜數據系統的操作過程

動手實驗:完成Hadoop整體集群體系的搭建,配置與優化

HDFS原理及高級程序實戰演練(深入理解HDFS)

HDFS架構及原理

HDFS NameNode、DataNode解析

HDFS 副本機制塊機制解析

HDFS實戰-命令行等使用

HDFS命令行工具

啟動、停止HDFS服務

如何查看HDFS日志

如何查看HDFS Web控制臺

HDFS參數配置

PB級Hadoop存儲架構設計