第一階段：大數(shù)據(jù)技術(shù)(linux+Hadoop2+Storm+Spark)

　　Linux

　　1、 Linux的介紹：Linux的發(fā)展歷史、Linux和Windows的對比和優(yōu)勢、Linux的常見版本

　　2、 Linux的安裝：VMware Workstation虛擬軟件安裝過程、CentOS虛擬機(jī)安裝過程

　　3、 Linux的常用命令：常用命令的介紹、常用命令的使用和練習(xí)

　　4、 VI、VIM編輯器：VI、VIM編輯器的介紹、VI、VIM扥使用和常用快捷鍵

　　5、 Linux用戶和組賬戶管理：用戶的管理、組管理

　　6、 Linux系統(tǒng)文件權(quán)限管理：文件權(quán)限介紹、文件權(quán)限的操作

　　7、 Linux的RPM軟件包管理：RPM包的介紹、RPM安裝、卸載等操作

　　8、Linux網(wǎng)絡(luò)：Linux網(wǎng)絡(luò)的介紹、Linux網(wǎng)絡(luò)的配置和維護(hù)

　　9、Shell編程：Shell的介紹、Shell腳本的編寫

　　10、Linux上常見軟件的安裝：安裝JDK、安裝Tomcat、安裝Eclipse

　　Hadoop

　　1、 Hadoop基礎(chǔ)知識(shí)：Hadoop產(chǎn)生背景、Hadoop在大數(shù)據(jù)、云計(jì)算中的位置和關(guān)系、國內(nèi)外Hadoop應(yīng)用案例介紹、國內(nèi)Hadoop的就業(yè)情況分析及課程大綱介紹、分布式系統(tǒng)概述、Hadoop生態(tài)圈以及各組成部分的簡介、Hadoop為分布式環(huán)境搭建、SSH免密碼登陸的配置和原理、Hadoop核心MapReduce例子說明

　　2、 分布式文件系統(tǒng)HDFS：分布式文件系統(tǒng)HDFS簡介、HDFS的系統(tǒng)組成介紹、HDFS的組成部分詳解、副本存放策略及路由規(guī)則、命令行接口、Java接口、Hadoop的RPC機(jī)制、HDFS上傳下載數(shù)據(jù)過程和源碼分析、客戶端與HDFS的數(shù)據(jù)流講解

　　3、 分布式計(jì)算模型MapReduce：如何理解map、reduce計(jì)算模型、剖析偽分布式下MapReduce作業(yè)的執(zhí)行過程、序列化、MapReduce的類型與格式、MapReduce簡單開發(fā)環(huán)境搭建和Maven環(huán)境搭建、MapReduce應(yīng)用開發(fā)、更多示例講解，熟悉MapReduce算法原理、使用壓縮分隔減少輸入規(guī)模、利用Combiner減少中間數(shù)據(jù)、編寫Partitioner優(yōu)化負(fù)載均衡、如何自定義排序規(guī)則、如何自定義分組規(guī)則、Shuffle過程和原理、MapReduce提交過程和源碼分析、MapReduce 執(zhí)行過程和源碼分析、MapReduce 本地debug和遠(yuǎn)程debug、MapReduce優(yōu)化

　　4、 分布式協(xié)調(diào)框架ZooKeeper：ZooKeepe基本概念和體系結(jié)構(gòu)、ZooKeeper集群的安裝、操作ZooKeeper、ZooKeeper編程API

　　5、Hadoop2.x集群搭建：Hadoop2.x集群結(jié)構(gòu)體系介紹、Hadoop2.x集群搭建、NameNode的高可用性(HA)、HDFS Federation、ResourceManager 的高可用性(HA)、Hadoop集群常見問題和解決方法、Hadoop集群管理

　　6、 分布式數(shù)據(jù)庫Hbase：HBase定義、HBase與RDBMS的對比、數(shù)據(jù)模型、系統(tǒng)架構(gòu)、HBase上的MapReduce、表的設(shè)計(jì)、集群的搭建過程講解、集群的監(jiān)控、集群的管理、HBase Shell以及演示、Java客戶端以及代碼演示

　　7、 數(shù)據(jù)倉庫Hive(使用sql進(jìn)行計(jì)算的hadoop框架)：數(shù)據(jù)倉庫基礎(chǔ)知識(shí)、Hive定義、Hive體系結(jié)構(gòu)簡介、Hive集群、客戶端簡介、HiveQL定義、HiveQL與SQL的比較、數(shù)據(jù)類型、外部表和分區(qū)表、表的操作與CLI客戶端演示、數(shù)據(jù)導(dǎo)入與CLI客戶端演示、查詢數(shù)據(jù)與CLI客戶端演示、數(shù)據(jù)的連接與CLI客戶端演示、用戶自定義函數(shù)(UDF)的開發(fā)與演示

　　8、 Pig(hadoop計(jì)算的另一種框架)：Pig概述、安裝Pig、Pig的語法和常用函數(shù)、Pig的自定義函數(shù)(UDF)開發(fā)

　　9、 數(shù)據(jù)遷移工具Sqoop：配置Sqoop、使用Sqoop把數(shù)據(jù)從mysql導(dǎo)入到HDFS中、使用Sqoop把數(shù)據(jù)從HDFS導(dǎo)出到mysql中

　　10、機(jī)器學(xué)習(xí)框架Mahout：機(jī)器學(xué)習(xí)的概念和使用場景、Mahout的安裝與測試、Mahout的解析聚類算法、解析分類算法、協(xié)同過濾算法等常用算法

　　11、Hadoop項(xiàng)目實(shí)戰(zhàn)：移動(dòng)運(yùn)營商流量分析系統(tǒng)、電影點(diǎn)評網(wǎng)站推薦系統(tǒng)

　　Storm

　　1、 Storm基礎(chǔ)知識(shí)：Storm的基本概念、Storm的應(yīng)用場景、Storm和Hadoop的對比

　　2、 Storm集群的安裝：linux環(huán)境準(zhǔn)備、zookeeper集群搭建、Storm集群搭建、Storm配置文件配置項(xiàng)講解、集群搭建常見問題解決

　　3、 Storm常用組件和編程API：Topology、 Spout、Bolt、Storm分組策略(stream groupings)、Storm項(xiàng)目maven環(huán)境搭建、使用Strom開發(fā)一個(gè)WordCount例子、Storm程序本地模式debug、Storm程序遠(yuǎn)程debug、Storm事物處理、Storm消息可靠性及容錯(cuò)原理

　　4、 Storm結(jié)合消息隊(duì)列Kafka：消息隊(duì)列基本概念(Producer、Consumer、Topic、Broker等)、消息隊(duì)列Kafka使用場景、Storm結(jié)合Kafka編程API

　　5、 Storm Trident：Trident概念、Trident state 原理、Trident開發(fā)實(shí)例

　　6、 Storm DPRC：Storm DRPC(分布式遠(yuǎn)程調(diào)用)介紹、Storm DRPC實(shí)戰(zhàn)講解

　　7、 Storm和Hadoop 2.x的整合：Storm on Yarn

　　8、 Storm開發(fā)實(shí)戰(zhàn)：安全事件監(jiān)控系統(tǒng)(Kafka+Storm+Hbase)、商品推薦系統(tǒng)(Kafka+Storm+Mahout+Hbase)

　　Spark 1、 Spark介紹：Spark應(yīng)用場景、Spark和Hadoop MR、Storm的比較和優(yōu)勢

　　2、 Scala編程語言快速上手(Spark是用Scala語言編寫的)：Scala語言與java語言的對比和優(yōu)勢、Scala基礎(chǔ)、Scala面向?qū)ο缶幊獭cala函數(shù)式編程、Scala高級編程

　　3、 Spark概念和編程模型：RDD 、transformation、action、lineage等、Spark模型簡介、Spark緩存策略和容錯(cuò)處理、寬依賴與窄依賴

　　4、 Spark集群部署：Spark配置講解、Spark集群搭建、集群搭建常見問題解決

　　5、 Spark原理：核心組件和常用RDD、數(shù)據(jù)本地性、任務(wù)調(diào)度、DAGScheduler、TaskScheduler、Task細(xì)節(jié)、廣播變量、累加器、性能調(diào)優(yōu)

　　6、 Spark和Hadoop2.x整合：Spark on Yarn原理、JobServer配置與部署

　　7、 Spark Streaming：數(shù)據(jù)源和DStream、無狀態(tài)transformation與有狀態(tài)transformation、checkpoint和容錯(cuò)、性能優(yōu)化

　　8、Spark SQL和Shark：Shark數(shù)據(jù)模型和Shark數(shù)據(jù)類型、Shark的架構(gòu)和部署、Shark與Spark結(jié)合、Spark SQL架構(gòu)

　　9、Spark編程實(shí)戰(zhàn)：移動(dòng)運(yùn)營商流量分析系統(tǒng)

　　第二階段：虛擬化技術(shù)(CloudStack)(比openstack易用)

　　Cloudstack

　　1、虛擬化技術(shù)概覽和CloudStack介紹：虛擬化技術(shù)的發(fā)展歷程、虛擬化技術(shù)關(guān)鍵組成部分、常見虛擬化技術(shù)、常見存儲(chǔ)技術(shù)、Apache CloudStack歷史和基本功能、CloudStack各種專有術(shù)語、CloudStack的架構(gòu)介紹

　　2、CloudStack的安裝：前期準(zhǔn)備和要求(Linux環(huán)境準(zhǔn)備、源代碼的獲取和編譯、創(chuàng)建yum庫)單節(jié)點(diǎn)CloudStack安裝、多節(jié)點(diǎn)CloudStack(集群)安裝(CloudStack配置介紹、安裝和配置CloudStack MySQL數(shù)據(jù)庫、配置CloudStack管理節(jié)點(diǎn)和工作節(jié)點(diǎn))

　　3、CloudStack的配置和管理：CloudStack管理界面介紹、CloudStack全局配置和常用參數(shù)的調(diào)整、CloudStack的用戶管理、CloudStack的應(yīng)用管理、CloudStack物理資源的管理、CloudStack虛擬資源的管理

　　4、CloudStack網(wǎng)絡(luò)管理：CloudStack網(wǎng)絡(luò)介紹(物理網(wǎng)絡(luò)、虛擬網(wǎng)絡(luò)、虛擬路由)、高級網(wǎng)絡(luò)技術(shù)(端口轉(zhuǎn)發(fā)、NAT地址轉(zhuǎn)換、VPN、負(fù)載均衡設(shè)置、VPC的基本設(shè)置)

　　5、CloudStack的存儲(chǔ)：主存儲(chǔ)配置和管理(系統(tǒng)要求和配置、添加主存儲(chǔ))、二級存儲(chǔ)配置和管理(添加二級存儲(chǔ)、修改二級存儲(chǔ)IP地址、使用OpenStack Swift)、Volumes的配置和管理(volume的操作和維護(hù))、Snapshots(快照)的配置和管理(快照的操作和維護(hù)、VM快照遷移)

　　6、CloudStack支持的Hypervisor：RedHat KVM(KVM的配置和實(shí)戰(zhàn))、Citrix XenServer(介紹)、Oracle VM(介紹)、VMware vSphere(介紹)

　　7、CloudStack的高可靠性(HA)：CloudStack基礎(chǔ)平臺(tái)的高可靠性、CloudStack冗余虛擬路由、CloudStack存儲(chǔ)高可靠性(主存儲(chǔ)的高可靠性、二級存儲(chǔ)的高可靠性)、CloudStack高可靠管理(CloudStack高可靠管理器--Queue)、CloudStack上運(yùn)行高可靠應(yīng)用(CloudStack存儲(chǔ)遷移)、CloudStack的自動(dòng)調(diào)整擴(kuò)展(自動(dòng)調(diào)整擴(kuò)展策略、VM屬性的自動(dòng)調(diào)整擴(kuò)展、VM組的自動(dòng)調(diào)整擴(kuò)展)

　　8、CloudStack的擴(kuò)展和性能調(diào)優(yōu)：CloudStack的擴(kuò)展(CloudStack整合Citrix NetScaler、CloudStack整合Nicira NVP、CloudStack整合OpenStack Swift存儲(chǔ))、CloudStack優(yōu)化(管理服務(wù)器內(nèi)存調(diào)整、數(shù)據(jù)庫連接池調(diào)整、設(shè)置和監(jiān)控主機(jī)的容量、資源使用率調(diào)整、)

　　9、CloudStack云平臺(tái)的云霧和常見問題及解決方法：CloudStack中的各種事件、日志管理方法、網(wǎng)絡(luò)和流量管理、系統(tǒng)監(jiān)控及告警通知、各種常見問題的解決辦法

　　10、CloudStack上開發(fā)和部署應(yīng)用：在CloudCloudStack開發(fā)一個(gè)PaaS應(yīng)用、在CloudStack上部署Hadoop2.x集群