主辦單位：北京市科學技術研究院、北京市計算中心
承辦單位：北京市北科信息處理公司
培訓地點：中國 北京
培訓時間：2014年5月16日—18日
【課程簡介】
通過此課程的培訓，學員可以了解大數(shù)據(jù)技術的發(fā)展方向并深入理解Hadoop技術架構、運作機制和使用場景，對于MapReduce程序開發(fā)有清晰全面的認識，可以開發(fā)測試Hadoop程序，以及獨立規(guī)劃、部署以及調(diào)試生產(chǎn)環(huán)境的Hadoop集群，并進行版本管理。課程還涵蓋了對新一代大數(shù)據(jù)操作系統(tǒng)--YARN的深入介紹，幫助學員在企業(yè)大數(shù)據(jù)戰(zhàn)略方向上體現(xiàn)自身價值。課程主要涵蓋以下內(nèi)容：Hadoop基礎知識、HDFS和MapReduce基本原理和架構、HDFS配置和部署、Mapreduce開發(fā)、Hadoop 2.0 – YARN、大數(shù)據(jù)生態(tài)系統(tǒng)。
【講師簡介】
堵老師，知名外企資深架構師，中國大陸地區(qū)唯一Apache Hadoop項目的Committer，負責Hadoop相關代碼的審查和變更。有多年云計算與大數(shù)據(jù)開發(fā)和實施經(jīng)驗，熟悉大數(shù)據(jù)領域各項技術和商業(yè)模式，并活躍于國內(nèi)外重要的大數(shù)據(jù)會議和論壇。
【課程對象】
<!--[if !supportLists]-->1. <!--[endif]-->各類 IT/軟件企業(yè)和研發(fā)機構的技術總監(jiān)、企業(yè)CIO；<!--[if !supportLists]-->2. <!--[endif]-->大數(shù)據(jù)系統(tǒng)工程師、軟件架構師、軟件設計師、高級軟件工程師等；
<!--[if !supportLists]-->3. <!--[endif]-->數(shù)據(jù)庫開發(fā)人員、互聯(lián)網(wǎng)產(chǎn)品后臺開發(fā)人員；
<!--[if !supportLists]-->4. <!--[endif]-->運維人員、數(shù)據(jù)分析師、軟件測試人員。
【課程內(nèi)容】
| 課題 | 課程內(nèi)容 |
| 第一天：Hadoop基礎知識、基本原理和部署 | |
| 模塊一 大數(shù)據(jù)和Hadoop入門 | 大數(shù)據(jù)Hadoop的前世今生 Hadoop經(jīng)典應用案例 |
| 模塊二 Hadoop基礎知識 | Hadoop與分布式系統(tǒng) Hadoop擴展性分析 Hadoop基本模塊 |
| 模塊三 HDFS與MAPREDUCE基本原理與架構 | HDFS架構與功能分析 HDFS讀與寫流程分析 HDFS守護進程分析 MapReduce基礎知識 MapReduce基本功能分析 MapReduce架構分析與故障恢復 |
| 模塊四 Hadoop集群管理與配置 | Hadoop常見使用命令 Hadoop運維故障及解決 Hadoop常用工具 Hadoop集群安裝和開啟LZO壓縮 Hadoop配置集群具備機架感知 Hadoop集群開啟公平/能力任務調(diào)度器 |
| 模塊五 Hadoop集群維護與管理 | 查看集群狀態(tài) HDFS數(shù)據(jù)管理 Mapreduce 任務管理 HDFS安全模式 Namenode,Jobtrack單點失效問題 添加刪除節(jié)點 數(shù)據(jù)平衡 文件數(shù)據(jù)跨集群拷貝 集群升級 |
| 模塊六 Hadoop集群規(guī)劃、測試、監(jiān)控與高可用 | 集群規(guī)劃(硬件,系統(tǒng),網(wǎng)絡) 集群性能測試 使用Ganglia 監(jiān)控Hadoop集群 使用Cacti 監(jiān)控操作系統(tǒng) Hadoop 元數(shù)據(jù)NFS備份方案 Hadoop SecondaryNameNode備份方案 |
| 第二天：Hadoop MapReduce開發(fā) | |
| 模塊七 Hadoop MapReduce流程分析 | Hadoop JobTracker 詳解回顧 Hadoop TaskTracker 詳解回顧 Hadoop 任務提交流程詳解 |
| 模塊八 使用 Hadoop MapReduce Streaming 編程 | Hadoop Streaming 和 Java MapReduce API 差異。 學習使用 MapReduce 實現(xiàn)數(shù)據(jù)庫功能,比如select group by join union all ) |
| 模塊九 MapReduce分布式程序 | MapReduce流程 剖析一個MapReduce程序 基本MapReduceAPI 概念 驅(qū)動代碼 Mapper Reducer API 使用Eclipse進行快速開發(fā) 上機實驗 新MapReduce API |
| 模塊十 HDFS分布式文件系統(tǒng)編程 | Hadoop HDFS 回顧 Hadoop NameNode 回顧 Hadoop DataNode 回顧 Hadoop I/O 操作 使用Hadoop HDFS API對HDFS編程 |
| 模塊十一 Hadoop MapReduce高級編程和優(yōu)化 | ToolRunner介紹 使用MRUnit進行測試 利用Combiners來減少中間數(shù)據(jù) 使用Configure和Close方法來進行Map/Reduce設置和關閉 編寫Partitioner來優(yōu)化負載平衡 直接訪問Hadoop分布式文件系統(tǒng)（HDFS） 使用分布式緩存（Distributed Cache） map優(yōu)化 reduce優(yōu)化 小文件優(yōu)化 |
| 第三天：Hadoop 2.0 — YARN和大數(shù)據(jù)生態(tài)系統(tǒng) | |
| 模塊十二 YARN基礎知識與架構分析 | 下一代HADOOP – YARN介紹 YARN的主要模塊分析 YARN的 RPC通信機制 YARN的 兩級資源調(diào)度機制 YARN的 多應用支持 |
| 模塊十三 YARN集群配置和MapReduce特性 | YARN基礎配置 腳本化部署與卸載 YARN配置文件 YARN高級配置 高可用性配置 機架感知 基于CPU, Memory資源的公平、能力調(diào)度器 MapReduce的兼容性分析 插件化Shuffle和排序 |
| 模塊十四 YARN集群維護與管理 | 查看YARN集群狀態(tài) 查看YARN高可用性狀態(tài) YARN任務管理與追蹤 集群ResourceManager失效 添加刪除節(jié)點 集群升級 任務歷史服務器 集群安全認證 |
| 模塊十五 Hadoop YARN二次開發(fā) | YARN Resource Manager API YARN客戶端和Application Master 剖析Distributed Shell 總結不同應用的Application Master定制方案 |
| 模塊十六 大數(shù)據(jù)生態(tài)系統(tǒng) | 大數(shù)據(jù)與存儲系統(tǒng) 大數(shù)據(jù)與線上系統(tǒng) 大數(shù)據(jù)與實時系統(tǒng) 大數(shù)據(jù)與數(shù)據(jù)倉庫 大數(shù)據(jù)與內(nèi)存計算 大數(shù)據(jù)與虛擬化 大數(shù)據(jù)與云計算 |
【培訓費用】
培訓費：3980元/人，包括培訓費、版資料費。培訓期間免費提供午餐。可協(xié)助安排住宿，食宿費用自理。
【優(yōu)惠政策】
<!--[if !supportLists]-->1. <!--[endif]-->4月20日（含）之前報名且付款的學員可享受九折優(yōu)惠；<!--[if !supportLists]-->2. <!--[endif]-->4月21日之后，5月10日之前報名且付款的學員可享受九五折優(yōu)惠；
<!--[if !supportLists]-->3. <!--[endif]-->3+1團報，同期班同單位3人報名且付款的團體，免費贈送1個學員名額；
<!--[if !supportLists]-->4. <!--[endif]-->參加過往屆北信培訓班（不包含公開課）的學員享受八八折優(yōu)惠。
（1，2，3，4的優(yōu)惠不能同時使用，最終解釋權歸北信所有）
【溫馨提示】
<!--[if !supportLists]-->1. <!--[endif]-->名額有限，報滿為止。我們將在報名后3個工作日內(nèi)發(fā)送確認函，報名是否成功以收到我們的確認郵件為準;<!--[if !supportLists]-->2. <!--[endif]-->請自帶筆記本電腦方便上機操作；
<!--[if !supportLists]-->3. <!--[endif]-->已經(jīng)成功付款的學員，若臨時有事不能參加培訓，請?zhí)崆奥?lián)系我們報退，可退還100%的培訓費用；也可以轉邀其他人代為參加；或者提交延期申請，推遲至下一期的培訓。
【報名方式】
<!--[if !supportLists]-->1. <!--[endif]-->或者填寫報名回執(zhí)表，將報名回執(zhí)表以附件的形式發(fā)送到郵箱bktraining@163.com；<!--[if !supportLists]-->2. <!--[endif]-->報名咨詢： 張老師 （咨詢時間：周一至周五9:00-17:00）
<!--[if !supportLists]-->3. <!--[endif]-->電話：010-57674188 手機：13466732145
<!--[if !supportLists]-->4. <!--[endif]-->聯(lián)系郵箱：bktraining@163.com
【付費方式】 現(xiàn)金、支票、銀行轉賬匯款
賬戶名稱：北京市北科信息處理公司開戶銀行：北京銀行健翔支行
賬號：0109 1122 8001 2010 2013 270
匯款信息：Hadoop系統(tǒng)原理、開發(fā)與運維培訓班
