QQ在線客服
免費咨詢熱線
400-615-1233
工作時間-工作日
8:30-17:30

Hadoop系統(tǒng)搭建及項目實踐

  • 類　　別：大數(shù)據(jù)與云計算
  • 書　　名：Hadoop系統(tǒng)搭建及項目實踐
  • 主　　編：劉淼 陳紅 時瑞鵬
  • 定　　價：48
  • 開　　本：16開
  • 印刷方式：雙色
  • 頁　　數(shù)：240
  • 時　　間：2021年6月
  • 出  版  社：北京郵電大學出版社
  • 書　　號：978-7-5635-5913-8

內(nèi)容摘要

        本書內(nèi)容包括Hadoop基礎(chǔ)知識、Hadoop安裝與配置管理、HDFS技術(shù)、MapReduce技術(shù)、Hadoop I/O操作、HBase技術(shù)、ZooKeeper技術(shù)、分布式數(shù)據(jù)倉庫技術(shù)Hive、分布式數(shù)據(jù)分析工具Pig、Hadoop與RDBMS數(shù)據(jù)遷移工具Sqoop、Hadoop實時數(shù)據(jù)處理技術(shù)。
        本書適合作為Hadoop系統(tǒng)搭建基礎(chǔ)教材，也可作為相關(guān)技術(shù)人員的參考用書。

目錄

項目1 Hadoop基礎(chǔ)知識
  任務(wù)1 認識Hadoop
    1.1.1 Hadoop的由來
    1.1.2 關(guān)于Hadoop的版本
  任務(wù)2 理解Hadoop體系架構(gòu)
    1.2.1 Hadoop 1.x和Hadoop 2.x的區(qū)別
    1.2.2 HDFS架構(gòu)
    1.2.3 MapReduce架構(gòu)
  任務(wù)3 理解Hadoop與分布式開發(fā)
  任務(wù)4 Hadoop應(yīng)用案例簡介
項目2 Hadoop安裝與配置管理
  任務(wù)１Hadoop環(huán)境的搭建與配置
    2.1.1安裝VMware
    2.1.2安裝CentOS
    2.1.3安裝JDK
  任務(wù)２Hadoop的安裝模式
    2.2.1 單機安裝
    2.2.2 分布式安裝
  任務(wù)3 Hadoop的啟動與驗證
    2.3.1 格式化HDFS
    2.3.2 Hadoop的守護進程
    2.3.3 驗證集群HDFS
項目3 HDFS技術(shù)
  任務(wù)１ 認識HDFS
    3.1.1 HDFS產(chǎn)生的背景
    3.1.2 HDFS簡介
    3.1.3 HDFS的特點
  任務(wù)２了解HDFS架構(gòu)
    3.2.1 HDFS讀取和寫入數(shù)據(jù)
    3.2.2 元數(shù)據(jù)節(jié)點和數(shù)據(jù)節(jié)點
    3.2.3 輔助元數(shù)據(jù)節(jié)點
    3.2.4 安全模式
  任務(wù)3 Hadoop shell命令
    3.3.1 命令格式
    3.3.2 HDFS命令
    3.3.3 HDFS管理員命令
項目4 MapReduce技術(shù)
  任務(wù)１認識MapReduce
    4.1.1MapReduce簡介
    4.1.2MapReduce編程模型概念
    4.1.3MapReduce架構(gòu)的基本概念
    4.1.4應(yīng)用實例——詞頻統(tǒng)計
    4.1.5使用Eclipse創(chuàng)建Java工程
    4.1.6WordCount代碼實現(xiàn)
  任務(wù)2 MapReduce編程基礎(chǔ)
    4.2.1 剖析MapReduce編程過程
    4.2.2 Map工作過程
    4.2.3 Reduce工作過程
   4.2.4 Job工作過程
    4.2.5 Shuffle過程
    4.2.6 MapReduce的輸入/輸出格式
    4.2.7 MapReduce的優(yōu)化
  任務(wù)3 MapReduce高級編程
    4.3.1 數(shù)據(jù)去重
    4.3.2 數(shù)據(jù)排序
項目5 Hadoop I/O操作
  任務(wù)１了解數(shù)據(jù)完整性
    5.1.1校驗和
    5.1.2數(shù)據(jù)塊檢測程序
  任務(wù)2 基于文件的數(shù)據(jù)結(jié)構(gòu)
    5.2.1 SequenceFile存儲
    5.2.2 MapFile存儲
    5.2.3 SequenceFile轉(zhuǎn)換成MapFile
  任務(wù)3 壓縮
    5.3.1 Hadoop中壓縮格式的實現(xiàn)Codec
    5.3.2 本地庫
  任務(wù)4 序列化
    5.4.1 Hadoop序列化
    5.4.2 Writable和WritableComparable接口
    5.4.3 Writable類
項目6 HBase技術(shù)
  任務(wù)１了解HBase
    6.1.1 HBase是什么
    6.1.2 搭建HBase環(huán)境
  任務(wù)2 理解HBase體系架構(gòu)
    6.2.1 架構(gòu)簡介
    6.2.2 理解HBase數(shù)據(jù)模型
    6.2.3 概念視圖
    6.2.4 物理視圖
    6.2.5 HBase的命名空間
    6.2.6 HBase表、行與列族
  任務(wù)3 HBase shell基本操作
  任務(wù)4 HBase API操作
    6.4.1 HBase API類
    6.4.2 HBase Java API操作
  任務(wù)5 基于HBase API的應(yīng)用
    6.5.1 Scan
    6.5.2 過濾器
    6.5.3 協(xié)處理器
    6.5.4 計數(shù)器
項目7 ZooKeeper技術(shù)
  任務(wù)１了解ZooKeeper
    7.1.1 ZooKeeper是什么
    7.1.2 ZooKeeper的特征
    7.1.3 ZooKeeper的架構(gòu)
    7.1.4 ZooKeeper的工作原理
    7.1.5 ZooKeeper數(shù)據(jù)模型
  任務(wù)2 搭建ZooKeeper 環(huán)境
    7.2.1 ZooKeeper準備
    7.2.2 ZooKeeper配置
    7.2.3 啟動ZooKeeper3.4.14
  任務(wù)3 ZooKeeper常用命令
    7.3.1 ZooKeeper客戶端命令
    7.3.2 ZooKeeper服務(wù)器命令
  任務(wù)4 ZooKeeper API操作
    7.4.1 ZooKeeper API 準備
    7.4.2 ZooKeeper API應(yīng)用
項目8 分布式數(shù)據(jù)倉庫技術(shù)Hive
  任務(wù)１認識Hive
  任務(wù)2 Hive服務(wù)組成
  任務(wù)3 Hive的安裝和配置
    8.3.1 Hive的基本安裝
    8.3.2 MySQL的安裝
    8.3.3 Hive的配置
  任務(wù)4 Hive shell
  任務(wù)5 HiveQL詳解
    8.5.1 Hive數(shù)據(jù)管理方式
    8.5.2 Hive表DDL操作
    8.5.3 Hive表DML操作
項目9 分布式數(shù)據(jù)分析工具Pig
  任務(wù)1 了解Pig
  任務(wù)2 Pig的安裝
  任務(wù)3 Pig保留關(guān)鍵字
    9.3.1 Pig數(shù)據(jù)類型
    9.3.2 null
    9.3.3 Pig相關(guān)命令
  任務(wù)4 使用 Pig
    9.4.1 Pig 命令行選項
    9.4.2 Pig 的兩種運行模式
    9.4.3 Pig的相關(guān) shell 命令詳解
    9.4.4 Pig程序運行方式
    9.4.5 Pig輸入與輸出
  任務(wù)5 模式
  任務(wù)6 Pig相關(guān)函數(shù)詳解
    9.6.1 Pig常用函數(shù)
    9.6.2 數(shù)組操作函數(shù)
    9.6.3 過濾函數(shù)
    9.6.4 數(shù)據(jù)操作函數(shù)
    9.6.5 聚合函數(shù)
項目10 Hadoop與RDBMS數(shù)據(jù)遷移工具Sqoop
  任務(wù)1 Sqoop的安裝
  任務(wù)２ Sqoop配置
  任務(wù)3 Sqoop相關(guān)功能
    10.3.1 Sqoop基本操作
    10.3.2 使用Sqoop導入MySQL數(shù)據(jù)到HDFS
    10.3.3 使用Sqoop導出HDFS數(shù)據(jù)到MySQL
    10.3.4 使用Sqoop導入MySQL數(shù)據(jù)到Hive
    10.3.5 Sqoop Job
  任務(wù)4 Hive、Pig和Sqoop的關(guān)系
項目11 Hadoop實時數(shù)據(jù)處理技術(shù)
  任務(wù)1 Storm YARN
    11.1.1 Apache Storm的組成結(jié)構(gòu)
    11.1.2 Storm數(shù)據(jù)流
    11.1.3 Storm YARN產(chǎn)生的背景 
    11.1.4 Storm YARN功能介紹
  任務(wù)２Apache Spark
    11.2.1 Apache Spark的組成結(jié)構(gòu)
    11.2.2 Apache Spark的擴展功能
  任務(wù)3 Storm與Spark的比較
參考文獻 

主編信息

劉淼，天津鐵道職業(yè)技術(shù)學院教師。

相關(guān)圖書