大數(shù)據(jù)之美：挖掘、Hadoop、架構(gòu)，更精準(zhǔn)地發(fā)現(xiàn)業(yè)務(wù)與營銷

第1章　大數(shù)據(jù)概述 1 1．1 大數(shù)據(jù)的概念 1 1．1．1 什么是大數(shù)據(jù) 1 1．1．2 大數(shù)據(jù)的產(chǎn)生和來源 2 1．1．3 大數(shù)據(jù)的技術(shù) 3 1．1．4 大數(shù)據(jù)的特征 8 1．1．5 數(shù)據(jù)、信息與知識(shí) 10 1．2 大數(shù)據(jù)的價(jià)值與挑戰(zhàn) 10 1．2．1 大數(shù)據(jù)的潛在價(jià)值 11 1．2．2 大數(shù)據(jù)對(duì)業(yè)務(wù)的挑戰(zhàn) 12 1．2．3 大數(shù)據(jù)對(duì)技術(shù)架構(gòu)的挑戰(zhàn) 13 1．2．4 大數(shù)據(jù)對(duì)管理策略的挑戰(zhàn) 14 1．3 大數(shù)據(jù)與相關(guān)領(lǐng)域的關(guān)系 16 1．3．1 大數(shù)據(jù)與統(tǒng)計(jì)分析 16 1．3．2 大數(shù)據(jù)與數(shù)據(jù)挖掘 16 1．3．3 大數(shù)據(jù)與云計(jì)算 17 1．4 大數(shù)據(jù)發(fā)展?fàn)顩r 20 參考文獻(xiàn) 23 第2章　大數(shù)據(jù)挖掘技術(shù) 24 2．1 數(shù)據(jù)挖掘與過程 24 2．1．1 數(shù)據(jù)挖掘的七大功能 24 2．1．2 數(shù)據(jù)挖掘的實(shí)質(zhì) 25 2．2 數(shù)據(jù)挖掘過程 26 2．2．1 定義挖掘目標(biāo) 27 2．2．2 數(shù)據(jù)取樣 28 2．2．3 數(shù)據(jù)探索 30 2．2．4 數(shù)據(jù)預(yù)處理 32 2．2．5 數(shù)據(jù)模式發(fā)現(xiàn) 37 2．2．6 模型評(píng)價(jià) 40 2．3 常用算法 47 2．3．1 決策樹 48 2．3．2 回歸 50 2．3．3 關(guān)聯(lián)規(guī)則 54 2．3．4 聚類 59 2．3．5 貝葉斯分類方法 66 2．3．6 神經(jīng)網(wǎng)絡(luò) 69 2．3．7 支持向量機(jī)（SVM） 73 2．3．8 假設(shè)檢驗(yàn) 77 2．3．9 遺傳算法 81 參考文獻(xiàn) 84 第3章　大規(guī)模存儲(chǔ)與處理技術(shù) 86 3．1 Hadoop概述 86 3．1．1 什么是Hadoop 86 3．1．2 Hadoop發(fā)展簡史 88 3．1．3 Hadoop的優(yōu)勢 90 3．1．4 Hadoop的子項(xiàng)目 90 3．2 HDFS 92 3．2．1 HDFS的設(shè)計(jì)目標(biāo) 93 3．2．2 HDFS文件系統(tǒng)的原型GFS 93 3．2．3 HDFS文件的基本結(jié)構(gòu) 95 3．2．4 HDFS的文件讀/寫操作 97 3．2．5 HDFS的存儲(chǔ)過程 101 3．3 MapReduce編程框架 105 3．3．1 MapReduce的發(fā)展歷史 105 3．3．2 MapReduce的基本工作過程 107 3．3．3 MapReduce的特點(diǎn) 110 3．4 建立Hadoop開發(fā)環(huán)境 111 3．4．1 相關(guān)準(zhǔn)備工作 111 3．4．2 JDK的安裝配置 113 3．4．3 SSH無鑰登錄 113 3．4．4 安裝、配置Hadoop環(huán)境變量 115 3．5 大數(shù)據(jù)處理系統(tǒng)分類 118 3．5．1 批量數(shù)據(jù)處理系統(tǒng) 118 3．5．2 流式數(shù)據(jù)處理系統(tǒng) 119 3．5．3 交互式數(shù)據(jù)處理 122 3．5．4 圖數(shù)據(jù)處理系統(tǒng) 124 3．6 大數(shù)據(jù)查詢和分析技術(shù)：SQL on Hadoop 126 3．6．1 數(shù)據(jù)庫簡介 126 3．6．2 圖數(shù)據(jù)庫 128 3．6．3 Hive：基本的Hadoop分析 130 3．6．4 實(shí)時(shí)互動(dòng)的SQL：Impala和Drill 134 3．7 以通信業(yè)務(wù)分析為例的大數(shù)據(jù)的技術(shù)環(huán)境部署 136 3．7．1 應(yīng)用架構(gòu)規(guī)劃與設(shè)計(jì) 136 3．7．2 技術(shù)環(huán)境部署與配置 137 第4章　大數(shù)據(jù)應(yīng)用的總體架構(gòu)和關(guān)鍵技術(shù) 148 4．1 大數(shù)據(jù)的業(yè)務(wù)分析 148 4．2 大數(shù)據(jù)的總架體構(gòu)模型 152 4．3 大數(shù)據(jù)高級(jí)分析 161 4．3．1 數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù) 162 4．3．2 大數(shù)據(jù)分析與傳統(tǒng)分析 167 4．3．3 非結(jié)構(gòu)化復(fù)雜數(shù)據(jù)分析 168 4．3．4 實(shí)時(shí)預(yù)測分析 177 4．4 可視化分析 181 4．4．1 可視化技術(shù) 181 4．4．2 可視化工具 192 參考文獻(xiàn) 195 第5章　運(yùn)營商數(shù)據(jù)分析 196 5．1 案例背景 196 5．1．1 大數(shù)據(jù)運(yùn)營已為大勢所趨 196 5．1．2 采取大數(shù)據(jù)運(yùn)營的原因 196 5．1．3 大數(shù)據(jù)分析如何提升電信行業(yè)績效 197 5．1．4 大數(shù)據(jù)的社會(huì)價(jià)值 199 5．2 挖掘目標(biāo)的提出 200 5．3 案例分析 201 5．3．1 體系架構(gòu) 201 5．3．2 Hadoop集群抽取模塊 202 5．3．3 數(shù)據(jù)處理模塊 208 5．3．4 數(shù)據(jù)分發(fā) 211 5．4 MapReduce操作 218 5．5 結(jié)果分析 221 第6章　互聯(lián)網(wǎng)電影推薦系統(tǒng) 223 6．1 背景描述 223 6．2 業(yè)務(wù)目標(biāo) 224 6．3 業(yè)務(wù)需求 225 6．4 協(xié)同過濾推薦系統(tǒng)建模 225 6．4．1 推薦系統(tǒng)概述 225 6．4．2 基于對(duì)立用戶的協(xié)同過濾模型 227 6．5 項(xiàng)目處理過程 229 6．5．1 項(xiàng)目數(shù)據(jù) 229 6．5．2 數(shù)據(jù)預(yù)處理 230 6．5．3 Hadoop并行算法 242 6．6 總結(jié) 250