大數據之路 2024 pdf epub mobi 電子書 下載
☆☆☆☆☆
簡體網頁||
繁體網頁
大數據之路 pdf epub mobi 著者簡介
大數據之路 pdf epub mobi 圖書描述
在阿裏巴巴集團內,數據人員麵臨的現實情況是:集團數據存儲已經達到EB級彆,部分單張錶每天的數據記錄數高達幾韆億條;在2016年“雙11購物狂歡節”的24小時中,支付金額達到瞭1207億元人民幣,支付峰值高達12萬筆/秒,下單峰值達17.5萬筆/秒,媒體直播大屏處理的總數據量高達百億級彆且所有數據都需要做到實時、準確地對外披露……巨大的信息量給數據采集、存儲和計算都帶來瞭極大的挑戰。
《大數據之路:阿裏巴巴大數據實踐》就是在此背景下完成的。《大數據之路:阿裏巴巴大數據實踐》中講到的阿裏巴巴大數據係統架構,就是為瞭滿足不斷變化的業務需求,同時實現係統的高度擴展性、靈活性以及數據展現的高性能而設計的。
《大數據之路:阿裏巴巴大數據實踐》由阿裏巴巴數據技術及産品部組織並完成寫作,是阿裏巴巴分享對大數據的認知,與生態夥伴共創數據智能的重要基石。相信《大數據之路:阿裏巴巴大數據實踐》中的實踐和思考對同行會有很大的啓發和藉鑒意義。
大數據之路 2024 pdf epub mobi 電子書 下載
大數據之路 pdf epub mobi 圖書目錄
第1章 總述1
第1篇 數據技術篇
第2章 日誌采集 8
2.1 瀏覽器的頁麵日誌采集 8
2.1.1 頁麵瀏覽日誌采集流程 9
2.1.2 頁麵交互日誌采集 14
2.1.3 頁麵日誌的服務器端清洗和預處理 15
2.2 無綫客戶端的日誌采集 16
2.2.1 頁麵事件 17
2.2.2 控件點擊及其他事件 18
2.2.3 特殊場景 19
2.2.4 H5 & Native日誌統一 20
2.2.5 設備標識 22
2.2.6 日誌傳輸 23
2.3 日誌采集的挑戰 24
2.3.1 典型場景 24
2.3.2 大促保障 26
第3章 數據同步 29
3.1 數據同步基礎 29
3.1.1 直連同步 30
3.1.2 數據文件同步 30
3.1.3 數據庫日誌解析同步 31
3.2 阿裏數據倉庫的同步方式 35
3.2.1 批量數據同步 35
3.2.2 實時數據同步 37
3.3 數據同步遇到的問題與解決方案 39
3.3.1 分庫分錶的處理 39
3.3.2 高效同步和批量同步 41
3.3.3 增量與全量同步的閤並 42
3.3.4 同步性能的處理 43
3.3.5 數據漂移的處理 45
第4章 離綫數據開發 48
4.1 數據開發平颱 48
4.1.1 統一計算平颱 49
4.1.2 統一開發平颱 53
4.2 任務調度係統 58
4.2.1 背景 58
4.2.2 介紹 60
4.2.3 特點及應用 65
第5章 實時技術 68
5.1 簡介 69
5.2 流式技術架構 71
5.2.1 數據采集 72
5.2.2 數據處理 74
5.2.3 數據存儲 78
5.2.4 數據服務 80
5.3 流式數據模型 80
5.3.1 數據分層 80
5.3.2 多流關聯 83
5.3.3 維錶使用 84
5.4 大促挑戰&保障 86
5.4.1 大促特徵 86
5.4.2 大促保障 88
第6章 數據服務 91
6.1 服務架構演進 91
6.1.1 DWSOA 92
6.1.2 OpenAPI 93
6.1.3 SmartDQ 94
6.1.4 統一的數據服務層 96
6.2 技術架構 97
6.2.1 SmartDQ 97
6.2.2 iPush 100
6.2.3 Lego 101
6.2.4 uTiming 102
6.3 最佳實踐 103
6.3.1 性能 103
6.3.2 穩定性 111
第7章 數據挖掘 116
7.1 數據挖掘概述 116
7.2 數據挖掘算法平颱 117
7.3 數據挖掘中颱體係 119
7.3.1 挖掘數據中颱 120
7.3.2 挖掘算法中颱 122
7.4 數據挖掘案例 123
7.4.1 用戶畫像 123
7.4.2 互聯網反作弊 125
第2篇 數據模型篇
第8章 大數據領域建模綜述 130
8.1 為什麼需要數據建模 130
8.2 關係數據庫係統和數據倉庫 131
8.3 從OLTP和OLAP係統的區彆看模型方法論的選擇 132
8.4 典型的數據倉庫建模方法論 132
8.4.1 ER模型 132
8.4.2 維度模型 133
8.4.3 Data Vault模型 134
8.4.4 Anchor模型 135
8.5 阿裏巴巴數據模型實踐綜述 136
第9章 阿裏巴巴數據整閤及管理體係 138
9.1 概述 138
9.1.1 定位及價值 139
9.1.2 體係架構 139
9.2 規範定義 140
9.2.1 名詞術語 141
9.2.2 指標體係 141
9.3 模型設計 148
9.3.1 指導理論 148
9.3.2 模型層次 148
9.3.3 基本原則 150
9.4 模型實施 152
9.4.1 業界常用的模型實施過程 152
9.4.2 OneData實施過程 154
第10章 維度設計 159
10.1 維度設計基礎 159
10.1.1 維度的基本概念 159
10.1.2 維度的基本設計方法 160
10.1.3 維度的層次結構 162
10.1.4 規範化和反規範化 163
10.1.5 一緻性維度和交叉探查 165
10.2 維度設計高級主題 166
10.2.1 維度整閤 166
10.2.2 水平拆分 169
10.2.3 垂直拆分 170
10.2.4 曆史歸檔 171
10.3 維度變化 172
10.3.1 緩慢變化維 172
10.3.2 快照維錶 174
10.3.3 極限存儲 175
10.3.4 微型維度 178
10.4 特殊維度 180
10.4.1 遞歸層次 180
10.4.2 行為維度 184
10.4.3 多值維度 185
10.4.4 多值屬性 187
10.4.5 雜項維度 188
第11章 事實錶設計 190
11.1 事實錶基礎 190
11.1.1 事實錶特性 190
11.1.2 事實錶設計原則 191
11.1.3 事實錶設計方法 193
11.2 事務事實錶 196
11.2.1 設計過程 196
11.2.2 單事務事實錶 200
11.2.3 多事務事實錶 202
11.2.4 兩種事實錶對比 206
11.2.5 父子事實的處理方式 208
11.2.6 事實的設計準則 209
11.3 周期快照事實錶 210
11.3.1 特性 211
11.3.2 實例 212
11.3.3 注意事項 217
11.4 纍積快照事實錶 218
11.4.1 設計過程 218
11.4.2 特點 221
11.4.3 特殊處理 223
11.4.4 物理實現 225
11.5 三種事實錶的比較 227
11.6 無事實的事實錶 228
11.7 聚集型事實錶 228
11.7.1 聚集的基本原則 229
11.7.2 聚集的基本步驟 229
11.7.3 阿裏公共匯總層 230
11.7.4 聚集補充說明 234
第3篇 數據管理篇
第12章 元數據 236
12.1 元數據概述 236
12.1.1 元數據定義 236
12.1.2 元數據價值 237
12.1.3 統一元數據體係建設 238
12.2 元數據應用 239
12.2.1 Data Profile 239
12.2.2 元數據門戶 241
12.2.3 應用鏈路分析 241
12.2.4 數據建模 242
12.2.5 驅動ETL開發 243
第13章 計算管理 245
13.1 係統優化 245
13.1.1 HBO 246
13.1.2 CBO 249
13.2 任務優化 256
13.2.1 Map傾斜 257
13.2.2 Join傾斜 261
13.2.3 Reduce傾斜 269
第14章 存儲和成本管理 275
14.1 數據壓縮 275
14.2 數據重分布 276
14.3 存儲治理項優化 277
14.4 生命周期管理 278
14.4.1 生命周期管理策略 278
14.4.2 通用的生命周期管理矩陣 280
14.5 數據成本計量 283
14.6 數據使用計費 284
第15章 數據質量 285
15.1 數據質量保障原則 285
15.2 數據質量方法概述 287
15.2.1 消費場景知曉 289
15.2.2 數據加工過程卡點校驗 292
15.2.3 風險點監控 295
15.2.4 質量衡量 299
第4篇 數據應用篇
第16章 數據應用 304
16.1 生意參謀 305
16.1.1 背景概述 305
16.1.2 功能架構與技術能力 307
16.1.3 商傢應用實踐 310
16.2 對內數據産品平颱 313
16.2.1 定位 313
16.2.2 産品建設曆程 314
16.2.3 整體架構介紹 317
附錄A 本書插圖索引 320
· · · · · · (
收起)
下載链接在页面底部
點擊這裡下載
立刻按 ctrl+D收藏本頁
你會得到大驚喜!!
發表於2024-12-22
大數據之路 2024 pdf epub mobi 電子書 下載
大數據之路 2024 pdf epub mobi 電子書 下載
大數據之路 2024 pdf epub mobi 電子書 下載
喜欢 大數據之路 電子書 的读者还喜欢
大數據之路 pdf epub mobi 讀後感
評分
☆☆☆☆☆
這本書作為我的2018開年第二本閱讀的技術書籍,讀完之後感覺受益良多 第一,對於整個大數據的體係有瞭更多且清晰的認知 第二,對於不同係統的邏輯處理方式給予瞭引導 第三,畢竟是阿裏多年技術的纍計産齣,而且都是阿裏技術大牛寫的,乾貨相當多 最後,如果對於大數據方嚮想有...
評分
☆☆☆☆☆
數據是公司的資産已經成瞭事實上的信仰,從數據洞察商業規律,為決策提供支撐,創造價值,為商業賦能,一直是IT的願景使命和不懈追求之一。在小數據時代,各大企業、機構的探索和努力方嚮主要體現在BI和數據倉庫等應用上,對於當時數量相對有限、結構嚴謹有序的數據,這些工具...
評分
☆☆☆☆☆
HW産品配置係統部部長推薦語: 幾年前,有人提齣“人類正從IT時代走嚮DT時代”,社會上也不少人著書立說,紛繁解讀,大傢一時躁動不止。今天,以物聯網、雲計算、大數據、人工智能等為代錶的新技術革命正在滲透著各行各業,並在悄悄的深深的影響、改變著我們的生活。齣門...
評分
☆☆☆☆☆
數據是公司的資産已經成瞭事實上的信仰,從數據洞察商業規律,為決策提供支撐,創造價值,為商業賦能,一直是IT的願景使命和不懈追求之一。在小數據時代,各大企業、機構的探索和努力方嚮主要體現在BI和數據倉庫等應用上,對於當時數量相對有限、結構嚴謹有序的數據,這些工具...
評分
☆☆☆☆☆
這本書作為我的2018開年第二本閱讀的技術書籍,讀完之後感覺受益良多 第一,對於整個大數據的體係有瞭更多且清晰的認知 第二,對於不同係統的邏輯處理方式給予瞭引導 第三,畢竟是阿裏多年技術的纍計産齣,而且都是阿裏技術大牛寫的,乾貨相當多 最後,如果對於大數據方嚮想有...
類似圖書 點擊查看全場最低價
出版者:電子工業齣版社
作者:阿裏巴巴數據技術及産品部
出品人:博文視點
頁數:336
譯者:
出版時間:2017-7-1
價格:CNY 79.00
裝幀:平裝
isbn號碼:9787121314384
叢書系列:阿裏巴巴集團技術叢書
圖書標籤:
大數據
阿裏巴巴
數據
架構
數據分析
數據倉庫
計算機
技術
大數據之路 2024 pdf epub mobi 電子書 下載
大數據之路 pdf epub mobi 用戶評價
評分
☆☆☆☆☆
係統地從規範,模型,平颱,應用等多層次對阿裏大數據産品實踐做瞭一遍梳理,值得一讀。
評分
☆☆☆☆☆
數據服務這一章帶給瞭我很多新知識。阿裏是國內少有的,不是瞎搞概念,而是真的在大數據上做瞭很多實事的公司瞭。極有可能是國內做得最好的瞭。
評分
☆☆☆☆☆
年度技術書推薦. 橫嚮來說涵蓋瞭數據業務的各個方麵, 縱嚮來說有各個技術方案的背景,原因,演化路徑. 限製. 非常難得. 最近正在做流式計算部分, 有一些需求想不清楚能不能接, 看到阿裏都都不支持, 我們也果斷不支持瞭....
評分
☆☆☆☆☆
把阿裏巴巴內部大數據建設的每一個點都拿齣來講瞭,全麵到令人發指,從技術選型,到管理規範,從設計原理,到字段命名。看這本書相當於藉阿裏的經驗去瞭解大數據全景。看瞭太多“in action”,“guide book”,"principle”的書,偶爾看看這種“建設經驗”,角度清奇,2017年的書可惜印刷量太少,已經絕版瞭。
評分
☆☆☆☆☆
數據産品體係的第一部分主要講技術構建經驗,從瀏覽器和app的數據采集開始,到數據的同步處理,離綫數據的處理,實時數據的處理,到數據服務的架構演進和實踐,以及數據挖掘的平颱和算法建設。第二部分關注數據倉庫的建模分析技術,維度設計和事實錶設計部分經驗值得關注,第三部分的數據管理關注的數據元數據,計算,存儲和數據質量,最後是數據應用的案例,作為阿裏經驗的分享不乏真知灼見,值得閱讀。
大數據之路 2024 pdf epub mobi 電子書 下載