前言
第1章　Python和數據化運營1
1.1　用Python做數據化運營1
1.1.1　Python是什麼1
1.1.2　數據化運營是什麼2
1.1.3　Python用於數據化運營5
1.2　數據化運營所需的Python相關工具和組件5
1.2.1　Python程序6
1.2.2　Python交互環境Jupyter7
1.2.3　Python第三方庫23
1.2.4　數據庫和客戶端29
1.2.5　SSH遠程客戶端30
1.3　內容延伸：Python的OCR和tensorflow31
1.3.1　OCR工具：Tesseract-ocr31
1.3.2　機器學習框架：TensorFlow31
1.4　第1個用Python實現的數據化運營分析實例、銷售預測32
1.4.1　案例概述32
1.4.2　案例過程32
1.4.3　案例小結36
1.5　本章小結37
第2章　數據化運營的數據來源40
2.1　數據化運營的數據來源類型40
2.1.1　數據文件40
2.1.2　數據庫41
2.1.3　API42
2.1.4　流式數據43
2.1.5　外部公開數據43
2.1.6　其他來源44
2.2　使用Python獲取運營數據44
2.2.1　從文本文件讀取運營數據44
2.2.2　從Excel獲取運營數據55
2.2.3　從關係型數據庫MySQL讀取運營數據57
2.2.4　從非關係型數據庫MongoDB讀取運營數據64
2.2.5　從API獲取運營數據68
2.3　內容延伸：讀取非結構化網頁、文本、圖像、視頻、語音72
2.3.1　從網頁中獲取運營數據72
2.3.2　讀取非結構化文本數據73
2.3.3　讀取圖像數據74
2.3.4　讀取視頻數據78
2.3.5　讀取語音數據81
2.4　本章小結85
第3章　10條數據化運營不得不知道的數據預處理經驗87
3.1　數據清洗：缺失值、異常值和重復值的處理87
3.1.1　數據列缺失的4種處理方法87
3.1.2　不要輕易拋棄異常數據89
3.1.3　數據重復就需要去重嗎90
3.1.4　代碼實操：Python數據清洗92
3.2　將分類數據和順序數據轉換為標誌變量100
3.2.1　分類數據和順序數據是什麼100
3.2.2　運用標誌方法處理分類和順序變量101
3.2.3　代碼實操：Python標誌轉換101
3.3　大數據時代的數據降維104
3.3.1　需要數據降維的情況104
3.3.2　基於特徵選擇的降維105
3.3.3　基於特徵轉換的降維106
3.3.4　基於特徵組閤的降維112
3.3.5　代碼實操：Python數據降維114
3.4　解決樣本類彆分布不均衡的問題123
3.4.1　哪些運營場景中容易齣現樣本不均衡124
3.4.2　通過過抽樣和欠抽樣解決樣本不均衡124
3.4.3　通過正負樣本的懲罰權重解決樣本不均衡124
3.4.4　通過組閤/集成方法解決樣本不均衡125
3.4.5　通過特徵選擇解決樣本不均衡125
3.4.6　代碼實操：Python處理樣本不均衡125
3.5　數據化運營要抽樣還是全量數據128
3.5.1　什麼時候需要抽樣128
3.5.2　如何進行抽樣129
3.5.3　抽樣需要注意的幾個問題130
3.5.4　代碼實操：Python數據抽樣131
3.6　解決運營數據的共綫性問題135
3.6.1　如何檢驗共綫性135
3.6.2　解決共綫性的5種常用方法136
3.6.3　代碼實操：Python處理共綫性問題137
3.7　有關相關性分析的混沌139
3.7.1　相關和因果是一迴事嗎139
3.7.2　相關係數低就是不相關嗎139
3.7.3　代碼實操：Python相關性分析140
3.8　標準化，讓運營數據落入相同的範圍141
3.8.1　實現中心化和正態分布的Z-Score141
3.8.2　實現歸一化的Max-Min142
3.8.3　用於稀疏數據的MaxAbs142
3.8.4　針對離群點的RobustScaler142
3.8.5　代碼實操：Python數據標準化處理142
3.9　離散化，對運營數據做邏輯分層145
3.9.1　針對時間數據的離散化145
3.9.2　針對多值離散數據的離散化146
3.9.3　針對連續數據的離散化146
3.9.4　針對連續數據的二值化147
3.9.5　代碼實操：Python數據離散化處理147
3.10　內容延伸：非結構化數據的預處理151
3.10.1　網頁數據解析151
3.10.2　網絡用戶日誌解析159
3.10.3　圖像的基本預處理164
3.10.4　自然語言文本預處理169
3.11　本章小結172
第4章　跳過運營數據分析和挖掘的“大坑”174
4.1　聚類分析174
4.1.1　當心數據異常對聚類結果的影響175
4.1.2　超大數據量時應該放棄K均值算法175
4.1.3　聚類不僅是建模的終點，更是重要的中間預處理過程177
4.1.4　高維數據上無法應用聚類嗎178
4.1.5　如何選擇聚類分析算法179
4.1.6　案例：客戶特徵的聚類與探索性分析179
4.2　迴歸分析196
4.2.1　注意迴歸自變量之間的共綫性問題197
4.2.2　相關係數、判定係數和迴歸係數之間是什麼關係197
4.2.3　判定係數是否意味著相應的因果聯係197
4.2.4　注意應用迴歸模型時研究自變量是否産生變化198
4.2.5　如何選擇迴歸分析算法198
4.2.6　案例：大型促銷活動前的銷售預測199
4.3　分類分析206
4.3.1　防止分類模型的過擬閤問題207
4.3.2　使用關聯算法做分類分析207
4.3.3　用分類分析來提煉規則、提取變量、處理缺失值208
4.3.4　類彆劃分：分類算法和聚類算法都是好手209
4.3.5　如何選擇分類分析算法210
4.3.6　案例：用戶流失預測分析與應用210
4.4　關聯分析221
4.4.1　頻繁規則不一定是有效規則221
4.4.2　不要被啤酒尿布的故事禁錮你的思維222
4.4.3　被忽略的“負相關”模式真的毫無用武之地嗎223
4.4.4　頻繁規則隻能打包組閤應用嗎224
4.4.5　關聯規則的序列模式224
4.4.6　使用Python和R分彆實現商品交叉銷售分析225
4.5　異常檢測分析240
4.5.1　異常檢測中的“新奇檢測”模式241
4.5.2　將數據異常與業務異常相分離241
4.5.3　麵臨維度災難時，異常檢測可能會失效241
4.5.4　異常檢測的結果能說明異常嗎241
4.5.5　案例：網站廣告流量的異常識彆與檢測242
4.6　時間序列分析253
4.6.1　如果有自變量，為什麼還要用時間序列253
4.6.2　時間序列不適閤商業環境復雜的企業254
4.6.3　時間序列預測的整閤、橫嚮和縱嚮模式255
4.6.4　案例：未來10天的整體銷售預測255
4.7　路徑、漏鬥、歸因和熱力圖分析267
4.7.1　不要輕易相信用戶的頁麵訪問路徑269
4.7.2　如何將路徑應用於更多用戶行為模式的挖掘270
4.7.3　為什麼很多數據都顯示瞭多渠道路徑的價值很小271
4.7.4　點擊熱力圖真的反映瞭用戶的點擊喜好嗎271
4.7.5　為什麼歸因分析主要存在於綫上的轉化行為272
4.7.6　漏鬥分析和路徑分析有什麼區彆273
4.8　其他數據分析和挖掘的忠告274
4.8.1　不要忘記數據質量的驗證274
4.8.2　不要忽視數據的落地性274
4.8.3　不要把數據陳列當作數據結論275
4.8.4　數據結論不要産生於單一指標276
4.8.5　數據分析不要預設價值立場276
4.8.6　不要忽視數據與業務的需求衝突問題277
4.9　內容延伸1：非結構化數據的分析與挖掘278
4.9.1　詞頻統計278
4.9.2　詞性標注281
4.9.3　關鍵字提取284
4.9.4　文本聚類286
4.10　內容延伸2：AutoML—自動化數據挖掘與機器學習289
4.10.1　自動化數據挖掘與機器學習概述289
4.10.2　TPOT自動化學習簡介290
4.10.3　使用TPOT做自動化學習292
4.11　本章小結298
第5章　會員數據化運營300
5.1　會員數據化運營概述300
5.2　會員數據化運營關鍵指標301
5.2.1　會員整體指標301
5.2.2　會員營銷指標301
5.2.3　會員活躍度指標303
5.2.4　會員價值度指標305
5.2.5　會員終生價值指標305
5.2.6　會員異動指標306
5.3　會員數據化運營應用場景307
5.3.1　會員營銷307
5.3.2　會員關懷307
5.4　會員數據化運營分析模型307
5.4.1　會員細分模型307
5.4.2　會員活躍度模型309
5.4.3　會員價值度模型309
5.4.4　會員流失預測模型310
5.4.5　會員特徵分析模型311
5.4.6　營銷響應預測模型312
5.5　會員數據化運營分析小技巧313
5.5.1　使用留存分析做新用戶質量分析313
5.5.2　使用AARRR做App用戶生命周期分析314
5.5.3　藉助動態數據流關注會員狀態的輪轉315
5.5.4　使用協同過濾算法為新會員分析推送個性化信息316
5.6　會員數據化運營分析的“大實話”318
5.6.1　企業“不差錢”，還有必要做會員精準營銷嗎318
5.6.2　用戶滿意度取決於期望和給予的匹配程度319
5.6.3　用戶不購買就是流失瞭嗎319
5.6.4　來自調研問捲的用戶信息可信嗎320
5.6.5　不要盲目相信二八法則321
5.7　案例：基於RFM的精細化用戶管理322
5.7.1　案例背景322
5.7.2　案例主要應用技術322
5.7.3　案例數據323
5.7.4　案例過程323
5.7.5　案例數據結論337
5.7.6　案例應用和部署341
5.7.7　案例注意點341
5.7.8　案例引申思考342
5.8　案例：基於嵌套Pipeline和Fea-tureUnion復閤數據工作流的營銷響應預測342
5.8.1　案例背景342
5.8.2　案例主要應用技術343
5.8.3　案例數據343
5.8.4　案例過程344
5.8.5　案例數據結論353
5.8.6　案例應用和部署353
5.8.7　案例注意點354
5.8.8　案例引申思考355
5.9　本章小結355
第6章　商品數據化運營357
6.1　商品數據化運營概述357
6.2　商品數據化運營關鍵指標357
6.2.1　銷售指標357
6.2.2　促銷活動指標360
6.2.3　供應鏈指標361
6.3　商品數據化運營應用場景363
6.3.1　銷售預測363
6.3.2　庫存分析363
6.3.3　市場分析363
6.3.4　促銷分析364
6.4　商品數據化運營分析模型364
6.4.1　商品價格敏感度模型364
6.4.2　新産品市場定位模型365
6.4.3　銷售預測模型366
6.4.4　商品關聯銷售模型367
6.4.5　異常訂單檢測368
6.4.6　商品規劃的最優組閤368
6.5　商品數據化運營分析小技巧370
6.5.1　使用層次分析法將定量與定性分析結閤370
6.5.2　通過假設檢驗做促銷拉動分析373
6.5.3　使用BCG矩陣做商品結構分析374
6.5.4　巧用4P分析建立完善的商品運營分析結構376
6.6　商品數據化運營分析的“大實話”376
6.6.1　為什麼很多企業會以低於進價的價格大量銷售商品376
6.6.2　促銷活動真的是在促進商品銷售嗎378
6.6.3　用戶關注的商品就是要買的商品嗎379
6.6.4　提供的選擇過多其實不利於商品銷售380
6.7　案例：基於Gradient Boosting的自動超參數優化的銷售預測381
6.7.1　案例背景381
6.7.2　案例主要應用技術381
6.7.3　案例數據381
6.7.4　案例過程382
6.7.5　案例數據結論389
6.7.6　案例應用和部署389
6.7.7　案例注意點389
6.7.8　案例引申思考389
6.8　案例：基於集成算法GBDT和RandomForest的投票組閤模型的異常檢測390
6.8.1　案例背景390
6.8.2　案例主要應用技術390
6.8.3　案例數據391
6.8.4　案例過程391
6.8.5　案例數據結論397
6.8.6　案例應用和部署398
6.8.7　案例注意點398
6.8.8　案例引申思考399
6.9　本章小結400
第7章　流量數據化運營402
7.1　流量數據化運營概述402
7.2　八大流量分析工具402
7.2.1　Adobe Analytics403
7.2.2　Webtrekk Suite403
7.2.3　Webtrends403
7.2.4　Google Analytics404
7.2.5　IBM Coremetrics404
7.2.6　百度統計404
7.2.7　Flurry404
7.2.8　友盟405
7.2.9　如何選擇第三方流量分析工具405
7.3　流量采集分析係統的工作機製408
7.3.1　流量數據采集409
7.3.2　流量數據處理411
7.3.3　流量數據應用412
7.4　流量數據與企業數據的整閤413
7.4.1　流量數據整閤的意義413
7.4.2　流量數據整閤的範疇414
7.4.3　流量數據整閤的方法414
7.5　流量數據化運營指標415
7.5.1　站外營銷推廣指標415
7.5.2　網站流量數量指標417
7.5.3　網站流量質量指標418
7.6　流量數據化運營應用場景421
7.6.1　流量采購421
7.6.2　流量分發423
7.7　流量數據化運營分析模型423
7.7.1　流量波動檢測423
7.7.2　渠道特徵聚類425
7.7.3　廣告整閤傳播模型425
7.7.4　流量預測模型428
7.8　流量數據化運營分析小技巧429
7.8.1　給老闆提供一頁紙的流量dashboard429
7.8.2　關注趨勢、重要事件和潛在因素是日常報告的核心431
7.8.3　使用從細分到多層下鑽數據分析431
7.8.4　通過跨屏追蹤解決用戶跨設備和瀏覽器的訪問行為432
7.8.5　基於時間序列的用戶群體過濾434
7.9　流量數據化運營分析的“大實話”436
7.9.1　流量數據分析的價值其實沒那麼大436
7.9.2　如何將流量的實時分析價值最大化437
7.9.3　營銷流量的質量評估是難點工作438
7.9.4　個性化的媒體投放仍然麵臨很多問題438
7.9.5　傳統的網站分析方法到底缺少瞭什麼439
7.10　案例：基於自動節點樹的數據異常原因下探分析444
7.10.1　案例背景444
7.10.2　案例主要應用技術444
7.10.3　案例數據445
7.10.4　案例過程446
7.10.5　案例數據結論459
7.10.6　案例應用和部署460
7.10.7　案例注意點460
7.10.8　案例引申思考461
7.11　案例：基於自動K值的KMeans廣告效果聚類分析461
7.11.1　案例背景461
7.11.2　案例主要應用技術462
7.11.3　案例數據462
7.11.4　案例過程463
7.11.5　案例數據結論474
7.11.6　案例應用和部署475
7.11.7　案例注意點476
7.11.8　案例引申思考477
7.12　本章小結477
第8章　內容數據化運營480
8.1　內容數據化運營概述480
8.2　內容數據化運營指標481
8.2.1　內容質量指標481
8.2.2　SEO類指標481
8.2.3　內容流量指標482
8.2.4　內容互動指標482
8.2.5　目標轉化指標483
8.3　內容數據化運營應用場景484
8.3.1　內容采集484
8.3.2　內容創作484
8.3.3　內容分發485
8.3.4　內容管理485
8.4　內容數據化運營分析模型485
8.4.1　情感分析模型485
8.4.2　搜索優化模型 486
8.4.3　文章關鍵字模型486
8.4.4　主題模型487
8.4.5　垃圾信息檢測模型488
8.5　內容數據化運營分析小技巧488
8.5.1　通過AB測試和多變量測試找到最佳內容版本488
8.5.2　通過屏幕瀏覽占比瞭解用戶到底看瞭頁麵多少內容490
8.5.3　通過數據分析係統與CMS打通實現個性化內容運營491
8.5.4　將個性化推薦從網站應用到App端494
8.6　內容數據化運營分析的“大實話”495
8.6.1　個性化內容運營不僅是整閤CMS和數據係統495
8.6.2　用戶在著陸頁上不隻有跳齣和繼續兩種狀態495
8.6.3　“人工組閤”的內容運營價值最大化並非不能實現496
8.6.4　影響內容點擊率的因素不僅有位置497
8.7　案例：基於潛在狄利剋雷分配的內容主題挖掘498
8.7.1　案例背景498
8.7.2　案例主要應用技術498
8.7.3　案例數據498
8.7.4　案例過程498
8.7.5　案例數據結論506
8.7.6　案例應用和部署507
8.7.7　案例注意點507
8.7.8　案例引申思考508
8.8　案例：基於多項式貝葉斯的增量學習的文本分類508
8.8.1　案例背景508
8.8.2　案例主要應用技術508
8.8.3　案例數據509
8.8.4　案例過程509
8.8.5　案例數據結論517
8.8.6　案例應用和部署517
8.8.7　案例注意點517
8.8.8　案例引申思考517
8.9　本章小結518
第9章　數據化運營分析的終極秘籍520
9.1　撰寫齣彩的數據分析報告的5個建議520
9.1.1　完整的報告結構520
9.1.2　精緻的頁麵版式521
9.1.3　漂亮的可視化圖形523
9.1.4　突齣報告的關鍵信息524
9.1.5　用報告對象習慣的方式撰寫報告525
9.2　數據化運營支持的4種擴展方式526
9.2.1　數據API526
9.2.2　數據模型526
9.2.3　數據産品527
9.2.4　運營産品527
9.3　提升數據化運營價值度的5種途徑528
9.3.1　數據源：不隻有結構化的數據528
9.3.2　自動化：建立自動工作機製529
9.3.3　未蔔先知：建立智能預警模型529
9.3.4　智能化：嚮BI-AI的方嚮走530
9.3.5　場景化：將數據嵌入運營環節之中531
9.4　本章小結531
附錄533
附錄A　公開數據集533
附錄B　Python數據工具箱540
· · · · · · (收起)