R高性能编程

出版者:电子工业出版社

作者:【美】Aloysius Lim（阿洛伊修斯•利姆）, William Tjhi（威廉姆•Tjhi） 著

页数:160

译者:唐李洋

价格:55.00

isbn号码:9787121273964

具体描述

R语言是专门为统计学和数据分析开发的解释型语言，主要用于数学建模、统计计算、数据处理、可视化等几个方面。近年来，受大数据的影响，R语言备受业界追捧。与此同时，工业界和学术界都越来越要求R具备高效分析和处理大规模数据的能力。但是，由于R本身的设计问题，它能够有效处理的数据规模和计算复杂度有限。

为此，《R高性能编程》提供了较为完整的参考方案和技术指南。《R高性能编程》首先解释了CPU、内存和磁盘I/O等影响R性能的三个因素，剖析了R在处理大规模数据时出现性能瓶颈的原因。在理解了R的设计原理及其性能限制的基础之上，《R高性能编程》给出了提升R性能的方法和技术，例如：尽量使用向量化运算避免不必要的计算开销，预分配内存避免不必要的动态内存分配，使用编译代码减少CPU时间，删除不必要的中间数据释放内存占用，通过运行时计算代替永久存储减少内存使用，使用内存映射文件处理大型数据集，使用并行计算技术优化代码，以及接入数据库处理工具，等等。最后，《R高性能编程》提供了如何在R中使用Hadoop的方法，以处理和分析大数据。

作者简介

Aloysius Lim

擅长将复杂的数据和模型表述为简单易懂的见解。作为About People的联合创办者、数据科学家及设计顾问，他喜欢解决问题，以及帮助他人寻找利用数据解决业务难题的实践方案。在政府、教育和零售行业长达7年的丰富经验，造就了他寻找具有创造性的解决办法的独特视角。

衷心地感谢上帝给我机会撰写本书，让我分享这些知识。在这个过程中，我亲爱的妻子Bethany给予了极大的支持和鼓励。谢谢你全部的爱，亲爱的。非常感谢我的搭档William，他是我灵感和洞察力的来源。

William Tjhi

数据科学家，在学术、政府及工业界具有多年的工作经验。他自读博期间开始了数据科学之旅，研究了一些新算法以提高高维数据聚类的健壮性。取得博士学位之后，他从基础研究转向了应用研究，致力于采用机器学习方法解决分子生物学和传染病学中的各种问题。他在一些同行评审的期刊和会议上发表了部分研究成果。随着大数据的兴起，William离开了学术界，转而投入工业界，开始了商业和公共部门领域的数据科学实践。William热衷于R，从他搞研究的那天开始就一直使用R作为主要的分析工具。他曾经是Revolution Analytics的一员，那时候他做了很多使R更加适合大数据的贡献。

目录信息

前言 X
1 理解R的性能：为什么R程序有时候很慢？ 1
计算性能的三个限制因素：CPU、RAM和磁盘I/O 2
R是运行时解释的 4
R是单线程的 5
R需要将全部数据加载到内存 5
算法设计影响时间和空间复杂度 6
小结 9
2 性能分析：衡量代码的性能 11
衡量总运行时间 11
使用system.time()衡量运行时间 12
使用rbenchmark重复衡量运行时间 13
使用microbenchmark衡量运行时间的分布 15
分析运行时间 16
使用Rprof()分析函数的性能 16
性能分析的结果 18
分析内存使用情况 20
使用OS工具监控内存使用情况、CPU使用情况和磁盘I/O 22
瓶颈的发现及解决 23
小结 26
3 加快R运行的简单方法 27
向量化 27
使用内置函数 29
预分配内存 30
使用更简单的数据结构 33
使用哈希表进行大型数据上的频繁查找 34
去CRAN寻找更快的包 35
小结 36
4 使用编译代码加快运行速度 37
在运行之前编译R代码 37
编译函数 38
即时编译（JIT）R代码 41
在R中使用编译语言 41
前提条件 42
以内联形式包含编译代码 42
调用外部编译代码 46
使用编译代码的注意事项 49
小结 52
5 使用GPU让R运行得更快 53
GPU上的通用计算 53
R和GPU 54
安装gputools 55
使用gputools实现快速统计建模 55
小结 59
6 减少内存使用的简单方法 61
重用对象而不多占用内存 61
删除不再需要的中间数据 66
运行时计算值而不是永久性存储值 69
交换活跃数据和非活跃数据 71
小结 71
7 使用有限的内存处理大型数据集 73
使用节约内存的数据结构 73
更小的数据类型 76
稀疏矩阵 77
对称矩阵 78
比特向量 79
使用内存映射文件并以块的形式处理数据 80
bigmemory包 81
ff包 85
小结 89
8 使用并行计算加倍提升性能 91
数据并行性 v.s. 任务并行性 91
实现数据并行的算法 95
实现任务并行的算法 98
集群节点运行同一个任务时 98
集群节点运行多个不同任务时 100
计算机集群并行执行多个任务 102
共享内存并行性 v.s. 分布式内存并行性 104
优化并行的性能 108
小结 109
9 将数据处理交给数据库系统 111
将数据抽取到R v.s. 在数据库中处理数据 111
在关系型数据库中使用SQL进行数据预处理 112
将R表达式转化为SQL 116
使用dplyr 117
使用PivotalR 119
在数据库中运行统计和机器学习算法 122
使用列式数据库提升性能 125
使用数据库阵列最大化科学计算的性能 128
小结 129
10 R和大数据 131
理解Hadoop 131
在Amazon Web Services上配置Hadoop 133
使用Hadoop批量处理大型数据集 136
将数据上传到HDFS 136
使用RHadoop分析HDFS数据 138
R中的其他Hadoop包 142
小结 143
· · · · · · (收起)

用户评价

作为一个多年与数据打交道的工程师，我原本以为自己对编程性能优化已经有了一个比较成熟的认知体系，但这本书狠狠地“教育”了我一番。它提供了一种全新的视角，将编程活动视为一场与计算机硬件的“对话”。书中对CPU缓存、指令集等硬件特性的深入剖析，让我明白，很多时候，我们面对的性能瓶颈并非算法本身的缺陷，而是我们没有“投其所好”地编写代码。这种从硬件层面出发的优化思路，是我之前所有学习经历中都未曾深入涉猎过的。特别是关于如何编写高度可移植且高性能的代码的章节，它强调的不是编译器的魔力，而是程序员的智慧。我感觉自己就像一个机械师，终于拿到了设备的完整蓝图，知道每一个齿轮咬合的精妙之处。这本书绝对是那种需要反复阅读、每次都能挖掘出新宝藏的经典之作。

我拿到这本厚厚的书时，说实话有点打退堂鼓，心想这得啃多久才能看完。但翻开目录后，我立刻被那种扎实和系统性所吸引住了。这本书的深度远超我之前读过的任何一本关于统计计算的书籍。它不像市面上那些只罗列技巧的“速成指南”，它更像是一本深入底层的解剖学著作，告诉你为什么某些操作快，为什么另一些操作慢。我特别喜欢它对“时间复杂度”和“空间复杂度”的实际应用讲解，不再是停留在教科书上的抽象概念。书中很多关于数据结构选择的讨论，让我开始重新审视自己日常代码中那些习以为常的数组和列表的用法。举个例子，关于如何高效处理大规模稀疏数据的章节，我立刻回去重构了我正在进行的一个项目中的关键模块，效果立竿见影，内存占用下降了近三分之一，程序运行时间也稳定在了可接受的范围内。这已经不是简单的“提高效率”了，这是对计算资源的一种尊重和最大化利用。

这本书简直是数据科学领域的一股清流，我抱着学习新技能的心态开始阅读，结果发现它不仅仅是教你写代码那么简单，更是在潜移默化地培养你的“性能思维”。刚开始读的时候，我还有点担心自己对底层原理的理解不够深入，但作者的叙述方式非常巧妙，循序渐进，把那些原本枯燥的内存管理、并行计算概念讲得清晰明了。最让我印象深刻的是，书中很多例子都直接拿实际工作中遇到的性能瓶颈开刀，然后用极其优雅的方式进行优化。比如，关于向量化操作的那一章，我过去总是凭感觉写代码，效率自然不高，读完后才恍然大悟，原来只是一个简单的函数替换，就能带来数量级的性能提升。而且，它不局限于某一个特定的库，而是从更宏观的视角看待整个编程生态，让你明白在不同的场景下，应该选择什么样的工具和策略。对于任何一个想把自己的分析速度提高一个档次的专业人士来说，这本书都是一份不可多得的武功秘籍，让你从“能用”直接迈向“高效”。

说实话，这本书的阅读体验颇具挑战性，但回报也是巨大的。它绝不迎合初学者，开篇就直奔主题，节奏紧凑，信息密度极高。我需要时不时地停下来，查阅相关的操作系统或编译原理知识，才能完全跟上作者的思路。然而，正是这种高强度的学习过程，迫使我不得不走出舒适区，真正去理解那些支撑起高性能计算的基石。我尤其欣赏作者在介绍复杂优化技术时，总是会附带一个清晰的对比实验，用数据说话，而不是空洞的理论宣讲。这种严谨的态度让读者对书中提出的每一种优化方案都深信不疑。对于那些已经掌握了基础编程技能，但感觉自己的代码在处理大数据集时总显得力不从心的中高级用户来说，这本书就像是一把钥匙，能够解锁你代码潜能的下一把锁。

这本书的独特之处在于，它不仅教你如何写出快如闪电的代码，更重要的是，它让你建立起一套科学的性能评估和诊断流程。它不是给你一堆现成的“优化药方”，而是教你如何使用诊断工具，如何准确地定位到代码中最耗时的那“一小段”。我过去常常是“拍脑袋”式优化，改了很多地方，但整体提升不明显，浪费了不少时间。读完关于基准测试和性能剖析的章节后，我学会了如何精确地测量，如何识别真正的瓶颈所在。这套方法论的价值，远远超过了书本上具体展示的那些优化技巧本身。它提供了一种解决问题的系统性框架，让我对未来的任何性能挑战都充满了信心。这本书，与其说是技术手册，不如说是一套关于计算效率哲学的入门指南，对我的职业发展有着深远的影响。

获益匪浅。9章开始没读了，以后有机会读。

获益匪浅。9章开始没读了，以后有机会读。

获益匪浅。9章开始没读了，以后有机会读。

获益匪浅。9章开始没读了，以后有机会读。

获益匪浅。9章开始没读了，以后有机会读。