Informing Federal Policies on Evaluation Methodology

出版者:John Wiley & Sons Inc

作者:Julnes, George/ Rog, Debra J.

页数:168

出版时间:2007-4

价格:$ 32.77

装帧:Pap

isbn号码:9780787997342

具体描述

One of the most divisive issues in the evaluation community has been the debate over which methodologies are to be considered adequate or commendable in addressing different evaluation questions in different settings. One form of this debate involved opposing camps of proponents of qualitative versus quantitative methods. A decade ago, there was some hope that the two sides of this debate, referred to as the paradigm war, were learning to respect each other. More recently, however, a federal agency priority for funding random assignment experimental studies has reignited the debate. This volume provides a space for a productive dialogue that, by identifying areas of agreement but also fundamental differences, will promote a more durable working consensus on the circumstances in which some methods are to be preferred over others. The chapter authors and discussants make clear that there are different types of evidence with which to inform this dialogue, including empirical findings of the impact of method choice on evaluation outcomes, the evidence contained in the wisdom of practice, and the results of critical analyses of the broader social impacts of method choice. The editors build on these contributions to suggest pragmatic policies for federal agencies, promoting both context-appropriate method choice and the importance of managing portfolios of evaluative research that maintain desired distributions of methodologies. This is the 113th volume of the Jossey-Bass quarterly report series New Directions for Evaluation, a publication of Jossey-Bass and the American Evaluation Association.

用户评价

我对这本书的期待点在于其实用性和前瞻性。市面上很多关于评估的书籍要么过于学术化，脱离了政策制定的现实困境；要么过于侧重工具介绍，缺乏批判性反思。我希望这本书能在两者之间找到一个微妙的平衡。我关注它如何处理“证据”的等级问题。在联邦政策制定过程中，决策者常常被各种相互矛盾的“证据”所包围，这本书是否有能力提供一个清晰的框架，帮助政策制定者或评估师去甄别和整合这些不同质量的证据流？我想知道，作者是否深入探讨了在资源有限、时间紧迫的政治环境下，如何进行“及时且足够好”的评估，而不是追求那种耗费巨大却可能姗姗来迟的“黄金标准”研究。此外，对于评估结果的“推广性”和“政策适用性”的讨论，也是我非常看重的部分。评估报告的最终价值在于能否有效影响未来的资源分配和项目方向，这本书有没有给出一些关于如何“翻译”复杂评估语言，使其更容易被非专业背景的国会议员和行政官员理解和接受的策略？

从章节标题来看，这本书似乎并未回避评估方法论中那些最“烫手”的问题，比如评估的政治化倾向和利益冲突。我非常期待看到作者如何处理联邦评估中常见的“旋转门”现象，即评估师的独立性和他们对未来合同的潜在依赖之间的矛盾。这种关于评估生态系统的讨论，远比单纯的统计方法论探讨来得深刻和重要。我关注它是否提供了一个关于如何构建一个真正独立的、能够对权力构成有效制约的联邦评估机制的蓝图。如果这本书仅仅停留在描述现有方法，而未能对评估的权力结构和规范性基础进行批判性反思，那它就只是一本高级的技术手册。我更希望它能成为一本“赋能”之书，让所有参与联邦评估的人员，无论是设计者、执行者还是使用者，都能更深刻地理解评估不仅仅是数据处理，而是一场关乎公共信任和有效治理的道德实践。这种批判性的、具有社会责任感的视角，才是衡量一本顶尖评估著作的标准。

这本书的封面设计着实引人注目，深蓝色的主色调搭配着烫金的标题，散发出一种严谨而专业的学术气息。我拿到它的时候，首先被它厚重的质感吸引了，这让我对其中的内容充满了期待。我一直在寻找一本能够深入探讨联邦政策评估方法的权威著作，尤其是那些能揭示不同方法论背后的哲学思辨和实际操作挑战的书籍。这本书显然在理论框架的构建上花费了大量的笔墨，它似乎试图勾勒出一个宏大的、涵盖了从定性到定量、从因果推断到效果衡量的评估方法图谱。我尤其关注它是否能清晰地阐述当前美国联邦政府在大型社会项目评估中面临的伦理困境和数据治理难题。如果它能提供一些不同政府部门——比如教育部、卫生与公众服务部——在评估实践中的案例比较，那就更好了。目前看来，这本书的目录结构非常严谨，章节之间的逻辑递进感很强，预示着它将是一部需要细心研读的硬核作品，而非泛泛而谈的指南。它似乎想告诉读者，评估不是简单的对与错的判断，而是一个复杂、多层次的知识建构过程，这正是我所期待的深度。

说实话，我拿到这本书后，花了不少时间在“消化”它的引言部分，那部分对于评估方法的历史演变梳理得极其详尽。它没有急于跳入技术细节，而是先将我们带入一个宏大的历史语境中，探讨评估理念是如何随着政治气候和社会需求而不断演进的。我惊喜地发现，作者似乎对社会科学哲学思潮如何渗透到公共政策评估的“工具箱”中有独到的见解。例如，它探讨了后实证主义思潮对传统计量经济学模型的冲击，以及新兴的混合方法论是如何试图弥合客观性和主观解释之间鸿沟的。这种对理论根基的深挖，使得这本书的分析层次远高于那些仅仅罗列统计公式的教科书。我特别期待后续章节能详细阐述如何将这些高深的哲学概念，转化为联邦项目中可操作、可问责的评估设计。如果它能提供一些关于如何评估那些目标模糊、干预复杂的“软科学”政策（比如社区发展或反贫困计划）的创新思路，那就更具价值了，因为这些恰恰是传统RCT（随机对照试验）难以有效触及的领域。

这本书的装帧和排版给我留下了一种严肃而略显刻板的印象，仿佛是直接从某个高级智库的内部研讨会上拿出来的文件汇编。我仔细翻阅了其中关于“问责制与学习型评估”章节的描述，这部分内容似乎是核心所在。我非常好奇作者如何界定和区分这两种评估范式在联邦体系中的角色冲突。问责制往往要求清晰、可量化的指标来证明纳税人的钱是否得到了有效使用，而学习型评估则更关注过程中的适应性和非预期后果的挖掘。这两者在评估设计上的取舍是联邦评估实践中最具张力的环节。我尤其想看到作者如何论证，在当前的政治压力下，评估人员如何能在两者之间有效地周旋，既要满足自上而下的问责要求，又要保障评估过程的科学性和探索性。如果它能深入剖析一些失败的案例——那些因为过度强调问责而扼杀了创新的评估项目——并从中提炼出可供借鉴的教训，那么这本书的价值将是无可估量的。