西门子6AV21242DCO1OAXO

让我们来用一个例子来更好地说明。想象我们正在评估一种新的软件工程技术“AWE”美妙的新方法），它被用来替代“BURP”枯燥但被口碑良好的旧方法）。我们需要考虑哪种证据来决定是否采用AWE？在接下来的章节中，我们会描述常见类型的研究，并根据可信度和适用度的典型问题对每个类型进行评估。

2.4.1　对照实验和准实验

对照实验在我们需要对两种或多种条件进行直接比较时适用（如使用AWE相对于使用BURP），它基于一个或多个有可靠度量的标准，比如完成特定任务所需要的时间。这些实验在度量很棘手时也很有帮助，比如对AWE和BURP所产出的产品中的缺陷计数。“对照”意味着保持所有（除了把AWE换成BURP以外）别的东西为常量，这点我们可以直接根据工作环境和所要解决的任务来做到。对于所涉及的庞大的人为因素变量，实施对照的唯一方法是使用一组对象（而不是一个对象），指望所有的差异会在组内平均化。如果我们能把对象随机分组的话（随机实验），这种希望是被证明合理的（至少在统计意义上）。当然只有所有对象使用AWE和BURP的能力相当时，这才有意义。随机实验是能证明因果关系的唯一研究方法：如果我们只变动了AWE和BURP，那结果中的任何改变（除了统计波动）都是由这个差异所产生的。

有时候，我们不能随机分配开发人员，因为我们只能对已经存在的团体进行研究。

任何方法论都是一种镜头，研究者可以通过不同的镜头观察整个世界。但重要的是，必须承认不是所有的事物都在聚焦范围之内。对方法论的盲目追随会导致各种难堪的失误，特别是当研究者不理解方法论背后的惯例和假设时。即使存在普遍接受的方法论，研究者也不能解除责任，放弃从所需证据的角度来证明技术选择的正当性。基准测量是软件工程方法中基于集合证据产出适当结果的例子。它需要根据定义非常准确的程序（或基准）来度量性能。SPEC CPU基准是一个很好的例子，不管它的名字如何，它度量了CPU、内存子系统、操作系统和高CPU使用率应用程序编译器的组合性能。它包含了一系列应用程序源码，外加如何编译它们的详细指示，以及如何运行输入并度量它们的指示。

浔之漫智控技术（上海）有限公司（xzm-wqy-shqw）

是中国西门子的佳合作伙伴，公司主要从事工业自动化产品的集成,销售和维修，是全国的自动化设备公司之一。

公司坐落于中国城市上海市，我们真诚的希望在器件的销售和工程项目承接、系统开发上能和贵司开展多方面合作。

以下是我司主要代理西门子产品，欢迎您来电来函咨询，我们将为您提供优惠的价格及快捷细致的服务！

西门子6AV21242DCO1OAXO

如果基准有明确的规定和适当的应用，你就能很准确地知道基准的结果意味着什么，也就不需要慌乱地比较Sun、HP、Intel之间的结果差异。这种可靠性和可比性正是发明基准的目的，也使它成为了可信度的标志。

那基准是免费的午餐吗？当然不是！对基准证据的真正顾虑是相关性：所使用的度量是否能代表所关注的现象并适用与此。基准所包含的内容始终是一个值得关注的问题，而且常常争吵不休。SPEC CPU从这方面来说是相当成功的，但论及其他，如关系型数据库管理系统（RDBMSes）事物处理负载量的基准TPC-C，就引起了很多的怀疑。并为现象和因素之间的关系提供有根据的解释。定性研究不一定是“软的”，定量研究也不一定是“硬的”。

优质研究的结果绝不会是武断的。好的科学寻求可重现的（“硬的”）结果，因为可重现的结果意味着它是可靠的，而且重现的过程使研究方法接受严格的审查。重现结果意味着重复（“复制”）各自的研究，要么在几乎完全相同的情况下（紧密复制），要么在不同但是想法类似的方式下（宽松复制）。定性研究几乎总是涉及独特的人文背景，因此很难紧密复制。然而，那不意味着研究结果不能重现；这通常是可能的。从相关性的角度来说，宽松复制比紧密复制更有价值，因为这意味着结果更具普及性。从另一个角度来说，定量研究的结果有时不能重现。比如，John Daly对继承深度的研究被三个不同的研究组复制，得出了相互矛盾的结果

总结而言，定量研究的优势是用几句简单的陈述就能描述情况，因此，有时能把事情弄得很清楚。它们的劣势是忽视了太多的信息，以至于通常很难确定结果真正意味着什么以及何时适用。定性研究的长处是它们的结果反映并展示了真实世界的复杂度。劣势是它们因此更难评估。如果不清楚如何把研究结果映射到真实世界的环境下，任何研究都难以应用于真实生活，或是因为实验范围太过狭窄，无法普及，或是因为观测的背景太过不同。

“底线”是方法必须适用于问题。关于社会背景、流程的问题，以及人们相信他们所做的事和他们真实做过的事之间的差异，需要不同形式的调查，这不是算法性能能解决的问题。

2.3　整合证据