浔之漫智控技术（上海）有限公司 是一家从事西门子工业自动化产品和数控系统销售、技术服务，工业自动化设备安装，工业自动化控制设备、电气设备、机电设备、电子产品、五金产品、金属材料、仪器仪表的公司。在西门子工业自动化产品领域，公司凭借雄厚的技术实力及多年从事 SIEMENS 产品的销售经验。公司是德国SIEMENS中国授权代理商，本着树立公司形象和对用户认真负责的精神开展业务，赢得了 SIEMENS 公司与广大用户的好评及大力支持。        浔之漫科技有限公司是德国SIEMENS中国授权代理商，主营产品或服务:西门子PLC，西门子变频器，西门子数控系统，西门子伺服电机，西门子人机界面，西门子软启动器，西门子触摸屏，西门子工业以太网，西门子LOGO！，西门子SITOP电源，西门子软件，西门子线缆等。 西门子代理商，西门子华东一级代理，西门子上海总代理，西门子PLC代理商，西门子变频器代理商，西门子触摸屏代理商，西门子中国代理商 。

西门子变频器授权(一级)代理商

的，但是问题本身却很含糊。在这种情况下，结果要不就是也很含糊，或者会带有意外性和随机性。这类研究也许读起来很有趣，但可信度达到中等就不错了。

案例研究利用许多不同类型的数据，如研究者通过不同方法（如直接观察、面谈、文档分析以及特殊目的的数据分析程序）收集的谈话、活动、文档和数据记录。案例研究可以针对大范围的问题，如AWE流程中大的问题是什么？AWE如何影响设计活动？它如何影响设计结果？它如何组织测试流程？等等。

在我们的AWE对比BURP的例子中，BURP可以单独作为一个案例来研究，也可以作为同一个研究的第二个案例，研究者尽其所能地匹配调查和讨论的结构。如果描述地足够具体的7

2.4　证据的类型以及它们的优缺点

让我们来用一个例子来更好地说明。想象我们正在评估一种新的软件工程技术“AWE”美妙的新方法），它被用来替代“BURP”枯燥但被口碑良好的旧方法）。我们需要考虑哪种证据来决定是否采用AWE？在接下来的章节中，我们会描述常见类型的研究，并根据可信度和适用度的典型问题对每个类型进行评估。

2.4.1　对照实验和准实验

对照实验在我们需要对两种或多种条件进行直接比较时适用（如使用AWE相对于使用BURP），它基于一个或多个有可靠度量的标准，比如完成特定任务所需要的时间。这些实验在度量很棘手时也很有帮助，比如对AWE和BURP所产出的产品中的缺陷计数。“对照”意味着保持所有（除了把AWE换成B

西门子变频器授权(一级)代理商

外）别的东西为常量，这点我们可以直接根据工作环境和所要解决的任务来做到。对于所涉及的庞大的人为因素变量，实施对照的唯一方法是使用一组对象（而不是一个对象），指望所有的差异会在组内平均化。如果我们能把对象随机分组的话（随机实验），这种希望是被证明合理的（至少在统计意义上）。当然只有所有对象使用AWE和BURP的能力相当时，这才有意义。随机实验是能证明因果关系的唯一研究方法：如果我们只变动了AWE和BURP，那结果中的任何改变（除了统计波动）都是由这个差异所产生的。

有时候，我们不能随机分配开发人员，因为我们只能对已经存在的团体进行研究。

任何方法论都是一种镜头，研究者可以通过不同的镜头观察整个世界。但重要的是，必须承认不是所有的事物都在聚焦范围之内。对方法论的盲目追随会导致各种难堪的失误，特别是当研究者不理解方法论背后的惯例和假设时。即使存在普遍接受的方法论，研究者也不能解除责任，放弃从所需证据的角度来证明技术选择的正当性。基准测量是软件工程方法中基于集合证据产出适当结果的例子。它需要根据定义非常准确的程序（或基准）来度量性能。SPEC CPU基准是一个很好的例子，不管它的名字如何，它度量了CPU、内存子系统、操作系统和高CPU使用率应用程序编译器的组合性能。它包含了一系列应用程序源码，外加如何编译它们的详细指示，以及如何运行输入并度量它们的指示。

如果基准有明确的规定和适当的应用，你就能很准确地知道基准的结果意味着什么，也就不需要慌乱地比较Sun、HP、Intel之间的结果差异。这种可靠性和可比性正是发明基准的目的，也使它成为了可信度的标志。

那基准是免费的午餐吗？当然不是！对基准证据的真正顾虑是相关性：所使用的度量是否能代表所关注的现象并适用与此。基准所包含的内容始终是一个值得关注的问题，而且常常争吵

西门子变频器授权(一级)代理商

负载量的基准TPC-C，就引起了很多的怀疑。并为现象和因素之间的关系提供有根据的解释。定性研究不一定是“软的”，定量研究也不一定是“硬的”。

**研究的结果绝不会是武断的。好的科学寻求可重现的（“硬的”）结果，因为可重现的结果意味着它是可靠的，而且重现的过程使研究方法接受严格的审查。重现结果意味着重复（“复制”）各自的研究，要么在几乎完全相同的情况下（紧密复制），要么在不同但是想法类似的方式下（宽松复制）。定性研究几乎总是涉及独特的人文背景，因此很难紧密复制。然而，那不意味着研究结果不能重现；这通常是可能的。从相关性的角度来说，宽松复制比紧密复制更有价值，因为这意味着结果更具普及性。从另一个角度来说，定量研究的结果有时不能重现。比如，John Daly对继承深度的研究被三个不同的研究组复制，得出了相互矛盾的结果

总结而言，定量研究的优势是用几句简单的陈述就能描述情况，因此，有时能把事情弄得很清楚。它们的劣势是忽视了太多的信息，以至于通常很难确定结果真正意味着什么以及何时适用。定性研究的长处是它们的结果反映并展示了真实世界的复杂度。劣势是它们因此更难评估。如果不清楚如何把研究结果映射到真实世界的环境下，任何研究都难以应用于真实生活，或是因为实验范围太过狭窄，无法普及，或是因为观测的背景太过不同。

“底线”是方法必须适用于问题。关于社会背景、流程的问题，以及人们相信他们所做的事和他们真实做过的事之间的差异，需要不同形式的调查，这不是算法性能能解决的问题。

2.3　整合证据

解决证据局限性的一种方法是结合不同形式或不同

证据，就是把针对同样问题的不同研究结果整合起来。梳理证据背后的原因是，如果不同形式的证据或者不同渠道的证据能够呼应的话（或者至少不相互矛盾），它们就聚集了一种“重要性”，加在一起的可信度在自己的环境中用它来确保他们没有忽视或忘记某些东西。也许，在许多问题上，我们能做到的好情况是，提供需要考虑的因素来装备那些带着问题的从业者，让他们找到自己问题的解决方案。

要做到这点，我们需要扩大层观察所能接受的"证据"的定义。一些研究者一直争论说，软件工程研究存在对定量数据和研究的偏证据不是证明。总的说来，任何足以让我们认为一个理由可信，或者比另一个理由更可信的实证就是证据。不同的目的需要不同标准的证据。有些目的需要强有力的证据。比如说，决定是否要把所有的软件开发都转换成面向方面的设计和实现，这需要非常有说服力的证据来证明收益大于投资（包括经济和文化方面）。有些目的只需要薄弱的证据即可。比如说，一个面向方面的追踪应用实例可能已经足够证明面向方面的编程方法（AOP）是有价值的，留待进一步研究来澄清的是它能（在什么环境下）多好地完成目标。一份以找出设计中的缺陷为目标的评估研究，可能只需要少数参与者的回复。我们知道有一个为制造业所设计的语音反馈系统原型，在初始用户指出他们用耳塞就能屏蔽工厂噪声之后就被放弃了。一些目的只需要反例就够了。比如，当一个人试图辩驳一项假设或者一项普适的断言时，他只需要一个反例。例如，可视化编程的支持者们声称“可以图形化的就是好的”，但是通过在一项实验中证明嵌套结构在用文本表示时理解起来更快，使得这些支持者们开始重新审视他们的看法。

所以，你想问的问题和特定环境下需要的证据之间是有联系的。你需要的证据和能提供那些证据的方法之间也是有联系的。比如说，你不能向提供信息的人询问不能说的秘密，这就