Improving your statistical inferences第七周:开放科学

Improving your statistical inferences第七周:开放科学

hcp4715hcp4715
注:Improving your statistical inference是荷兰 Eindhoven University of Technology心理学研究者Danial Lakens在coursera上开设的一门公开课,目的是为了增加心理学研究者对心理学研究中常用统计的理解。本次补第七周的内容。

你对p值的理解吗?让我们来测一测:你理解p值和置信区间?

第七周的内容主要是关于开放科学(open science)。这个主题非常重要,因为这个课程的开设,就跟心理学最近的可重复危机有关,而开放的和透明的科研做法,正是解决可重复性的挺然之一。

第一个视频就是讲重复(replication)。Karl Popper,著名的科学哲学家,对于可重复性在科学中的重要性也是有所评论的:

但是遗憾的是,许多研究领域并不重视重复性的研究,比如Bem (2011)在JPSP上发表了关于预测未来的研究之后,有一个独立的研究小组重复了他们的实验并且没有重复成功,当他们把结果提交到JPSP的时候,主编说:

当然,这个说法很快遭到了大家的批评,估计主编也扛不住了。JPSP换了主编之后,接受了另一个对Bem实验的结果:


最近关于重复研究越来越受到(心理学)科研界的重视,不少杂志发出邀请,让大家提前注册一些重要的重复研究。

重复研究不同的含义,具体可以见Goodman (2016)的讨论。对于直接重要研究来说,有三个目的:

第一:确定是否有假阳性;

第二:控制混淆变量,这个对于训练研究生来说非常有用;

第三:是否能推广到新的人群;

第四:验证原研究中的理论假设。

现在科研界的可重复状况如何?不尽人意,Begley & Ellis (2011)对53项医药研究的重复表明,大约只有11%的研究可以重复出来;心理学的研究,大约是39% (Open Science Collaboration, 2015)(关于心理学研究的可重复性,见我们的一个介绍:心理学研究中的可重复性问题:从危机到契机


那些研究比较不容易重复出来?如果以下三个因素都出现在一个研究当中,那就要小心了:

(注意:上图中的这个作者的名字应该是Lindsay)。

当然,Daniel也提到近年来一些比较重复的大规模的重复工作,他基本上都参与了。这些大规模的重复在我们的论文中也有所提及。

第二个重要的问题是出版偏见(publication bias),也就是论文发表过程中,科研界作为一个整体,会选择性地报告阳性的结果。这一点可以从p值的分布中看到这一点:从显著的p到不显著的之间,有一个突然的下降:

当然,出版偏见会带来很大的问题,可能会影响到研究者过于乐观地估计某个效应的效应量,甚至是投入大量的时间、金钱和精力去到一些没有效应的研究方向(包括多少研究生的血泪史、对科学丧失信心等)。

对于出版偏见,我们无法对其进行校正,但是却可以检测出是否存在出版偏见。

上图中,阴影部分是没有效应的情况,虚线的区域是根据效应量估计出来的应该有的实验的效应分布,可以看出来,大量的实验是正好分布在有效应与没有效应的边界上。对于出版偏见,现在没有公认的完美方法来校正,但是却有一些尝试的方法,但这些方法本身也是有一些局限性的,我就不作介绍了。需要做元分析 方法保持谨慎的态度。

避免出版偏见的方法是:提前注册。提前将自己的研究计划公布出来,不管结果如何,均将数据和结果公布,这正是一个目前正在心理学界推广的方法。

最后一个视频是讲开放科学(open science)。这个是最近几年科学界的一股清流。开放的科学有6个方面:

1. 论文开放(任何人都可以阅读科学的文献),这一点上,由于出版商的利润驱使,目前大部分的科学论文是无法免费获得的;荷兰政府正在准备将他们国家的科学论文到2024年时全部免费获取,这开了一好头;

2. 数据开放,这一点上确实有一些政策在管制,但是实际上,开放的数据并不是多见,有一些数据确实开放了,但是利用率也不高。今年还出现过一个"research parasites"的词,来指责那些自己不收集数据专门分析他人数据的研究者,这个词受到了广泛的指责。数据的开放也是有多个层次:从原始数据到分析过的数据到数据图表。这个需要有比较好的数据整理规范。另外,一些学术杂志开始要求研究者公开数据了。可能从明年趣,science,nature这样的杂志也开始有这个要求了。

3. 实验材料开放。开放实验材料将大大加速其他的研究重复原来研究的过程。这也是目前正在大力推广的。当前,可以使用Open science framework来进行分享。psychological science提供了一个标识,来奖励那些开放材料的研究。

4. 开放同行评议的内容。也就是说,同行评审过来要公开,这样可以避免小圈子之间的相互放水。

5. 开放分析代码。这一点将更加加速科研的进程,这样的话,许多研究生也许不用花大量的时候来走弯路了。

6. 公开利益冲突。也就是说作者本人与发表文章是否有利益的关系。这一点绝大部分学术界的研究者都还不是大问题,但也不少是涉及到商业利益的研究。

为什么上面说的这个开放的科学过程并没有想像的顺利?因为科学家之间也有利益的冲突。开放科学就像一个公共资源两难的问题:如果每人都贡献,大家都好;如果每人都贡献但是我不贡献,则我的收益最大。这种情况下,需要一些自上而下的机制,比如政府和基金的强制要求。

近年来,技术的进展也是推进开放科学的一个重要的原因,互联网的发达使得开放数据变得非常容易了。

最后,这一课的作业是在osf.io上提前注册一个研究,算是一个练习吧。比较有趣的是,这里提到了个数据组织的形式。虽然我们在科研中,每个实验室都有自己的数据组织方式,但是这里提供了个比较规范的方式,大致是采用如下的文件夹结构(详细说明见网站:http://www.projecttier.org/tier-protocol/specifications/):

这个文件夹组织的形式有一个demo,可以从这里下载:projecttier.org/documen


到这里,整个课程的笔记更新完毕。第八周只是考试,不用更新了 ;-)

参考文献:

Begley, C. G., & Ellis, L. M. (2012). Drug development: Raise standards for preclinical cancer research. Nature, 483(7391), 531–533. doi:10.1038/483531a

Goodman, S. N. (2016). Aligning statistical and scientific reasoning. Science, 352(6290), 1180-1181. doi:10.1126/science.aaf5406

Lindsay, D. S. (2015). Replication in psychological science. Psychological Science, 26(12), 1827–1832. doi:10.1177/0956797615616374

Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), 943. doi:10.1126/science.aac4716

文章被以下专栏收录
4 条评论
推荐阅读