透明公开可重复的心理学

如何加强心理学研究的透明、公开与可重复性

16471 人关注

心理学研究方法

{"database":{"Post":{"23638496":{"title":"Improving your statistical inferences第五周：置信区间、样本量以及p-curve","author":"hcp4715","content":"<i>注：<a href=\"https://link.zhihu.com/?target=https%3A//www.coursera.org/learn/statistical-inferences/home/welcome\" class=\"hover\" data-editable=\"true\" data-title=\"Improving your statistical inference\">Improving your statistical inference</a>是荷兰 Eindhoven University of Technology心理学研究者Danial Lakens在coursera上开设的一门公开课，目的是为了增加心理学研究者对心理学研究中常用统计的理解。本次更新第五周的内容。</i><br><br><p>本周的内容主要是接着上周的效应量。既然我们报告了效应量（以及解读TA的理论和实际的意义），接下来，我们需要报告效应量的误差，也就是置信区间。为什么要报告置信区间呢？原因是：我们的研究一般是从总体中抽出一个样本，想要根据这个样本来对总体的情况进行推断，既然是一次抽样，就可能有误差。有个名人说过：只报告点估计不报告相应的误差就是耍流氓。</p><p><img src=\"v2-f3b23d020cb01afea4cb59786bd4c450.png\" data-rawwidth=\"576\" data-rawheight=\"313\">那么置信区间（confidence intervals, CI）到底是啥呢？可以直观地到这个网站上感受一下：<a href=\"http://rpsychologist.com/d3/CI/\" data-editable=\"true\" data-title=\"Interpreting Confidence Intervals\">Interpreting Confidence Intervals</a>. 截个图：</p><p><img src=\"v2-d9b90df73d875e3d2b092bbec31e9ac2.png\" data-rawwidth=\"813\" data-rawheight=\"741\">这个图中间的黄色虚线是总体均值，每个短黑线是一次抽样的置信区间，蓝色的点是则是样本的均值。可以看出，95%置信区间中，也有一小部分不包括总体的均值。这里涉及到对置信区间的理解了：95%的CI指的是进行无数次抽样，每次抽样进行一次CI估计的话，大约95%的CI包含了真值。所以从这个角度来讲，你的这个实验的95%CI是否包含了真值呢？不知道，有95%可能包括了吧。</p><p>CI的一个特点是，随着样本量的增加，会越来越稳定地接近真值（废话，样本量越多，从总体中抽出来的个体越多，当然会越接近真值）。</p><img src=\"v2-be55fe6b3e0ea8a13c4e6928002a18af.png\" data-rawwidth=\"1187\" data-rawheight=\"547\"><p>不过95%的CI是否意味着你重复一次实验，有95%的可能就包含真值？不是的。这个比值叫做捕获百分比（Capture Percentage），具体的原理就不讲了，有兴趣的同学参考这个文献：[<a href=\"http://psych.colorado.edu/~willcutt/pdfs/Cumming_2006.pdf\" data-editable=\"true\" data-title=\"colorado.edu 的页面\" class=\"\">http://psych.colorado.edu/~willcutt/pdfs/Cumming_2006.pdf</a>]。但记住一点：95%的CI的捕获百分比大约为84.3%。这个错误出现在Science的一篇评论中，至今没有纠正[见我们的中文介绍：胡传鹏, 王非, 过继成思, 宋梦迪, 隋洁, 彭凯平. (2016)]。</p><br><p>CI的作用是什么？对于单个的实验室来说，可能没有那么重要，但是对于整个科学界来说，即是非常重要的，因为它可以帮我们对多个研究进行整合的元分析，从而得到对真值更加准确的估计，体现科学的累积的效果。</p><img src=\"v2-aa7efb05000938bd452b27cde4e62adb.png\" data-rawwidth=\"1025\" data-rawheight=\"623\"><br><p>当然，提到置信区间就不会不提贝叶斯的credible intervals，这个概念更接近我们的直觉：在95% credible intervals中间的是我们认为最有可能的值。这个概念也可以搜索一下相关的文献。</p><p>本周第二课讲的是统计检验力分析（Power analysis）和样本量的估计。这个对于研究者来说很实用，但也是非常难搞定的一个。</p><img src=\"v2-b5a662d2fffcffb5ea96f2e7ea344226.png\" data-rawwidth=\"1191\" data-rawheight=\"639\"><br><p>前面提到，样本量越小，CI越大，所以小样本量估计出来的CI，其实很不靠谱。但研究者的时间和金钱是有限的，如何在大样本与有有限的资源之间进行平衡？以前主要靠直觉，比如说前面的人用了30个人，我们也用30个。现在大部分人仍然是这么做的。但是这样做已经不行了，因为大部分的好期刊已经开始要求你明确说明你为什么要采用这个样本量。以下是最近JEP:G一个文章方法部分的截图：</p><img src=\"v2-d3a75f7972ab7eff7f5314bf180c770f.png\" data-rawwidth=\"790\" data-rawheight=\"187\"><p>正是由于我们之前是用的直觉，导致心理学研究整体的统计检验力严重不足。2013年，Nature Neuroscience专门刊登了篇文章，标题就是叫做<a href=\"http://www.nature.com/nrn/journal/v14/n5/full/nrn3475.html\">Power failure</a>。</p><p>上周提到过统计检验力、效应量、alpha水平与样本量四者有密切关系，确定三者可以得到剩下的一个。一般实验前想要知道需要多少样本量能够达到令人满意的检验力（比如说90%），那么这时候效应量的值就显得很关键。一般来讲，我们可能需要从前人的研究中来得到对效应量的估计，但是由于出版偏见的原因，前人已经发表的研究极有可能高估了效应量。所以，采用无偏的效应量对前人研究进行元分析之后，得到的效应量可能会比较靠谱一些。</p><p>在课后的作业中，Lakens提供了使用G*power以及其他一些软件来计算样本量的操作，非常实用。但也有一个问题，对于认知实验中常用的2*2被试内设计，计算交互作用的90%检验力需要多少样本量时，在G*power中如何填写Number of measure仍然不知道，我在课程的论坛上问了这个问题，Lakens直接说：我也不知道。所以这个问题比较tricky。</p><p>跳出这个课程，关于样本量上，还有一些经验的做法。比如Simonsohn他们在一篇文章[<a href=\"http://pss.sagepub.com/content/early/2015/03/23/0956797614567341.abstract\" data-editable=\"true\" data-title=\"Small Telescopes\">Small Telescopes</a>]中指出，如何需要重复一个研究，可能需要原研究样本的2.5倍。在另外一个演讲中[<a href=\"http://www.psychologicalscience.org/pdf/Life-After-P-hacking-2013-07-15.pptx\">life after p-hacking</a>]。他也指出，要想检验出一个类似于男性身高大于女性这样一个效应量的假设，至少需要每组50人的被试间设计。所以，也许，50可能是我们以后进行探索性研究时的一个经验值。当然，在第三周时也提到了optional sampling的方法，可以使用这个，让我们在样本量和有限的资源之间进行平衡。</p><p>最后，<b>讲的是P-curve</b>，这个方法已经有了不少文章，比较靠谱（我们在19届全国心理学大会前的工作坊中，由<a href=\"https://www.zhihu.com/people/4a4cdd3f68e558954a931f63547a7eb4\" data-hash=\"4a4cdd3f68e558954a931f63547a7eb4\" class=\"member_mention\" data-title=\"@沉默的马大爷\" data-editable=\"true\" data-hovercard=\"p$b$4a4cdd3f68e558954a931f63547a7eb4\">@沉默的马大爷</a> 讲过这个方法）。在第二周时，Lakens讲到，当H0为真时，<i>p </i>值应该是在0－1之间均匀分布的。而当H1为真时，一个统计检验力比较强的实验中，p值的分布是靠近0这一端，而且是在小于0.01这一端比较多（见下图）。</p><img src=\"v2-a691f610ee4ba0c713cbdfd0972663ec.png\" data-rawwidth=\"1110\" data-rawheight=\"610\"><br><p>基于这一个理论假设，假如一个研究的效应是真实的（H1为真），那么它的P值应该更多分布在小的一端（0.01），而不是0.05这一端。所以如果我们找出一系列关于这个效应的研究，把他们的阳性结果（p&lt; 0.05)的p值拿过来做一个分布，看看是更多地靠近0.05，还是0.01。如果靠近0.01，则更有可能是在H1为真的情况下的数据（比如下图的教授启动效应）（补一句：最近APS<a href=\"http://www.psychologicalscience.org/publications/observer/obsonline/professor-priming-focus-of-aps-registered-replication-report-project.html#.WCkpDPl95EY\" data-title=\"正在组织重复Professor priming的实验\" class=\"\">正在组织重复Professor priming的实验</a>，结果可能明年出来）。</p><img src=\"v2-d36ce115a75f0ed93363b5a71e24c9b9.png\" data-rawwidth=\"1169\" data-rawheight=\"614\"><p>如果是靠近0.05，则H1更有可能效应不存在，H0为真，比如下图的老年启动效应。</p><img src=\"v2-d546842ccc299864edc70c529482fd05.png\" data-rawwidth=\"1164\" data-rawheight=\"613\"><br><p>非常遗憾的是p-curve没有练习题，所以我还没有练习。估计以后抽时间自己练习一下。相信理解原理之后，操作起来不难。</p><p>小结：只报告效应量不报告置信区间就是耍流氓；样本量估计不容易；p-curve是检验以前关于某个效应是否可靠的好方法。</p><br><p>参考文献</p><p>胡传鹏, 王非, 过继成思, 宋梦迪, 隋洁, &amp; 彭凯平. (2016). 心理学研究的可重复性问题：从危机到契机. 心理科学进展, 24(9), 1504–1518 doi:10.3724/SP.J.1042.2016.01504</p>","updated":"2016-11-13T16:49:23.000Z","canComment":false,"commentPermission":"anyone","commentCount":6,"likeCount":86,"state":"published","isLiked":false,"slug":"23638496","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2016-11-14T00:49:23+08:00","links":{"comments":"/api/posts/23638496/comments"},"url":"/p/23638496","titleImage":"https://pic3.zhimg.com/v2-510264646fc472465ff89271b1ea03ee_r.png","summary":"","href":"/api/posts/23638496","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":6,"likesCount":86},"23941735":{"title":"Improving your statistical inferences第六周：科学哲学与理论","author":"hcp4715","content":"<p><i>注：Improving your statistical inference是荷兰 Eindhoven University of Technology心理学研究者Danial Lakens在coursera上开设的一门公开课，目的是为了增加心理学研究者对心理学研究中常用统计的理解。本次更新第六周的内容。</i></p><p>第六周的内容比较偏理论一些，讲心理学研究中所涉及到科学哲学的问题。之所以讲这个，是因为统计推断与哲学的假设密不可分。在课前的阅读内容中， Daniel提到了Paul Meehl 这个不为人所熟知但却对心理学方法有着深刻见解的心理学家，他在明尼苏达大学曾经开设过一门哲学心理学，并且录制下来了，可以在<a href=\"http://meehl.umn.edu/recordings/philosophical-psychology-1989\" data-editable=\"true\" data-title=\"这里\">这里</a>下载视频和音频。</p><p>第一个视频，Daniel简单回顾了科学哲学的一些观点。这些讲解是与当前心理学研究中的可重复危机非常紧密相关的。首先提到的，就是Karl Popper关于科学与伪科学的区别：</p><p><img src=\"v2-0e5fff81175ab48694bc110f7677f8e2.png\" data-rawwidth=\"592\" data-rawheight=\"332\">当然，也有一些其他哲学家的观点，例如，科学理论应该能够预测新的东西：</p><img src=\"v2-7dfedac8b4dbe454045f94aa231fa76b.png\" data-rawwidth=\"596\" data-rawheight=\"335\"><p>是否falsifiable是科学的唯一标准？也有科学哲学家认为，单个或者少量相反的事实不应该推翻理论，除非有更好的理论出现。</p><img src=\"v2-7ce1f44f50ef2fc6899c9cb79f9e991d.png\" data-rawwidth=\"593\" data-rawheight=\"327\"><p>说完证否的问题之后，另外一个问题是，怎么算是falsified?可能是有些auxiliary hypothesis.</p><p>Kuhn的paradigm shift的观点也被提及了一下，到这里的时候，科学已经不是完全客观的东西了，而是依赖于一些paradigm的。再更近一点，更有哲学家认为，科学就是social product。</p><p>在某一处，Daniel说到了Platt在1964年写的经典文章<a href=\"http://pages.cs.wisc.edu/~markhill/science64_strong_inference.pdf\" data-editable=\"true\" data-title=\"Strong inference\">Strong inference</a>。在Strong inference中，Platt指出了非常重要析一点：不是所有的科学领域都是以相同的速度在前进的，有些会快一些，有些则慢，而之所以有些会的原因，这些领域的研究者普遍采用了strong inference的思路。这个文章非常值得一读。</p><p><b>第二个视频的标题是，the null is always false。</b>我们在心理学的研究中，采用的是Null Hypothesis Significant Test (NHST)，也就是用数据去拒绝H0。但如果H0总是错的话，那么我们去拒绝它的意义就不太大了。在这里，<b>测量变量</b>(measured variables)与<b>随机操纵的变量</b>之间的区别就显得非常大了。测量的变量是那些已经客观存在我们无法改变的变量，例如性别；而操纵变量就是我们可以去变化的变量，例如，锚定效应中的锚定值，可以让它变成很大或者很小。当我们操纵变量时，H0会相对为说更加具体一点，当我们使用测量变量时，H0就很宽泛，为假的概率非常大。在课程中，Daniel列举了<a href=\"https://osf.io/wx7ck/\" data-title=\"Manylab的数据\" class=\"\" data-editable=\"true\">Manylab的数据</a>为例子，在这个大规模的重复实验中，操纵锚定值仅对锚定的情况有效应，而对于其他的测量没有效应；但是性别的差异却在大部分的测量中都有差异。这种测量变量带来的差异，就像是系统偏差一样。这让我想到了某次博士论文答辩，一位老师指出，仅使用测量变量，不能算是实验，因此没有太大的意义。</p><p>如果说H0总是错的，那么为什么证否它没有太大的意义？因为它是非常弱的假设。就跟你假设今年12月会有降水一样。但研究往往需要强的假设，比如12月11日会降水，这样的假设也有更强的意义。</p><p>由于证实偏见（comfornative bias）的存在，我们总倾向于去证实某个假设，而不是进行检验关键的、可以证否理论的假设。所以我们要做的，是去克服自己的这种证实偏见，去找出关键的、强的假设进行验证。这一点，需要功力啊。</p><br><p>第三个视频：理论建构。先来一个对SfN2016的吐槽：</p><p><img src=\"v2-03389101f79036fe022d5ab379c819ee.png\" data-rawwidth=\"731\" data-rawheight=\"396\">理论在科学中的重要性，不言而喻。即便Daniel讲这么多统计推断，我个人认为主要的目的不是让心理家研究者变成做统计的人，而是在提出理论的时候，证据上是没有问题的，推断是合理的。虽然说这个视频叫做理论的构建，但主要是讲如何寻找理论的问题。里面提到了一些常见的得到研究问题的方法，就不赘述了。</p><p>与以往的课程一样，这一周的课后作业中有彩蛋。这次的彩蛋是：如何使用频率义的方法来证明H0确实是真的。这个问题与NHST这个方法非常有关！</p><p>由于NHST是假定H0为真，所以即便我们的数据无法拒绝H0，我们也不能说H0就是真的，因为这是NHST的假设。要证实H0确实为真，一个办法是使用Bayesian的Bayesian Factor。对Bayesian Factor的简单理解就是：当数据支持H1和H0的概率的比值（P(H1)/P(H0)）。</p><p>使用频率主义的方法，也有一个办法，只是更加复杂一些，叫做：Equivalence Testing。大致的意思就是说，你现在的这个效应量与0没有差异，或者说你的这个效应太小了，没有意义。一个简单的Equivalence Test就是two-one-sided t-tests’ (TOST)，也就是说，将你实验的效应与一个事先设定的小效应或者零效应的范围进行比较，如果你的效应的置信区间的高的一端小于这个范围的上限，小的一端大于这个范围的下限，说明你的效应与这个事先设定的小效应或者零效应是等同的。</p><img src=\"v2-36d8e01c048b7b921f2dd6af1d894d91.png\" data-rawwidth=\"1743\" data-rawheight=\"684\"><p>上图就是对TOST的一个图示。进行一次TOST的检验有四种可能：</p><p>1.你的效应是显著的，但是与这个事先设定的范围等同（太小而没有意义）；</p><p>2. 你的效应是显著的，且大于这个事先设定的范围（有意义）；</p><p>3. 不显著且不等同于事先设定的范围（很尴尬了，无法解释，可能说明实验的power过低）</p><p>4. 不显著且等同于事先设定的范围。</p><p>如何进行TOST检验？ Daniel也提供一个Excel表格用来做这个工作，可以从这里下载: <a href=\"https://osf.io/aa49c/\" class=\"\">https://osf.io/aa49c/</a><br><br></p><p>除了TOST以外，Daniel也提供了R的代码进行Bayesian Factor的分析，有兴趣可以加入课程去下载。</p>","updated":"2016-11-25T06:56:54.000Z","canComment":false,"commentPermission":"anyone","commentCount":10,"likeCount":83,"state":"published","isLiked":false,"slug":"23941735","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2016-11-25T14:56:54+08:00","links":{"comments":"/api/posts/23941735/comments"},"url":"/p/23941735","titleImage":"https://pic3.zhimg.com/v2-510264646fc472465ff89271b1ea03ee_r.png","summary":"","href":"/api/posts/23941735","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":10,"likesCount":83},"24167271":{"title":"Improving your statistical inferences第一周：p值是什么？","author":"hcp4715","content":"<p><i>注：Improving your statistical inference是荷兰 Eindhoven University of Technology心理学研究者Danial Lakens在coursera上开设的一门公开课，目的是为了增加心理学研究者对心理学研究中常用统计的理解。本次补第一周的内容。</i></p><p><i>你对p值的理解吗？让我们来测一测：<a href=\"https://sojump.com/jq/11122468.aspx\" class=\"\">https://sojump.com/jq/11122468.aspx</a></i></p><br><p>第一周的内容主要是两个方面：1、对课程的介绍以及如何算成绩；2、三种不同的统计取向；3、频率主义(frequentism) 统计中<i>p</i>值；一类错误和二类错误。第一点就不说了，因为这个课已经结束了（有可能会再开，请关注，据说中文字幕正在准备之中）。下面就讲第二点和第三点。</p><p>开始讲之前，Daniel明确了一点：为什么我们要去认真地学习统计推断？原因可能如下：</p><p><img src=\"v2-11015175834beca384322ec9eb68105c.png\" data-rawwidth=\"445\" data-rawheight=\"254\"><br>这一点很重要，而且往往会被我们所忽略，虽然Feynman在1974就已经提醒过我们了，但今年Nature News仍然再次说到我们人类认知偏差(cognitive bias)对于研究可重复性的影响：<a href=\"http://www.nature.com/news/let-s-think-about-cognitive-bias-1.18520\" class=\"\">http://www.nature.com/news/let-s-think-about-cognitive-bias-1.18520</a>。</p><p>另外，在现在心理学的研究中，从在数据与理论之间，需要统计来进行连接 （当然，统计在科研中扮演重要角色的历史也不算非常长，可以看看the lady tasting tea）。</p><img src=\"v2-7b40cd8d96367d4878936b060660f3ca.png\" data-rawwidth=\"465\" data-rawheight=\"258\"><p>第一课的重点之一：心理学研究中可以使用的统计取向有三种：频率主义统计（frequentism statistics）、贝叶斯统计（Bayesian statistics）和似然率（Likelihood Ratio，这个翻译我拿不准）。这三种取向的统计分别回答的问题：“我应该怎么做？” “我应该相信什么？”以及“相对的证据是什么？” 频率主义统计实际上回答的问题是：\"长此以往，我们的行为会是怎么？” 因此，对于我们当前的这个检验，它其实没有提供任何的信息（一脸懵逼啊）。贝叶斯统计考虑的问题则是：当前的数据会如何改变我们先前的信念。似然率则只是单纯地计算出当前数据在两种假设下的可能性，看他们的相对而言，谁更可能是正确的。由于似然率是相对的证据，因此即便两个假设都是错的，也有可能一个比另一个可能性更大。这三种统计方法之间并不相互冲突。</p><p>介绍完了三种统计的取向之后，Daniel开始先介绍频率主义的统计，实际上就是我们常用的基于p值的统计。p值无疑是现在科研中使用最多的一种统计方法（比如心理学中至少有95%以上的实验是使用p值作为统计推断的基础的），它也是有优势的：</p><p><img src=\"v2-908ce140b20ee1b4ed5ce002351bcde2.png\" data-rawwidth=\"462\" data-rawheight=\"256\">当然，也有一种解释是说，我们之所以大量使用p值是因为不懂贝叶斯统计（嗯，这个理由我服）。</p><p>p值本身的含义到底是什么（抛开各种检验的原理不说）？ <b>它是当你假定没有效应时</b>，当前数据有多大的可能会出现。而我们人为地规定一个值（比如心理学中的0.05，物理学中的0.0000003），假如p值小于这个值，我们就论文认为：如果假定没有效应，当前的数据太奇怪了，因此可能是有效应的。</p><p>由于p值是我们假定没有效应（假定H0为真）时，出现当前数据模式的概率，所以我们不能根据p值推断出H0为真的概率。因为以H0为真作为条件时，当前数据模式的概率，不等于以当前数据模式作为条件，H0为真的概率。</p><img src=\"v2-6575f9a259392ce679544c33a9f6179a.png\" data-rawwidth=\"849\" data-rawheight=\"448\"><p>p&gt; 0.05也不能说明没有效应，有可能是效应比较小，需要更多的样本才能检测出效应。所以其实当p &gt; 0.05的时候，能够提供的信息非常少。但是由于p值本身的分布也有一定规律的，所以单个研究的p值即便不显著，它从某种程度上也可以为科学做贡献：将它纳入到元分析中很重要。</p><p>从频率主义的角度来讲，一次实验并不能证明太多的东西，而是当作从无数个实验中的一次取样，所以一个研究的结果是否显著，从长远的角度来讲其实都是有贡献的。</p><p>在解读p值时，需要注意的另一点是，p值是关于数据在我们假定没有效应时的概率，而与理论无直接关系，所以不能为理论提供直接证据。</p><p>当效应真正存在（即H1为真时），p值的分布依赖于统计检验力；当效应不存在时，p值在0－1之间均匀分布（不管实验有多少被试）。这一点在第三周中讲得更加详细：<a href=\"https://zhuanlan.zhihu.com/p/23334271\">https://zhuanlan.zhihu.com/p/23334271</a>。</p><p>第一课里最后的内容是一类错误与二类错误。这两个概念可能是在心理统计学中最经常出现的。</p><p>aphla : H0为真时出现显著结果的概率 （一类错误率、假阳性）。</p><p>beta: H1 为真时出现不显著结果的概率（二类错误率、假阴性）。</p><p>1－beta: H1为真时出现显著结果的概率（统计功效，statistical power我之前一直翻译为“统计检验力”，看来翻译的术语使用也要谨慎）</p><br><p><img src=\"v2-8ea054ef330186aa0572c2c7f3fe21d8.png\" data-rawwidth=\"598\" data-rawheight=\"338\">有意思的是，在这个课中，对于一类错误和二类错误还有一些模拟。</p><p>比如，如果H0和H1各有50%为真，如果把alpha 设定为5%，把统计检验力设定为0.8 （也就是1-beta ＝ 80%），你做一个实验，出现各种结果的比例是多少？</p><p><img src=\"v2-bf1b90c991a923bf529f9c3eab66dff4.png\" data-rawwidth=\"468\" data-rawheight=\"261\"><br>所以最有可能出现的结果是真的阴性结果 （47.5%）。</p><p>如果把统计检验力提高到99%呢？</p><img src=\"v2-2e38325428f82f367fb4b8da1a41b88b.png\" data-rawwidth=\"469\" data-rawheight=\"262\"><p>这时真的阳性结果出现的可能性才会略高于真的阴性结果。</p><p>同样，如果aphla水平或者H0与H1为真的比例发生了变化，各种结果出现的比例也会相应的变化，比如如果H1有90%的可能为真而H0只有10%：</p><p><img src=\"v2-254a2df0b68311b83023953154834ff5.png\" data-rawwidth=\"469\" data-rawheight=\"264\">这时，真阳性的比例大大提高了！</p><p>考虑到假阳性与假阴性，在实验中我们要对它们以及现实的因素（财力物力和时间）进行权衡。当然这个权衡的前提是，你要了解你自己是如何在控制这个因素，保证你从长远看来，没有欺骗自己。</p><p>第一课的课后练习，主要是通过R来画p值的分布，以及一类错误率和二类错误率会如何随着我们的统计检验力（1-beta）、效应量（H1为真的可能性）和aphla水平的变化。了解这些，可能才明白为什么我们需要进行统计检验力的分析：因为低统计检验力的实验中，假阴性可能比我们预想的要高。</p>","updated":"2016-12-04T17:47:54.000Z","canComment":false,"commentPermission":"anyone","commentCount":22,"likeCount":95,"state":"published","isLiked":false,"slug":"24167271","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2016-12-05T01:47:54+08:00","links":{"comments":"/api/posts/24167271/comments"},"url":"/p/24167271","titleImage":"https://pic3.zhimg.com/v2-510264646fc472465ff89271b1ea03ee_r.png","summary":"","href":"/api/posts/24167271","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":22,"likesCount":95},"24175191":{"title":"Improving your statistical inferences第二周（1）：似然性","author":"hcp4715","content":"<i>注：Improving your statistical inference是荷兰 Eindhoven University of Technology心理学研究者Danial Lakens在coursera上开设的一门公开课，目的是为了增加心理学研究者对心理学研究中常用统计的理解。本次补第二周的内容。</i><p><i>你对p值的理解吗？让我们来测一测：<a href=\"https://sojump.com/jq/11122468.aspx\" class=\"\" data-editable=\"true\" data-title=\"你理解p值和置信区间？\">你理解p值和置信区间？</a></i><br></p><p>第二周的主要内容是关于另外两种统计的取向：似然率比值和贝叶斯统计。正如在第一周开始的介绍中所说，贝叶斯和似然率比值与频率主义的思路很不相同，它们关注的是相对的证据。也就是说，当前的数据，在多大程度上支持了我的假设A（相对于假设B）。</p><p>本文主要讲似然率比值（Likelihood ratio）。似然率比值本身可以作为一统计推断的方法，也是贝叶斯统计的基础。</p><p><img src=\"v2-cfc85dfa198bc09d8b092d328e6de225.png\" data-rawwidth=\"520\" data-rawheight=\"309\">这个可以看出来，似然率比值与NHST的区别还是挺大的：似然率比值是根据数据来推断某个统计模型的可能性；而NHST是假设H0为真的情况下出现当然数据的可能是多少，这个可能性是否小到我们认为在一次抽样中不可能发生。</p><p>课程中使用二项分布来讲解似然率比值:</p><p><img src=\"v2-7f7ebe550c6a19a76a32e0c8c242651b.png\" data-rawwidth=\"542\" data-rawheight=\"214\">二项式分布就是我们在大学以前学习过的掷N次硬币出现m次有多大可能的那个，上面的这个公式是一个数学的表达式。当然，不喜欢公式实际上也不影响理解。</p><p>假如你掷了10次硬币，出现了8次正面朝上。根据这个数据，我们可以算一下这个硬币是否是一个公平的硬币（也就是说不断掷下去正反面出现的比例各为0.5）。一个公平的硬币，在二项式公式中的参数<equation>\\theta = 0.5</equation> 。抛10次硬币出现8次正面向上，计算硬币是公平的概率时，把<equation>\\theta = 0.5</equation>代到下面的公式之中即可</p><p><equation>[10!\\div (8!(10-8)!)]\\times \\theta^8\\times(1-\\theta)^2</equation> (1)<br></p><p>当然，我们可能会怀疑，这个硬币不是公平，它本身可能是一个<equation>\\theta = 0.8</equation>的一个硬币（也是说，80%的情况下出现正面）。这种情况下，可以把<equation>\\theta = 0.8</equation>代入到公式（1）得到这个情况下的似然性（约为0.3）。</p><p>在这两种情况下<equation>\\theta = 0.8</equation> 和<equation>\\theta = 0.5</equation> 相当于是我们假设的模型，而10次硬币中出现8次正面向上则是我们的数据。根据数据可以计算出每个模型的似然性。实际上，还可以有更多的模型，比如 <equation>\\theta = 0.4</equation>，<equation>\\theta = 0.3</equation> ... 。这些模型之下的似然性可以画成一条曲线：</p><p><img src=\"v2-8b96b9f234880052af2d1e56591fb679.png\" data-rawwidth=\"881\" data-rawheight=\"549\">讲到这里，好像还没讲似然率比值中的比值（ratio）是什么呢。前面说到了，似然率是在当前数据下，不同模型可能性的比值。假如我们有两个假设：H0 是 <equation>\\theta = 0.5</equation> ，H1是<equation>\\theta = 0.8</equation> ，那这两种情况下我们似然率比值是多少呢？见下图：</p><br><br><img src=\"v2-85c32e9ec241cbd64b428a3c55fa41e0.png\" data-rawwidth=\"1060\" data-rawheight=\"568\"><p>如果掷了10次硬币，只有4次是正面朝上，这时时候，H0和H1的似然率比值就发生了重大的变化：</p><img src=\"v2-7269f77d4debeee554bf6d9a71a8d581.png\" data-rawwidth=\"1090\" data-rawheight=\"566\"><br><p>对于似然率比值来说，我们应该使用什么样的标准觉得比较合适来进行判断呢？Royall给了一个直觉的标准：</p><img src=\"v2-396592a056a0599a074f78a4d07a1ab0.png\" data-rawwidth=\"576\" data-rawheight=\"323\"><br><p>但是使用似然率比值的时候，需要非常警惕一点，这个比值是相对的：即便一个模型比别外一个模型的似然性高的不知道哪里去了，也有可能两个模型都是错得离谱的（比如下图中 H0（<equation>\\theta = 0.3</equation>）比H1（<equation>\\theta = 0.8</equation>）的似然率比值大了许多倍，仍然不能说明它是正确的假设。<br></p><img src=\"v2-44d9cef2d7a666da601498634817ee1f.png\" data-rawwidth=\"1160\" data-rawheight=\"574\"><br><p>通常二项式来解释似然率，应该算是比较清楚了。Daniel顺便八卦了一下，似然率是Fisher在读本科的时候发明的，当时22岁（大神就是这么屌啊）。</p><img src=\"v2-5cf14f6fc500138c915b2fcb17b6fb8a.png\" data-rawwidth=\"595\" data-rawheight=\"336\"><p>二项式的似然率的比值在我们的研究中可以怎么用呢？Daniel举了一个很有趣的例子：假如我们研究某个效应，可以比较H0假设为真时出现显著结果的似然率（<equation>\\theta = 0.05</equation>）和H1为真情况出现显著结果的似然率（假定我们的研究的统计功效为0.8，则<equation>\\theta = 0.8</equation>）。这种情况下，假如我们进行了3个实验，则有4个种可能：0个显著、1个显著、2个显著和3个都显著。</p><p>那么H0为真的情况下，3个实验中有2个显著的似然率为：</p><p><img src=\"v2-7faec069c161c1acae26aa5730203577.png\" data-rawwidth=\"574\" data-rawheight=\"205\">H1为真的情况下（每个实验的统计功效均为0.8），3个实验有2个显著的似然率为：</p><p><img src=\"v2-44d553d465bc09bec575f14f3f6835b2.png\" data-rawwidth=\"556\" data-rawheight=\"275\">采用似然率比值的话，那么H1为真的情况比H0为真的情况下的似然率比值是54，也就是说，3个实验中有2个显著的话（统计功效为0.8），H1为真比H0为真的似然率高54倍。</p><p>不过这里有一个更意义的值：</p><p><img src=\"v2-af7e18df9d0a2f30c878058886b832b7.png\" data-rawwidth=\"586\" data-rawheight=\"261\">在H1为真且统计功效为0.8的情况下，只有0.51的可能得到三个实验全部显著（那些八、九个实验全部显著的研究得怎么做到的 [捂脸]）。</p><p>当我们进行4个实验时，得到0个、1个、2个、3个和4个显著结果的可能性分布见下图，最有可能出现的结果是出现2到3个显著的结果。</p><img src=\"v2-ea5c8098b61d3e5540edda4fefb978e3.png\" data-rawwidth=\"1093\" data-rawheight=\"579\"><p>在课程中，Daniel实际上讲的是用似然率比值来估计我们多个实验的情况下，H0和H1为真的比值。但在单个实验中，我们能否使用似然率比值？这里没有提，我的理解是比较困难，因为我们可能不知道我们所研究的这个现象它应该是一个什么分布，如果不知道这个分布的话，如何计算似然率本身就比较困难了。</p><br><p>当然，将似然性比值运用于对多个实验结果的分析中，也是非常有意义的，至少这个统计取向对于我们研究有实际的意义。</p>","updated":"2016-12-10T09:30:53.000Z","canComment":false,"commentPermission":"anyone","commentCount":1,"likeCount":9,"state":"published","isLiked":false,"slug":"24175191","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2016-12-10T17:30:53+08:00","links":{"comments":"/api/posts/24175191/comments"},"url":"/p/24175191","titleImage":"https://pic3.zhimg.com/v2-510264646fc472465ff89271b1ea03ee_r.png","summary":"","href":"/api/posts/24175191","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":1,"likesCount":9},"24298944":{"title":"Improving your statistical inferences第二周（2）：贝叶斯方法","author":"hcp4715","content":"<i>注：Improving your statistical inference是荷兰 Eindhoven University of Technology心理学研究者Danial Lakens在coursera上开设的一门公开课，目的是为了增加心理学研究者对心理学研究中常用统计的理解。本次补第二周的第二部分内容。</i><p><i>你对p值的理解吗？让我们来测一测：<a href=\"https://sojump.com/jq/11122468.aspx\" class=\"\" data-editable=\"true\" data-title=\"你理解p值和置信区间？\">你理解p值和置信区间？</a></i></p><p><br>第二周的第二部分内容是贝叶斯统计。贝叶斯统计(Bayesian)最近几年应该说是越来越火，当然在心理学研究中，绝大部分人还是使用频率主义的做法。正如我们在第一周的内容里说的，有一种玩笑：之所以用p值是因为不会贝叶斯。从某个侧面说明了贝叶斯统计并不是那么容易。还好Daniel给我们提供了一个比较友好的入门。</p><br><p>贝叶斯最突出的一点是：有一个先验的假设（或者信念， prior belief）。如下图，贝叶斯的主要思路就是根据通过先验假设和数据，将实验者的假设进行更新，成为后验的假设/信念。视频中举的例子是：掷三个次硬币，都是正面朝上。面对这个信息，一个从来没有见过掷硬币的婴儿可能就相信掷硬币都会得到正而朝上的结果；而你我这样能来学习统计推断的人，则会不得到这样的一个信念。差别在哪里？在于我们的先验假设。</p><img src=\"v2-8621b759aae6afa15cb3430bea48193e.png\" data-rawwidth=\"573\" data-rawheight=\"295\"><p>更加具体一点，可以这么写：</p><img src=\"v2-37bded5e08308d980e680022012abb95.png\" data-rawwidth=\"1043\" data-rawheight=\"526\"><p>那么在二项分布中，先验假设一般是一个beta分布，这个分布有两个参数：alpha 和beta。这两个值不同的，我们会得到很不同的分布：</p><p><img src=\"v2-792f2e698122f77ec5549e26d254b6a3.png\" data-rawwidth=\"2105\" data-rawheight=\"653\">使用贝叶斯的原则，我们得到数据之后可以根据数据对先验假设进行更新，在Beta分布中，这个更新非常容易：</p><p><img src=\"v2-e0dab57ba32b0af2226d6c4bd7958ba3.png\" data-rawwidth=\"1106\" data-rawheight=\"526\">至于为什么是这样，Daniel没有讲，我也不太懂，我就假装它就是这样的吧。假定我们的先验是：完全不知道掷硬币时出现下面的概率分布是怎么的，于是我们的先验是均匀分布，一条直线。掷了10次硬币之后，发现了6次正面朝上。这时，更新之后后验看起来就不一样了：</p><img src=\"v2-0d58678098be81aa5244c18e26c09e54.png\" data-rawwidth=\"1061\" data-rawheight=\"561\"><p>上图中，灰色的是先验假设；蓝黑线则是根据数据进行更新之后的。由于先验假设没有提供任何的信息，所以这里的后验信念与前面讲的似然率是一样的，都是由数据本身所决定的。</p><p>但是，如果先验的假设是有信息量的，则贝叶斯的后验假设会与似然率分离：</p><p><img src=\"v2-5c3abd479e548da7c75a4680805b83c4.png\" data-rawwidth=\"1072\" data-rawheight=\"598\">上图仍然是掷10次硬币出现6次正面朝上。但我们一个先验假设（灰色），根据数据的似然率（蓝色虚线），我们得到了后验信念（黑色的实线）。</p><p>贝叶斯的方法的用途之一是进行假设检验，不过与似然率比值相似的是，贝叶斯统计的假设检验也是相对比值。在视频中，Daniel将贝叶斯假设检验的统计指标之一 —— 贝叶斯因子（Bayes Factor）解释为后验与先验的相对比值。同样以上面的数据为例子，当我们的先验假设不同，即便我们得到了相同的数据，最后得到的贝叶斯因子也会有所差异：</p><img src=\"v2-499f2a4493c2a8e6ea2cde0109cce459.png\" data-rawwidth=\"2288\" data-rawheight=\"530\"><p>贝叶斯的另一种用法是估计(Estimation)，也就是根据先验假设和数据，来估计出最可信的值。这个估计出来的结果称为credible interval，可信区间。有意思的是，当先验的假设不一样时，估计出来的可信区间也非常不同：</p><img src=\"v2-c9d6508ba69a8eefcb4617de4710903f.png\" data-rawwidth=\"1375\" data-rawheight=\"580\"><p>左图是先验的假设没有信息量时（均匀分布），右图的假设则是认为硬币是有偏的，更有可能出现正面。<br></p><p>从这两个图中可以看出来，贝叶斯的统计的一特点是通过数据来更新信念，随着数据的不断收集，我们有会越来越接近真值。</p><p>讲完贝叶斯统计的基本思路之后，Daniel在第三个视频中进一步讲了贝叶斯的思维（Bayesian thinking）。这课里讲的是贝叶斯统计里通常会举的例子：一次医学测试的结果是阳性，有多大可能是真的是患病了？</p><p>比如，一个医学测试，它的Sensitivity (true positive) 为80%，Specificity (true negative)为 87%；而流行病学的调查表明，它的患病率为3%。</p><p>如果你进行一次测试，发现结果是阳性的，这个时候你患上这个疾病的概率是多少？根据贝叶斯公式，可以进行计算：</p><p>P（患病｜阳性）＝ P(患病&amp;阳性)/P(阳性) ＝ P(阳性|患病)*P(患病)/(P(阳性|患病)*P(患病) + P(阳性|没患病)*P(没患病)) ＝ 80%*3%/(80%*3% + 13%*97%) = 0.159。</p><p>所以这个可能性是相当低。</p><p>随后，Daniel介绍了一个图，可以将P值与先验假设结合起来，不用通过贝叶斯的计算，就能得到一个大约的估计：</p><img src=\"v2-b4365cab54843ea51bb898db372086eb.png\" data-rawwidth=\"617\" data-rawheight=\"676\"><p>不过本人推荐大家使用JASP这个软件，可以很容易地进行贝叶斯的假设检验。</p><br><p>第二周的作业基本上是练习似然率和贝叶斯统计的一些内容，对于加深对这视频中讲解的内容非常有帮助。</p>","updated":"2016-12-10T14:19:04.000Z","canComment":false,"commentPermission":"anyone","commentCount":3,"likeCount":8,"state":"published","isLiked":false,"slug":"24298944","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2016-12-10T22:19:04+08:00","links":{"comments":"/api/posts/24298944/comments"},"url":"/p/24298944","titleImage":"https://pic3.zhimg.com/v2-510264646fc472465ff89271b1ea03ee_r.png","summary":"","href":"/api/posts/24298944","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":3,"likesCount":8},"24299896":{"title":"Improving your statistical inferences第七周：开放科学","author":"hcp4715","content":"注：Improving your statistical inference是荷兰 Eindhoven University of Technology心理学研究者Danial Lakens在coursera上开设的一门公开课，目的是为了增加心理学研究者对心理学研究中常用统计的理解。本次补第七周的内容。<p><i>你对p值的理解吗？让我们来测一测：<a href=\"https://sojump.com/jq/11122468.aspx\" class=\"\" data-editable=\"true\" data-title=\"你理解p值和置信区间？\">你理解p值和置信区间？</a></i><br></p><p>第七周的内容主要是关于开放科学（open science）。这个主题非常重要，因为这个课程的开设，就跟心理学最近的可重复危机有关，而开放的和透明的科研做法，正是解决可重复性的挺然之一。</p><p>第一个视频就是讲重复（replication）。Karl Popper，著名的科学哲学家，对于可重复性在科学中的重要性也是有所评论的：</p><p><img src=\"v2-0a40a13376c88f910882d807e384101a.png\" data-rawwidth=\"572\" data-rawheight=\"294\"><img src=\"v2-5c4351c5d5c5ac30bffe0819f9a5a692.png\" data-rawwidth=\"568\" data-rawheight=\"266\">但是遗憾的是，许多研究领域并不重视重复性的研究，比如Bem (2011)在JPSP上发表了关于预测未来的研究之后，有一个独立的研究小组重复了他们的实验并且没有重复成功，当他们把结果提交到JPSP的时候，主编说：</p><p><img src=\"v2-3cff3118ac24d4882523528b3a905717.png\" data-rawwidth=\"582\" data-rawheight=\"284\">当然，这个说法很快遭到了大家的批评，估计主编也扛不住了。JPSP换了主编之后，接受了另一个对Bem实验的结果：</p><img src=\"v2-919e5543cd87b5adf2252bdabd790635.png\" data-rawwidth=\"1136\" data-rawheight=\"590\"><br><p>最近关于重复研究越来越受到（心理学）科研界的重视，不少杂志发出邀请，让大家提前注册一些重要的重复研究。</p><p>重复研究不同的含义，具体可以见Goodman (2016)的讨论。对于直接重要研究来说，有三个目的：</p><p>第一：确定是否有假阳性；</p><p>第二：控制混淆变量，这个对于训练研究生来说非常有用；</p><p>第三：是否能推广到新的人群；</p><p>第四：验证原研究中的理论假设。</p><p>现在科研界的可重复状况如何？不尽人意，Begley &amp; Ellis (2011)对53项医药研究的重复表明，大约只有11%的研究可以重复出来；心理学的研究，大约是39% (Open Science Collaboration, 2015)（关于心理学研究的可重复性，见我们的一个介绍：<a href=\"http://118.145.16.229:81/Jweb_xlkxjz/CN/abstract/abstract3606.shtml\" data-editable=\"true\" data-title=\"心理学研究中的可重复性问题：从危机到契机\">心理学研究中的可重复性问题：从危机到契机</a>）</p><br>那些研究比较不容易重复出来？如果以下三个因素都出现在一个研究当中，那就要小心了：<p><img src=\"v2-ae3a956bbeb6deca29e82e2aac227cb0.png\" data-rawwidth=\"584\" data-rawheight=\"321\">(注意：上图中的这个作者的名字应该是Lindsay)。</p><p>当然，Daniel也提到近年来一些比较重复的大规模的重复工作，他基本上都参与了。这些大规模的重复在我们的论文中也有所提及。</p><p>第二个重要的问题是出版偏见（publication bias），也就是论文发表过程中，科研界作为一个整体，会选择性地报告阳性的结果。这一点可以从p值的分布中看到这一点：从显著的p到不显著的之间，有一个突然的下降：</p><p><img src=\"v2-e1f9f68cfd3c58cce7d34b8d660ff394.png\" data-rawwidth=\"485\" data-rawheight=\"329\">当然，出版偏见会带来很大的问题，可能会影响到研究者过于乐观地估计某个效应的效应量，甚至是投入大量的时间、金钱和精力去到一些没有效应的研究方向（包括多少研究生的血泪史、对科学丧失信心等）。</p><p>对于出版偏见，我们无法对其进行校正，但是却可以检测出是否存在出版偏见。</p><p><img src=\"v2-c3deaa8984e4cf8a67ca23fe1da5e95b.png\" data-rawwidth=\"1123\" data-rawheight=\"617\">上图中，阴影部分是没有效应的情况，虚线的区域是根据效应量估计出来的应该有的实验的效应分布，可以看出来，大量的实验是正好分布在有效应与没有效应的边界上。对于出版偏见，现在没有公认的完美方法来校正，但是却有一些尝试的方法，但这些方法本身也是有一些局限性的，我就不作介绍了。需要做元分析 方法保持谨慎的态度。</p><p>避免出版偏见的方法是：提前注册。提前将自己的研究计划公布出来，不管结果如何，均将数据和结果公布，这正是一个目前正在心理学界推广的方法。</p><p>最后一个视频是讲开放科学（open science）。这个是最近几年科学界的一股清流。开放的科学有6个方面：</p><p>1. 论文开放（任何人都可以阅读科学的文献），这一点上，由于出版商的利润驱使，目前大部分的科学论文是无法免费获得的；荷兰政府正在准备将他们国家的科学论文到2024年时全部免费获取，这开了一好头；</p><p>2. 数据开放，这一点上确实有一些政策在管制，但是实际上，开放的数据并不是多见，有一些数据确实开放了，但是利用率也不高。今年还出现过一个\"research parasites\"的词，来指责那些自己不收集数据专门分析他人数据的研究者，这个词受到了广泛的指责。数据的开放也是有多个层次：从原始数据到分析过的数据到数据图表。这个需要有比较好的数据整理规范。另外，一些学术杂志开始要求研究者公开数据了。可能从明年趣，science，nature这样的杂志也开始有这个要求了。</p><p>3. 实验材料开放。开放实验材料将大大加速其他的研究重复原来研究的过程。这也是目前正在大力推广的。当前，可以使用Open science framework来进行分享。psychological science提供了一个标识，来奖励那些开放材料的研究。</p><p>4. 开放同行评议的内容。也就是说，同行评审过来要公开，这样可以避免小圈子之间的相互放水。</p><p>5. 开放分析代码。这一点将更加加速科研的进程，这样的话，许多研究生也许不用花大量的时候来走弯路了。</p><p>6. 公开利益冲突。也就是说作者本人与发表文章是否有利益的关系。这一点绝大部分学术界的研究者都还不是大问题，但也不少是涉及到商业利益的研究。</p><p>为什么上面说的这个开放的科学过程并没有想像的顺利？因为科学家之间也有利益的冲突。开放科学就像一个公共资源两难的问题：如果每人都贡献，大家都好；如果每人都贡献但是我不贡献，则我的收益最大。这种情况下，需要一些自上而下的机制，比如政府和基金的强制要求。</p><p>近年来，技术的进展也是推进开放科学的一个重要的原因，互联网的发达使得开放数据变得非常容易了。</p><p>最后，这一课的作业是在osf.io上提前注册一个研究，算是一个练习吧。比较有趣的是，这里提到了个数据组织的形式。虽然我们在科研中，每个实验室都有自己的数据组织方式，但是这里提供了个比较规范的方式，大致是采用如下的文件夹结构（详细说明见网站：<a href=\"http://www.projecttier.org/\" data-editable=\"true\" data-title=\"Teaching Integrity in Empirical Research\" class=\"\">http://www.projecttier.org/tier-protocol/specifications/</a>）：</p><p><img src=\"v2-603a988f467ace3f389343a3c55060e6.png\" data-rawwidth=\"606\" data-rawheight=\"453\">这个文件夹组织的形式有一个demo，可以从这里下载：<a href=\"http://www.projecttier.org/documents/77/Replication_Documentation_for_Midlife_Crisis_Paper.zip\" data-editable=\"true\" data-title=\"projecttier.org 的页面\">http://www.projecttier.org/documents/77/Replication_Documentation_for_Midlife_Crisis_Paper.zip</a></p><br>到这里，整个课程的笔记更新完毕。第八周只是考试，不用更新了 ;-)<br><p>参考文献：</p><p>Begley, C. G., &amp; Ellis, L. M. (2012). Drug development: Raise standards for preclinical cancer research. Nature, 483(7391), 531–533. doi:10.1038/483531a</p><p>Goodman, S. N. (2016). Aligning statistical and scientific reasoning. Science, 352(6290), 1180-1181. doi:10.1126/science.aaf5406</p><p>Lindsay, D. S. (2015). Replication in psychological science. Psychological Science, 26(12), 1827–1832. doi:10.1177/0956797615616374</p><p>Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), 943. doi:10.1126/science.aac4716</p>","updated":"2016-12-10T15:21:18.000Z","canComment":false,"commentPermission":"anyone","commentCount":4,"likeCount":49,"state":"published","isLiked":false,"slug":"24299896","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2016-12-10T23:21:18+08:00","links":{"comments":"/api/posts/24299896/comments"},"url":"/p/24299896","titleImage":"https://pic3.zhimg.com/v2-510264646fc472465ff89271b1ea03ee_r.png","summary":"","href":"/api/posts/24299896","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":4,"likesCount":49},"24728005":{"title":"2016年关于心理学可重复性的主要关注点","author":"hcp4715","content":"修改自我对这一问题的回答：<a href=\"https://www.zhihu.com/question/53174486/answer/135731290\" data-editable=\"true\" data-title=\"2016 年，心理学学科内部都出现过哪些有价值的争论？\" class=\"\">2016 年，心理学学科内部都出现过哪些有价值的争论？</a><br><br>心理学的可重复性问题自2011年起，就持续成为热点，争论到2016年，也许算是颇为持久，当然，2016年基本上可以算是对这个问题争议的尾声了，许多关键的问题已经为大家所接受，那么2016年有意思的可能主要问题有：第一、统计知识在讨论可重复性问题中的重要性；第二、讨论可重复性问题的时候语气应该是什么样的；第三、研究者如何面对自己过去的研究无法重复。<br><br>关于可重复性问题的争论，主要是各种博客和Facebook的两个群：Psychological Methods Discussion Group（目前有5389个成员）和psychMAP（目前有4465个成员），有兴趣的同行应该申请加入，可以围观大神们讨论。<br><br><b>第一个问题：统计知识在讨论可重复性问题中的重要性。</b><br>关于影响可重复性的因素，其实2011年的经典文章：false positive psychology （<a href=\"//link.zhihu.com/?target=http%3A//pss.sagepub.com/content/early/2011/10/17/0956797611417632.abstract\" class=\"\" data-editable=\"true\" data-title=\"False-Positive Psychology\">False-Positive Psychology</a>）中就已经有了很好的说明：心理学中有许多研究问题，由于各位p-hacking手段的存在，实际上只是噪音而已。<br><br>而2015年心理学界最受到关注的文章：Open Science Collaboration. (2015). <a href=\"http://science.sciencemag.org/content/349/6251/aac4716\">Estimating the reproducibility of psychological science</a>. Science, 349(6251), 943. doi:10.1126/science.aac4716（以下称为OSC(2015)），又得到了关于心理学研究可重复性一个比较量化的估计：大约为39%的研究是可以重复的。<br><br>但是这个结论并非所有的研究者都认同，于是有了 <b> Dan Gilbert在Science上对OSC 2015的论文的评论（</b><b><a href=\"//link.zhihu.com/?target=http%3A//science.sciencemag.org/content/351/6277/1037.2\" class=\"\" data-editable=\"true\" data-title=\"Comment on “Estimating the reproducibility of psychological science”\">Comment on “Estimating the reproducibility of psychological science”</a></b><b>）以及其后续的争议。</b>这个争议主要的问题集中于：Gilbert等人的批评是否有道理？很多人不这么认为，更要命的是，Gilbert等人的评论中，暴露了<b>他们对一些统计概念的理解偏差</b>。后面也有不少研究者来反驳这一点。最为正式的，还是在Science上的反驳：<a href=\"//link.zhihu.com/?target=http%3A//science.sciencemag.org/content/351/6277/1037.3\" class=\"\" data-editable=\"true\" data-title=\"http://science.sciencemag.org/content/351/6277/1037.3\">http://science.sciencemag.org/content/351/6277/1037.3</a> 。还有一些其他研究者在自己博客上的反驳：<a href=\"//link.zhihu.com/?target=https%3A//hardsci.wordpress.com/2016/03/03/evaluating-a-new-critique-of-the-reproducibility-project/\" class=\"\" data-editable=\"true\" data-title=\"Evaluating a new critique of the Reproducibility Project\">Evaluating a new critique of the Reproducibility Project</a>、<a href=\"//link.zhihu.com/?target=http%3A//daniellakens.blogspot.co.id/2016/03/the-statistical-conclusions-in-gilbert.html\" class=\"\" data-editable=\"true\" data-title=\"http://daniellakens.blogspot.co.id/2016/03/the-statistical-conclusions-in-gilbert.html\">http://daniellakens.blogspot.co.id/2016/03/the-statistical-conclusions-in-gilbert.html</a> (需要科学上网）、<a href=\"//link.zhihu.com/?target=http%3A//deevybee.blogspot.co.uk/2016/03/there-is-reproducibility-crisis-in.html\" class=\"\" data-editable=\"true\" data-title=\"http://deevybee.blogspot.co.uk/2016/03/there-is-reproducibility-crisis-in.html\">http://deevybee.blogspot.co.uk/2016/03/there-is-reproducibility-crisis-in.html</a>（需要科学上网）<br><br>（无耻的自我推销来了！！！）<br>考虑到Dan Gilbert在社会心理学中举足轻重的地位，他的评论应该会影响很多人对OSC2015结论的看法，我们在《<a href=\"https://www.researchgate.net/publication/305766854_xinlixueyanjiudekezhongfuxingwenticongweijidaoqiji\" class=\"\" data-editable=\"true\" data-title=\"心理学研究中的可重复性问题：从危机到契机\">心理学研究中的可重复性问题：从危机到契机</a>》一文中也用了一小节来讨论他们的这个评论以及相关的问题，具体内容在1505页最后一段到1506页的前两段。<br><br>关于第一个问题，还有另一个比较受到关注的争论：van Bavel在PNAS上的文章：<br><img src=\"v2-4b34cfbe7e6b3cf9663c315fb4632897.png\" data-rawwidth=\"1257\" data-rawheight=\"278\"><br>这个文章的一个核心论点是说：心理学中的不可重复性，是因为研究的问题的背景敏感性带来的，其实有一些隐藏的中介变量（hidden modulators）没有被发现。这个文章一出来，在fb上引发了非常强烈的反应，甚至有一些人身攻击。后来的反驳也非常多，包括 Inbar等在PNAS上写的一个评论，认为这实际上只是一个<b>统计谬误</b>（<a href=\"//link.zhihu.com/?target=http%3A//www.pnas.org/content/113/34/E4933.extract\" class=\"\" data-editable=\"true\" data-title=\"Association between contextual dependence and replicability in psychology may be spurious\">Association between contextual dependence and replicability in psychology may be spurious</a>）、van Bavel的反驳（<a href=\"//link.zhihu.com/?target=http%3A//www.pnas.org/content/113/34/E4935.extract\" class=\"\" data-editable=\"true\" data-title=\"Reply to Inbar: Contextual sensitivity helps explain the reproducibility gap between social and cognitive psychology\">Reply to Inbar: Contextual sensitivity helps explain the reproducibility gap between social and cognitive psychology</a>），以及博客：如<a href=\"//link.zhihu.com/?target=https%3A//brainsidea.wordpress.com/2016/05/24/a-critical-comment-on-contextual-sensitivity-in-scientific-reproducibility/\" class=\"\" data-editable=\"true\" data-title=\"A critical comment on “Contextual sensitivity in scientific reproducibility”\">A critical comment on “Contextual sensitivity in scientific reproducibility”</a>。在facebook的评论里，我觉得 Tal Yarkoni的评论非常具有实际的意义：<br><blockquote>So I guess that while I support your conclusions here regarding context sensitivity, I would argue that the strongest and most actionable implication of what you're saying is not that people should ease up on replication efforts and criticisms of non-replicability, but that <b>people who know their work is fragile should be very careful to announce that in the title and abstract, and not just in a sentence somewhere in the discussion</b>.</blockquote>这个问题我也觉得很严重：研究者明知自己所研究的效应很微弱却宣称自己的结果具有广泛的意义，这种夸大的问题，可能是非常严重的。（关于FB上的讨论，可以见这个帖子：<a href=\"//link.zhihu.com/?target=https%3A//www.facebook.com/groups/psychmap/permalink/243801382663458/%3Fmatch%3DeWFya29uaQ%253D%253D\" class=\"\" data-editable=\"true\" data-title=\"facebook.com 的页面\">facebook.com 的页面</a>）<br><br>关于什么因素导致心理学的研究不可重复，这个问题可能可以永远地争论下去。不过2016年，不管研究者对可重复性持什么观点，一些新的研究实践标准正在慢慢建立起来。<b>OSC2015，以及van Bavel关于contextual sensitivity的讨论，都把他们的数据公开，许多讨论中也都附上了他们的分析代码，这一点，也许是我们最值得跟进的</b>。<br><br><b>第二个问题是关于研究者应该以何种语气讨论可重复性问题</b>，也就是一个tone的问题。这个问题也不是2016年独有的，Cambridge心理学系的研究者Schnall 2014年就在博客上讨论过这个问题：Further Thoughts on Replications, Ceiling Effects and Bullying （<a href=\"//link.zhihu.com/?target=http%3A//www.psychol.cam.ac.uk/cece/blog\" class=\"\" data-editable=\"true\" data-title=\"Blog - Department of Psychology\">Blog - Department of Psychology</a>）。原因也很简单，当一些研究者的结果无法重复时，会有一些人对他们进行人身的攻击、嘲讽、恶意推断等。当年Dan Gilbert就在tweeter上说过有些人是little replication bully。到2016年，这个问题成为讨论的重点之一，因为Susan Fiske写了一篇文章，她认为存在一些methodological terrorism。目前，她写的原始版本仍然在dropbox上保存着：<a href=\"//link.zhihu.com/?target=https%3A//www.dropbox.com/s/9zubbn9fyi1xjcu/Fiske%2520presidential%2520guest%2520column_APS%2520Observer_copy-edited.pdf\" class=\"\" data-editable=\"true\" data-title=\"https://www.dropbox.com/s/9zubbn9fyi1xjcu/Fiske%20presidential%20guest%20column_APS%20Observer_copy-edited.pdf\">https://www.dropbox.com/s/9zubbn9fyi1xjcu/Fiske%20presidential%20guest%20column_APS%20Observer_copy-edited.pdf</a>。<br>正式版本中，Fiske缓和了她的语气：<a href=\"//link.zhihu.com/?target=http%3A//www.psychologicalscience.org/observer/a-call-to-change-sciences-culture-of-shaming%23.WGpKPvl95EY\" class=\"\" data-editable=\"true\" data-title=\"A Call to Change Science’s Culture of Shaming\">A Call to Change Science’s Culture of Shaming</a>。<br>Fiske在她原来的评论中，认为现在社交媒体发达之后，一些原本应该在学术杂志上进行讨论的事情，在社交媒体以及博客上就迅速地展开了，而且是没有任何审查的。也正是因为如此，所以有许多人身的攻击和不当的措辞，这种methodoloigcal terrorism的存在，让很多有学术前途的人离开了学术界。<br><br>但是Fiske本人的观点是代表了主流的意见？到底在是否存在tone的问题？不同的研究者有不同的看法，一些比较好的博客：<br><a href=\"//link.zhihu.com/?target=http%3A//blogs.plos.org/absolutely-maybe/2016/09/29/flying-flak-and-avoiding-ad-hominem-response/\" class=\"\" data-editable=\"true\" data-title=\"Flying Flak and Avoiding “ad hominem” Response | Absolutely Maybe\">Flying Flak and Avoiding “ad hominem” Response | Absolutely Maybe</a><br><a href=\"//link.zhihu.com/?target=http%3A//www.talyarkoni.org/blog/2016/10/01/there-is-no-tone-problem-in-psychology/\" class=\"\" data-editable=\"true\" data-title=\"There is no “tone” problem in psychology\">There is no “tone” problem in psychology</a><br><a href=\"//link.zhihu.com/?target=http%3A//andrewgelman.com/2016/09/21/what-has-happened-down-here-is-the-winds-have-changed/\" class=\"\" data-editable=\"true\" data-title=\"What has happened down here is the winds have changed - Statistical Modeling, Causal Inference, and Social Science\">What has happened down here is the winds have changed - Statistical Modeling, Causal Inference, and Social Science</a> （这篇博客还简单地回顾心理学研究中的可重复问题的历史）<br><br><b>第三、研究者如何面对自己过去的研究无法重复。</b><br>这个问题上有两种态度：一种是发现自己原来的做法确实有问题，并且在后来的研究中更加重视统计以及研究的严谨性问题。这方面的极端代表是自己后面成为研究方法上的专家，比如有代表性的是Daniel Lakens，他现在积极地推进各种统计上更严谨的方法，但他之所以这么做，是因为他作为作者之一的第一篇论文（重量的具体认知：<a href=\"http://journals.sagepub.com/doi/abs/10.1111/j.1467-9280.2009.02426.x\" class=\"\" data-editable=\"true\" data-title=\"Weight as an Embodiment of Importance\">Weight as an Embodiment of Importance</a>，这个研究我在2010年左右重复过，没有重复出来，说多了都是泪）被人质疑too good to be true，具体可以见他的博客：<a href=\"http://daniellakens.blogspot.hk/2016/09/why-scientific-criticism-sometimes.html\" data-editable=\"true\" data-title=\"daniellakens.blogspot.hk 的页面\" class=\"\">http://daniellakens.blogspot.hk/2016/09/why-scientific-criticism-sometimes.html</a> (需要科学上网)。跟他相似的是 Joe Simmons，他们最初的非常“有趣”的研究结果(Daniel the Dentist: <a href=\"http://journals.sagepub.com/doi/abs/10.1111/j.1467-9280.2007.02032.x\" data-editable=\"true\" data-title=\"Moniker Maladies\">Moniker Maladies</a>)后来被发现是假阳性，后来转而关注研究方法，成为了2011年False Positive Psychology的作者之一:<a href=\"http://datacolada.org/53/\" data-editable=\"true\" data-title=\"[53] What I Want Our Field To Prioritize - Data Colada\" class=\"\">[53] What I Want Our Field To Prioritize - Data Colada</a>。<br><br>另一种态度则是坚持自己原来的<b>理论</b>是正确的（注意，是<b>理论，理论与数据之间的差异，见这我的这个笔记：<a href=\"https://zhuanlan.zhihu.com/p/24167271\" data-editable=\"true\" data-title=\"Improving your statistical inferences第一周\" class=\"\">Improving your statistical inferences第一周</a></b>），并且准备采用一些方法来为自己的研究正名。这方面有代表性的是关于Power Posing效应的两个作者之间的申明：<a href=\"//link.zhihu.com/?target=http%3A//journals.sagepub.com/doi/abs/10.1177/0956797610383437\" class=\"\" data-editable=\"true\" data-title=\"Power Posing - Sep 20, 2010\">Power Posing - Sep 20, 2010</a>的作者分别是：Dana R. Carney, Amy J.C. Cuddy, Andy J. Yap。2016年，一作Dana Carney （现在是伯克利加州大学商学院的副教授）公开表明了自己对Power Posing的态度(<a href=\"//link.zhihu.com/?target=http%3A//faculty.haas.berkeley.edu/dana_carney/pdf_My%2520position%2520on%2520power%2520poses.pdf\" class=\"\" data-editable=\"true\" data-title=\"http://faculty.haas.berkeley.edu/dana_carney/pdf_My%20position%20on%20power%20poses.pdf\">http://faculty.haas.berkeley.edu/dana_carney/pdf_My%20position%20on%20power%20poses.pdf</a>)，核心观点是：<br><br><blockquote>....<br> I do notbelieve that “power pose” effects are real<br>.....</blockquote>要知道，这个power posing的研究，是TED上最火爆视频(<a href=\"//link.zhihu.com/?target=https%3A//www.ted.com/talks/amy_cuddy_your_body_language_shapes_who_you_are\" class=\"\" data-editable=\"true\" data-title=\"Your body language shapes who you are\">Your body language shapes who you are</a>)的科学来源。<br>二作Amy Cuddy对这个表态的反应是：power posing的效应是有的，但是我们需要先把power posing的定义弄清楚....., 具体见这里：<br><a href=\"//link.zhihu.com/?target=http%3A//nymag.com/scienceofus/2016/09/read-amy-cuddys-response-to-power-posing-critiques.html\" class=\"\" data-editable=\"true\" data-title=\"http://nymag.com/scienceofus/2016/09/read-amy-cuddys-response-to-power-posing-critiques.html\">http://nymag.com/scienceofus/2016/09/read-amy-cuddys-response-to-power-posing-critiques.html</a><br>至于Amy Cuddy的对power posing的定义是否是一种post-hoc justification，每个研究者都有自己的看法。而关于power posing的重复实验，目前也是非常多的。有兴趣应该能够搜索到。<br><br>另外一个社会心理学影响非常大的研究：ego-depletion，在2016年也有了一个多实验室大规模注册重复的结果：<a href=\"//link.zhihu.com/?target=http%3A//journals.sagepub.com/doi/abs/10.1177/1745691616652873\" class=\"\" data-editable=\"true\" data-title=\"A Multilab Preregistered Replication of the Ego-Depletion Effect\">A Multilab Preregistered Replication of the Ego-Depletion Effect</a>。 Baumeister对此的反应在这里：<a href=\"//link.zhihu.com/?target=http%3A//journals.sagepub.com/doi/abs/10.1177/1745691616652878\" class=\"\" data-editable=\"true\" data-title=\"Misguided Effort With Elusive Implications\">Misguided Effort With Elusive Implications</a>。当然，还有反驳：<a href=\"//link.zhihu.com/?target=http%3A//journal.frontiersin.org/article/10.3389/fpsyg.2016.00621/full\" class=\"\" data-editable=\"true\" data-title=\"Commentary: Misguided Effort with Elusive Implications, and Sifting Signal from Noise with Replication Science\">Commentary: Misguided Effort with Elusive Implications, and Sifting Signal from Noise with Replication Science</a><br><br>当然，2016年，还有许多其他的争论，但可重复性问题的争议慢慢进入尾声时，有人开始反思，为什么心理学的可重复性问题会如此引人注目？原因是多方面的（<a href=\"//link.zhihu.com/?target=http%3A//andrewgelman.com/2016/09/22/why-is-the-scientific-replication-crisis-centered-on-psychology/\" class=\"\" data-editable=\"true\" data-title=\"Why is the scientific replication crisis centered on psychology? - Statistical Modeling, Causal Inference, and Social Science\">Why is the scientific replication crisis centered on psychology? - Statistical Modeling, Causal Inference, and Social Science</a>），有两个比较有意思：一是心理学的研究比较开放，很多都可以公开讨论；二是没有涉及太多的利益，所以没有因为利益关系而被压制起来。从这个角度来说，心理学的研究者还是可以自豪一些的：起码，我们的领域没有太受到利益的捆绑而一直保持低可重复性而无所变化。总体来说，心理学的研究，还是在慢慢进步的。","updated":"2017-01-05T05:39:46.000Z","canComment":false,"commentPermission":"anyone","commentCount":4,"likeCount":81,"state":"published","isLiked":false,"slug":"24728005","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-01-05T13:39:46+08:00","links":{"comments":"/api/posts/24728005/comments"},"url":"/p/24728005","titleImage":"","summary":"","href":"/api/posts/24728005","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":4,"likesCount":81},"24775841":{"title":"如何预注册（Pre-register）你的研究？","author":"hcp4715","content":"<p>注：本文意在提供一个简单快速的预注册（Pre-register）的指导，关于预注册的优点，以及大家对预注册存在的担忧，以后再说。</p><br><p>预注册是什么？简单来说，就是在你的实验开始之前把你的研究计划登记在册，坦诚地说明你的计划，避免HARKing (Hypothesizing After the Results are Known)。</p><p>最近一些学术期刊在推行Registered Reports，就是向杂志提供你的研究计划，杂志方进行第一次审稿（有评审意见），然后如果杂志方表示认可你的计划，接受你的方案，然后你再收集数据，分析，写文章，最后再提交，杂志再来第二次审稿。具体见（<a href=\"https://cos.io/rr/\" class=\"\">https://cos.io/rr/</a>）</p><img src=\"v2-0de703d40fe147e237cfe74b063947b7.png\" data-rawwidth=\"1347\" data-rawheight=\"298\"><br><br><p>怎么预注册？</p><p>首先，选择一个合适的平台。目前，据我所知，有两个比较受到认可的平台：osf v. aspredicted。OSF（open sciene framework），前一篇文章中提到过（<a href=\"https://zhuanlan.zhihu.com/p/25089006\" data-editable=\"true\" data-title=\"Center of Open Science与Open Science Framework\">Center of Open Science与Open Science Framework</a>）。aspredicted(<a href=\"https://aspredicted.org/\" data-editable=\"true\" data-title=\"AsPredicted: Home\" class=\"\">AsPredicted: Home</a>)，这个网站一开始是为了让预注册更加简化、方便，也是不少人的选择。但是现在OSF中提供了多种预注册的方式，所以总体来说，我更推荐OSF。以下说在OSF上如何注册。</p><p>第二，到OSF注册。注册不难，现在需要.edu的邮箱，另外是需要一个验证，这个验证的网站被墙了，所以注册的时候要在能够越过墙的方式下进来。</p><p>第三，在OSF的页面，创建一个新的project:</p><p><img src=\"v2-0330e1711cff54d76038b6fce64d4fa9.png\" data-rawwidth=\"1465\" data-rawheight=\"372\">这个Project里有不少信息，只填写标题即可创建：</p><img src=\"v2-e20310808b007da8d844040da39d80a9.png\" data-rawwidth=\"746\" data-rawheight=\"581\"><br><p>创建完了之后，打开这个project的页面后，会发现这个Project里有许多选项和相应的功能，这个是OSF提供给研究者进行数据保存以及合作等的功能。对于预注册来说，很简单，点击Registrations:</p><img src=\"v2-aee8c1d926f92b4cbd5777a8e2fdb24e.png\" data-rawwidth=\"1510\" data-rawheight=\"900\"><br><p>然后，开始一个新的注册：</p><p><img src=\"v2-898a3005394c40ae1bf1938bec2d0fe7.png\" data-rawwidth=\"1209\" data-rawheight=\"304\">然后会发现，有许多种不同的注册方式：</p><img src=\"v2-49fe005c73cc1d344e32bd4f1fb45ea7.png\" data-rawwidth=\"1125\" data-rawheight=\"715\"><p>点击每个注册方式后，都有相应的说明，大家可以根据自己的需要进行注册。</p><p>第一个Prereg Challenge是目前COS推荐的方式，这是有奖挑战！如果以这种方式注册之后，会有人来审你的研究设计，并且可能会提出反馈。反馈之后如果有问题，修改实验设计，再提交。没有问题之后，可以开始收集数据。如果最后文章发表到他们认可的杂志上，则可以得到1000美元的奖励。是一个机会。</p><p>AsPredicted Preregisteration，就是跟AsPredicted网站上一样的方式，只问一些关键的问题，适合于急着要去收集数据的情况。</p><p>如果是重复实验的话，那就需要选择后面的方式了，Replication Recipe。这个是APS认可的。</p><p>以下为AsPredicted Preregistration的截图：</p><img src=\"v2-88f52a2ea668dc60790f2af814f75b59.png\" data-rawwidth=\"1048\" data-rawheight=\"733\"><img src=\"v2-697c9cd5d9fba6a68f282c2a41874270.png\" data-rawwidth=\"1058\" data-rawheight=\"786\"><img src=\"v2-d5b1eb375ddd2882a52cbe40c9da0941.png\" data-rawwidth=\"1105\" data-rawheight=\"751\"><br><p>最后，填写好了之后，会有一个选择：是现在就立刻公开你预注册的研究设计，还是等一段时间再公开(enter embargo)？这个就看你自己的选择了。但记住：注册的目的，最终还是为了公开。</p><img src=\"v2-fcd2182e3a1d9cc967a0137c0b7638b8.png\" data-rawwidth=\"2312\" data-rawheight=\"666\"><p>希望对大家有帮助！</p>","updated":"2017-03-09T05:39:29.000Z","canComment":false,"commentPermission":"anyone","commentCount":0,"likeCount":18,"state":"published","isLiked":false,"slug":"24775841","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-03-09T13:39:29+08:00","links":{"comments":"/api/posts/24775841/comments"},"url":"/p/24775841","titleImage":"","summary":"","href":"/api/posts/24775841","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":18},"24792621":{"title":"心理学可重复危机简史及专栏共同作者招募！","author":"hcp4715","content":"<p><i>注1：此文修改自我在自己的一篇<a href=\"http://huchuanpeng.com/2016/04/09/what-is-replication-crisis/\" data-editable=\"true\" data-title=\"博客\">博客</a>，对可重复危机进行回顾。</i></p><p><i>注2：关于心理学可重复的问题，有一个网站非常好以时间线的方式展现了一些重要的事件，有兴趣可以围观：<a href=\"https://psyborgs.github.io/projects/replication-in-psychology/\" data-editable=\"true\" data-title=\"Replication in Psychology: A Historical Perspective\" class=\"\">Replication in Psychology: A Historical Perspective</a>。</i></p><p><i>注3：利益相关，本人为Center for Open Science的<a href=\"https://cos.io/involved_participate/#tab_1\" data-editable=\"true\" data-title=\"ambassador\" class=\"\">ambassador</a>，有责任宣传加强研究的可重复相关的知识。</i></p><p><i>注4：文章最后招募有兴趣的同行加入本专栏的写作，可以直接拖到最后。</i></p><p>最近几年，心理学研究所能够制造的大新闻，大概就是可重复危机了。这个问题已经受到了非常广泛的关注，wiki peida也收录了可重复危机(replication crisis)的<a href=\"https://en.wikipedia.org/wiki/Replication_crisis\" data-editable=\"true\" data-title=\"词条\">词条</a>。</p><p>可重复性问题到底是从何时开始的？作为一个喜欢追踪文献的博士狗，“有幸”在这个危机开始的时候，围观了一系列在science和nature上被报道而引起广泛关注的事件，在这里把个人所了解的相关事件作一个回顾。</p><p><b>事件1</b>：Bem (2011)的预见未来的实验。在这个标题为“Feeling the future”的文章中，已经是知名社会心理学教授的Bem在人格与社会心理学的顶级期刊Journal of Personality and Social Psychology上指出：通过9个实验，包括了1000多名被试，他发现了未来发生的事件，可能会影响到被试当前行为反应。在这个颇具有预见性的讨论中，他讨论了统计方法、可重复性和这种预见未来现象的问题。当然，心理学界的人很快提出了质疑，两个研究小组采用贝叶斯统计对他的数据进行了分析，表明无法从数据中得到这个推断。更加晚一些重复实验也没有发现Bem的这个结果。此时，人们还无法预知，这个事件将成为心理学可重复危机的一部分。science此时也只是用相当平淡的口吻给了一个评论：<a href=\"http://science.sciencemag.org/content/331/6015/272\" data-editable=\"true\" data-title=\"ESP paper rekindles discussion about statistics\" class=\"\">ESP paper rekindles discussion about statistics</a>。</p><p><b>事件2</b>：到2011年年末，另一重磅事件，彻底让人们开始反思心理学中方法的严谨性了。这就是Stapel的<a href=\"http://www.guokr.com/article/437083/\" data-editable=\"true\" data-title=\"论文造假事件\">论文造假事件</a>。Stapel本人是荷兰Tilburg University社会心理学的教授，刻板印象方面的专家。2011年4月8号，他在science上发表一篇题为 “Coping with Chaos: How Disordered Contexts Promote Stereotyping and Discrimination”的论文。这对于当时的我来说，实在是太有趣了：凌乱的环境居然会加重人们的刻板印象，太神奇了！对于这种有趣的研究，我很快在心理学与脑科学的论坛52brain.com上进行了<a href=\"http://52brain.com/thread-12960-1-1.html\" data-editable=\"true\" data-title=\"传播\">传播</a>。但是到了2011年11月01日，Nature报道，Stapel的这篇论文涉嫌造假，标题是“<a href=\"http://www.nature.com/news/2011/111101/full/479015a.html\" data-editable=\"true\" data-title=\"Report finds massive fraud at Dutch universities\" class=\"\">Report finds massive fraud at Dutch universities</a>”，而Science也<a href=\"http://science.sciencemag.org/content/334/6060/1202.1\" data-editable=\"true\" data-title=\"撤回了此论文\" class=\"\">撤回了此论文</a>（2011.12.02）。此后，nature 和science都对这个事件进行了持续的关注。Stapel之所以能够被发现是数据造假，是因为他的研究生举报（想想如果没有研究生举报，他会继续作假到什么时候？）。而Tilburg于2012年12月的调查报告显示，在他职业生涯中发表的137篇论文中，有55篇数据完全是捏造的。此外，还包括他指导的10个博士生博士毕业论文中的数据。在另外10篇论文中，当时还无法断定是否有造假行为。Science在报道这个最终报告的时，提出一个事实：整个心理学领域都有无法推脱的责任（<a href=\"http://science.sciencemag.org/content/338/6112/1270\" data-editable=\"true\" data-title=\"Final Report on Stapel Also Blames Field As a Whole\" class=\"\">Final Report on Stapel Also Blames Field As a Whole</a>），因为Stapel的55篇数据造假的论文中，审稿过程中完全没有发现问题。而这并不是说审稿的过程是无法发现问题的，因为在2012年，宾大沃顿商学院的Uri Simonsohn通过对Smeesters已经发表的两篇论文结果进行了仔细的检查之后，怀疑作者的数据有问题，随后Smeesters所在的大学对其进行了调查，Smeesters声称自己由于某些客观原因，原始数据丢失，但是其所在大学无法接受他的这个理由，接受了其辞职（见science的<a href=\"http://www.sciencemag.org/content/337/6090/21.short\" data-editable=\"true\" data-title=\"报道\">报道</a>）。</p><p><b>事件3</b>：还是回到2011年，Simmons, Nelson, &amp; Simonsohn 在psychological science上发表了一篇名为False-Positive Psychology的论文，在这个论文中，指出了心理学研究中，有一些比较常见的做法会让整个领域的假阳性过高。不过这个文章仅在学术界引起了一些关注，媒体的报道相对较少。也是这一年，Virginia University的Brian Nosek在google group里成立了一个叫做open science framework的讨论组，11月7日发起一个倡议，建议对2008年发表的研究进行大规模的重复，这应该就是后来的Open Science Framework的萌芽。</p><p><b>事件4</b>：2012年1月，无法重复的启动研究。在中国的农历尚未到2012年之时，社会心理学的社交网络圈爆发了一个新闻：著名的老年启动效应无法重复出来。记得在哈佛的幸福课（positive psychology）中，讲课的老师就引用过这个研究，让我印象深刻：当大学生看到一系列老年相关的词汇之后，他们走出实验室的速度会变慢，也就是说，变得更像老年人…….。当时我并没有特别在意这个研究。但是2012年1月，开源杂志Plos One发表了Doyen等人一个<a href=\"http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0029081\" data-editable=\"true\" data-title=\"研究\" class=\"\">研究</a>，声称无法重复出这个著名的效应。他们做了两个实验，第一个实验完全重复Bargh等人的实验，第二个则对参与实验的人进行了某种暗示，再现了这个效应。对于这个结果，科普作者Ed Yong进行了<a href=\"http://blogs.discovermagazine.com/notrocketscience/2012/01/18/primed-by-expectations--why-a-classic-psychology-experiment-isnt-what-it-seemed/\" data-editable=\"true\" data-title=\"报道\">报道</a>，并且开头引用了心理学教科书中著名的历史安全“<a href=\"https://en.wikipedia.org/wiki/Clever_Hans\" data-editable=\"true\" data-title=\"聪明的汉斯\">聪明的汉斯</a>”的故事，暗示原作者们Bargh等在方法上的严谨性。正常情况下，这种无法重复的原因多种多样，对于批评可能也无需太在意。但是Bargh作为自动化加工(automatic process)方面的权威，面对这个研究和报道，表示非常愤怒，在自己的博客上进行了激烈的反击，对重复实验的作者、发表重复实验的杂志以及报道这个重复实验的科普作者进行抨击，语言比较激烈，后来删除了该博客（可以从<a href=\"http://blogs.discovermagazine.com/neuroskeptic/2012/11/02/john-barghs-transient-and-ephemeral-blogs/#.VwgyaaQrJhE\" data-editable=\"true\" data-title=\"这里\">这里</a>和<a href=\"http://blogs.discovermagazine.com/notrocketscience/2012/03/10/failed-replication-bargh-psychology-study-doyen/#.VwgyrqQrJhE\" data-editable=\"true\" data-title=\"这里\">这里</a>找到当时其他博客上的一些引用）。正如其他信息的传播一样，客观理性的内容往往很难引起注意，但是充满情绪的内容总是非常广泛地传播，于是Bargh的博客在社会心理学家之间传播开来。</p><p>Bargh这个博客引起广泛争议的同时，应该说是再次让社会心理学家们感受到了可重复问题的压力。于是一个原本不太受到关注的网站进入了大家的视野，这就是<a href=\"http://psychfiledrawer.org/\" data-editable=\"true\" data-title=\"Now Open for Beta Testing\" class=\"\">psychfiledrawer</a>。这个网站的目的是让心理学家把自己未发表的数据上传，以减少在论文发表中对阳性结果偏爱而阴性结果无法发表的这个问题。原本没有人多少人关注这个网站，但是Bargh事件之后，许多人纷纷把自己重复过的数据上传。更有意思的是，诺贝尔经济学奖得主卡尼曼也站出来说话了。在题为“<a href=\"http://www.nature.com/polopoly_fs/7.6716.1349271308!/suppinfoFile/Kahneman%20Letter.pdf\" data-editable=\"true\" data-title=\"A proposal to deal with questions about priming effects\">A proposal to deal with questions about priming effects</a>”的邮件中，他老人家让社会心理学家解决自己领域的问题。这个邮件内容也有不少的阅读者。</p><p>事情发展到2012年，越来越多的重复失败结果被曝光，要么是在一些网站上公开数据，要么是在一些学术期刊上发表。而对于Bem预见未来的实验，也有重复实验的<a href=\"http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0033423\" data-editable=\"true\" data-title=\"报告\" class=\"\">报告</a>在plos one上发表出来。Michigan大学Lawrence Sanna辞职，原因是Simonsohn怀疑他的数据有问题，nature进行了<a href=\"http://www.nature.com/news/uncertainty-shrouds-psychologist-s-resignation-1.10968\" data-editable=\"true\" data-title=\"报道\">报道</a>。心理学家也开始讨论怎样的重复才能算是一个合格的重复实验。于是有了<b>提前注册（pre-register）</b>、然后按照注册的方法进行实验，最后来报告结果。perspectives on psychological science上，也有<a href=\"http://pps.sagepub.com/content/7/6/528.short\" data-editable=\"true\" data-title=\"专刊\">专刊</a>来讨论可重复性的问题，这一次非常集中地讨论了与可重复性相关的问题。同样重要的是，2012年，John等人关于可疑研究操作（Questionable Research Practices）的<a href=\"http://pss.sagepub.com/content/23/5/524.abstract\" data-editable=\"true\" data-title=\"调查报告发表\" class=\"\">调查报告发表</a>，心理学家们承认，自己在研究的实践中，一些通常的做法其实是大大地增加了假阳性的概率的。</p><p>同样是2012年，科普作者Ed Yong回顾了一系列事件之后，认为在社会心理学领域存在着可重复危机，这一报道在nature上以<a href=\"http://www.nature.com/news/replication-studies-bad-copy-1.10634\" data-editable=\"true\" data-title=\"Replication studies: Bad copy\" class=\"\">Replication studies: Bad copy</a>为题，作为新闻发表。</p><p>直到2013年1月，<a href=\"https://cos.io/\" data-editable=\"true\" data-title=\"Center for Open Science（COS）\" class=\"\">Center for Open Science（COS）</a>正式在Virginia University成立，成为心理学家组成的非政府组织来应对这次可重复危机。COS整合了在此之前已经搭建的开放科学框架的平台（<a href=\"http://osf.io/\" data-editable=\"true\" data-title=\"open science framework\" class=\"\">open science framework</a>），开始组织全世界的心理学家进行联合的大规模重复实验。这一年，perspectives on psychological science再次组织<a href=\"http://pps.sagepub.com/content/8/4.toc\" data-editable=\"true\" data-title=\"特刊\">特刊</a>讨论了可重复性以及一些实验方法上的问题。这一期中，Lebel将<a href=\"http://psychdisclosure.org/\" data-editable=\"true\" data-title=\"PsychDisclosure.org\">PsychDisclosure.org</a>推出，提出了研究者要完整报告自己研究的方法部分的要求。</p><p>2014年，关于重复实验应该如何做，研究者们基本上有一些共识，许多杂志开始鼓励提前注册的重复实验或者提前注册。osf进一步完整，成为一个可以公开注册研究和分享数据的平台。Journal of Experimental Social Psychology上，发表了题为<a href=\"http://dx.doi.org/10.1016/j.jesp.2013.10.005\" data-editable=\"true\" data-title=\"The Replication Recipe: What makes for a convincing replication?\">The Replication Recipe: What makes for a convincing replication?</a>的文章。这一年，在social psychology这个杂志<a href=\"http://econtent.hogrefe.com/toc/zsp/45/3\" data-editable=\"true\" data-title=\"5月的一期中\">5月的一期中</a>，也发表了一系列经过提前注册过的重复研究，能够重复原先实验结果的并不多。不过一个比较积极的消息是，由Klein等人发表的多实验室项目（ManyLab）中，对心理学中经典研究的重复，大部分是有结果的。Cumming 也在psychological science上发表了题为<a href=\"http://pss.sagepub.com/content/25/1/7\" data-editable=\"true\" data-title=\"The New Statistics: Why and How\">The New Statistics: Why and How</a>的文章，指出需要在统计方法上进行变革。Psychological science也改变了其审稿的政策，对方法部分不再有字数的限制，开始启用一些强制政策来加强方法部分的严谨性，如要求像Lebel指出的那样报告方法部分四个方面的内容，使用效应量和置信区间等。其他的杂志也有一些相应的调整。</p><p>不过值得注意的是，2014年5月，剑桥心理学家Schnall在其博客上表达了Social psychology上发表的对她2008年重<a href=\"http://www.psychol.cam.ac.uk/cece/blog\" data-editable=\"true\" data-title=\"复研究的不满\">复研究的不满</a>，认为做重复研究的人是Bully，Dan Gilbert也在Twitter上表达了对进行重复研究的人的<a href=\"https://twitter.com/dantgilbert/status/470199929626193921\" data-editable=\"true\" data-title=\"愤怒\" class=\"\">愤怒</a>。平心而论，热衷于做重复实验的人，确实在对原研究的态度上不太好，在facebook和twiiter上有许多嘲讽。</p><p><b>2014年，绍兴文理学院的陈巍博士在《心理技术与应用》杂志上发表了《可重复性:盘旋在具身认知实验室上方的“幽灵”》一文，介绍了在具身认知领域方面可重复性的问题。</b></p><p>2015年，最大的事件就是COS于2013年组织的大规模重复实验的<a href=\"http://science.sciencemag.org/content/349/6251/aac4716.abstract\" data-editable=\"true\" data-title=\"结果得以发表\">结果得以发表</a>，许多人期待的结果在Science上发表，其结论是对100项研究的重复，大约39%能够重复出来（根据对重复的标准不同，这个比例有一点变化）。这个研究的结果有大量的数据在osf.io上共享，供研究者去挖掘，而确实也有不少研究者利用这些数据进行了后续的分析。还有一些其他的重复报告也发现先前的一些效应无法重复，如<a href=\"http://psycnet.apa.org/journals/emo/15/1/109/\" data-editable=\"true\" data-title=\"孤独会让人洗热水澡的重复\" class=\"\">孤独会让人洗热水澡的重复</a>、<a href=\"http://pss.sagepub.com/content/early/2015/03/30/0956797614553946.extract\" data-editable=\"true\" data-title=\"权力姿势(power pose\">权力姿势(power pose</a> 。许多人以为，可重复危机基本上就已经确定了，心理学要开始进行艰苦卓绝的方法变革，来提高本领域研究的可重复性了。</p><p><b>2015年，温州大学教师教育学院仲晓波老师在&lt;心理科学&gt;上发表了〈心理学实验的可重复性〉，对心理学的可重复性问题从统计角度进行了比较深入的介绍。</b></p><p>2016年3月，<a href=\"http://science.sciencemag.org/content/sci/351/6277/1037.2.full.pdf\" data-editable=\"true\" data-title=\"Science上的一个评论\" class=\"\">Science上的一个评论</a>再次引起争议，Gilbert等人分析了COS大规模重复实验的数据，认为三个方面的错误使得他们的不足以得到心理学研究的可重复率只有39%的结论。这一评论再次激起了Nosek等人的<a href=\"http://science.sciencemag.org/content/351/6277/1037.3\" data-editable=\"true\" data-title=\"回应\">回应</a>、博客上的论战以及媒体的报道。然而，这些评论与争议，也无法改变另一个非常著名的心理学效应在重复实验前的倒下：自我损耗（ego-depletion）的重复实验也<a href=\"http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0147770\" data-editable=\"true\" data-title=\"未能重复出其效应\">未能重复出其效应</a>，而<a href=\"http://www.ncbi.nlm.nih.gov/pubmed/26076043\" data-editable=\"true\" data-title=\"元分析\">元分析</a>也显示了相似的结果。这个失败让笼罩在心理学家头上的乌云更加密布，因为这个理论非常符合直觉，大量的心理学家投入时间和精力研究这个问题，大量的研究经费投入在这个问题的研究之中。不是一个人的问题，而是一群人的问题！ 当然，2016年，Methodological terrorism的引发的争议也是最火爆的，见我上一篇文章：<a href=\"https://zhuanlan.zhihu.com/p/24728005\" data-editable=\"true\" data-title=\"2016年关于心理学可重复性的主要关注点\" class=\"\">2016年关于心理学可重复性的主要关注点</a>。</p><p><b>国内方面，2016年，心理学界的老前辈、北大的朱滢教授在《心理科学进展》上发表题为</b>《<b>“开放科学 数据共享 软件共享”, 你准备好了吗？</b>》<b>的文章，呼吁心理学家重复研究的开放性。</b><b>聂丹丹与同事在《中国临床心理学杂志》上发表《可重复性:心理学研究不可忽视的实践》，简要地介绍了心理学的可重复危机的相关问题。</b></p><br><p><b>我与同事对可重复性问题的详细介绍发表在</b>《<b>心理科学进展</b>》<b>上：<a href=\"https://www.researchgate.net/publication/305766854_xinlixueyanjiudekezhongfuxingwenticongweijidaoqiji\" data-editable=\"true\" data-title=\"心理学研究的可重复性问题：从危机到契机\" class=\"\">心理学研究的可重复性问题：从危机到契机</a>。我们从可重复危机的发展、原因、对策等多个角度对这一危机进行了介绍。同时，我们还报告了我们对国内心理学研究者是否能够正确理解统计指标p值的结果，这个结果是令人震惊但也可以理解的：</b></p><p><img src=\"v2-882a88ae2957f1dd816c0d6aa4ace77e.jpg\" data-rawwidth=\"1653\" data-rawheight=\"991\">在这个文章中，我们也总结了在科研中，相对正确的做法和不正确的做法：</p><p><img src=\"v2-778de6c621356bc2c23c3a09ff2b0be5.png\" data-rawwidth=\"1611\" data-rawheight=\"782\">到2016年结束的时候，许多正确的做法在国际上正在成为新的标准。作为中国的研究者，可能需要及时了解这种变化，以及采用新的做法，才能避免在科研中落后。</p><p>＝＝＝＝＝＝＝＝＝＝＝＝ <b>招募共同专栏作者分割线</b> ＝＝＝＝＝＝＝＝＝＝＝＝＝＝</p><p>作为一名心理学的博士生，我希望有更多的同行一起来宣传相关的知识与技能，共同营造一个开放、透明与可重复的科研气氛。最简单可行的方式之一，就是加入本专栏，作为作者之一，一写分享一些关于加强可重复性相关的知识。我们的在《进展》上的文章虽然不短，但是仍然有许多问题无法涉及，尤其是一些在研究中具体可操作的问题。目前我所想到的包括如下问题：</p><p>1. 如何进行提前注册（pre-register）? （<a href=\"https://zhuanlan.zhihu.com/p/24775841\" class=\"\" data-editable=\"true\" data-title=\"如何提前注册（Pre-register）你的研究？ - 知乎专栏\">如何提前注册（Pre-register）你的研究？ - 知乎专栏</a>）</p><p>2. 如何确定样本量，进行一个有足够统计功效的研究？</p><p>3. 如何计算效应量及其置信区间？</p><p>4. 如何使用贝叶斯相关的统计更好地利用数据？</p><p>5. 如何更有效地对自己进行的多个实验进行元分析，从而对自己研究问题的效应量进行更合理的估计。</p><p>6. 如何公开自己的数据？ （<a href=\"https://zhuanlan.zhihu.com/p/24974537\" data-editable=\"true\" data-title=\"如何公开自己的数据？ - 知乎专栏\">如何公开自己的数据？ - 知乎专栏</a>）</p><p>7. 哪些杂志可以发表注册的重复实验？</p><p>8. 哪些效应已经被大规模的实验重复并且无法重复出来？</p><p>...</p><p>如果哪位同行有兴趣写一些相关的文章来介绍这些问题，这将是极好的！或者，如果您其他关于可重复相关的问题，也欢迎您投稿。</p><p>总之，希望我们能够一起共享这些知识，让开放透明与可重复性的标准能够更多好地普及开来。</p><p>参考文献</p><p>Bem, D. J. (2011). Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect. Journal of Personality and Social Psychology, 100(3), 407-425. doi: 10.1037/a0021524</p><p>Brandt, M. J., Ijzerman, H., Dijksterhuis, A., Farach, F. J., Geller, J., Giner-Sorolla, R., . . . van ‘t Veer, A. (2014). The Replication Recipe: What makes for a convincing replication? Journal of Experimental Social Psychology, 50(0), 217-224. doi: <a href=\"http://dx.doi.org/10.1016/j.jesp.2013.10.005\" data-editable=\"true\" data-title=\"The Replication Recipe: What makes for a convincing replication?\">The Replication Recipe: What makes for a convincing replication?</a></p><p>Doyen, S., Klein, O., Pichon, C.-L., &amp; Cleeremans, A. (2012). Behavioral Priming: It’s All in the Mind, but Whose Mind? PLoS One, 7(1), e29081. doi: 10.1371/journal.pone.0029081</p><p>John, L. K., Loewenstein, G., &amp; Prelec, D. (2012). Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling. Psychological Science, 23(5), 524-532. doi: 10.1177/0956797611430953</p><p>Miller, G. (2011). ESP Paper Rekindles Discussion About Statistics. Science, 331(6015), 272-273. doi: 10.1126/science.331.6015.272</p><p>Simmons, J. P., Nelson, L. D., &amp; Simonsohn, U. (2011). False-Positive Psychology. Psychological Science, 22(11), 1359-1366. doi: 10.1177/0956797611417632</p><p>陈巍. (2014). 可重复性:盘旋在具身认知实验室上方的“幽灵”. 心理技术与应用(01), 23-25. </p><p>胡传鹏, 王非, 过继成思, 宋梦迪, 隋洁, 彭凯平. (2016). 心理学研究的可重复性问题：从危机到契机. 心理科学进展, 24(9), 1504–1518 doi:10.3724/SP.J.1042.2016.01504</p><p>聂丹丹, 王浩, 罗蓉. (2016). 可重复性:心理学研究不可忽视的实践. 中国临床心理学杂志(04), 618-622. </p><p>仲晓波. (2015). 心理学实验的可重复性. 心理科学(04), 807-812. </p><p>朱滢. (2016). “开放科学 数据共享 软件共享”, 你准备好了吗？. 心理科学进展, 24(6), 995–996. doi:10.3724/sp.j.1042.2016.00995</p>","updated":"2017-01-09T08:19:01.000Z","canComment":false,"commentPermission":"anyone","commentCount":34,"likeCount":119,"state":"published","isLiked":false,"slug":"24792621","isTitleImageFullScreen":false,"rating":"none","titleImage":"","links":{"comments":"/api/posts/24792621/comments"},"topics":[{"url":"https://www.zhihu.com/topic/19884670","id":"19884670","name":"心理学研究方法"},{"url":"https://www.zhihu.com/topic/19841766","id":"19841766","name":"心理统计"},{"url":"https://www.zhihu.com/topic/20027331","id":"20027331","name":"中国科研"}],"adminClosedComment":false,"href":"/api/posts/24792621","excerptTitle":"","column":{"slug":"psy-os","name":"透明公开可重复的心理学"},"sourceUrl":"","pageCommentsCount":34,"snapshotUrl":"","publishedTime":"2017-01-09T16:19:01+08:00","url":"/p/24792621","summary":"","reviewingCommentsCount":0,"meta":{"previous":null,"next":null},"commentsCount":34,"likesCount":119},"24959922":{"title":"elife发表关于Reproducibility Project: Cancer Biology的首批结果","author":"hcp4715","content":"昨天，关于可重复性的问题又出现在了<a href=\"http://www.nature.com/news/cancer-reproducibility-project-releases-first-results-1.21304\" data-editable=\"true\" data-title=\"Nature的新闻\" class=\"\">Nature的新闻</a>之中。这次的主角，并不是心理学，而是癌症生物学。<p>2015年，当Reproducibilitiy Project: Psychology的结果在science上发表并引起轰动的时候，在OSF的网站上，与之并行的还有一个Reproducibility Project，那就是<a href=\"https://osf.io/e81xl/\" data-editable=\"true\" data-title=\"Cancer Biology\">Cancer Biology</a>。这个开始于2014年的项目。发起这个项目的原因之一，可能是由于2012年在Nature发表的一篇文章让人太印象深刻。Begley\t&amp; Ellis (2012)发表了一个评论，标题为：<a href=\"http://www.nature.com/nature/journal/v483/n7391/full/483531a.html\" data-title=\"Drug development: Raise standards for preclinical cancer research\" class=\"\" data-editable=\"true\">Drug development: Raise standards for preclinical cancer research</a>。在这个文章中，他们报告了一个惊人的结果：对53个关于癌症研究的重复实验，只有6个能够确认原来的结论！于是在2014年，一些科学家们决定联合对癌症研究中的一个影响力较大的实验进行重复：<a href=\"http://dx.doi.org/10.7554/eLife.04333\" data-editable=\"true\" data-title=\"An open investigation of the reproducibility of cancer biology research\" class=\"\">An open investigation of the reproducibility of cancer biology research</a>；<a href=\"https://elifesciences.org/content/3/e03981\" data-editable=\"true\" data-title=\"Time to do something about reproducibility\">Time to do something about reproducibility</a>。目前，这个项目在elife这个杂志上有一个专门的页面：<a href=\"https://elifesciences.org/collections/reproducibility-project-cancer-biology\" data-editable=\"true\" data-title=\"eLife\">eLife</a>。</p><p>癌症生物学的重复项目的首批五个重复实验结果昨天已经在Elife上发表。从这五个发表的研究来看，结果并不是人们想像的重复失败或者成功那么简单。</p><p>下面这个表格引用自上述的Nature新闻。<img src=\"v2-257e23aa0601478370601a8952fa8bc3.png\" data-rawwidth=\"776\" data-rawheight=\"1127\"></p><p>从上面的结果来看，5个实验中，两个能够重复出来，一个无法重复，另外两个则得到无法解释的结果。这些结果让一些研究者感叹：<a href=\"http://www.nature.com/news/replication-studies-offer-much-more-than-technical-details-1.21311\" data-editable=\"true\" data-title=\"Replication studies offer much more than technical details\">Replication studies offer much more than technical details</a>。发起这个重复项目的科学家们今天也就此发表了他们的看法。<br></p><p>Brian Nosek: <a href=\"https://elifesciences.org/content/6/e23383\" data-editable=\"true\" data-title=\"Making sense of replications\">Making sense of replications</a>;</p><p>Elife的Editorial: <a href=\"https://elifesciences.org/content/6/e23693\" class=\"\" data-editable=\"true\" data-title=\"The challenges of replication\">The challenges of replication</a>.</p><p>这些信息给我的感觉是：在这些重复实验中，进一步暴露了当前科学研究模式的一个很大的不足，即，当无法重复某个实验的结果时，研究者也无法很快判断出这种无法重复的原因是什么。无法找出这些原因，也可能意味着我们对某些问题仍然处于一种无知的状态。</p>","updated":"2017-01-19T14:30:02.000Z","canComment":false,"commentPermission":"anyone","commentCount":6,"likeCount":44,"state":"published","isLiked":false,"slug":"24959922","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-01-19T22:30:02+08:00","links":{"comments":"/api/posts/24959922/comments"},"url":"/p/24959922","titleImage":"","summary":"","href":"/api/posts/24959922","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":6,"likesCount":44},"25089006":{"title":"Center of Open Science与Open Science Framework","author":"hcp4715","content":"<p><i>利益相关：本人是COS的Ambassador。</i></p>简单地介绍一下心理学研究中可重复问题出现之后出现的最主要的机构：Center for Open Science （COS）以及它所构建的用于开放科学的平台：Open Science Framework。<p>COS: <a href=\"https://cos.io/\" data-editable=\"true\" data-title=\"The Center for Open Science\">The Center for Open Science</a></p><p>OSF: <a href=\"https://osf.io\" data-editable=\"true\" data-title=\"OSF | Home\" class=\"\">OSF | Home</a></p><p>OSF早于COS创建，最开始的目的是为了联合世界范围内的心理学家来一起重复一些影响力比较大的研究。这帮人一起完成的项目主要是2015年发表在science上的文章（<a href=\"http://www.sciencemag.org/content/349/6251/aac4716.abstract\" data-editable=\"true\" data-title=\"Estimating the reproducibility of psychological science\" class=\"\">Estimating the reproducibility of psychological science</a>）；以及Manylab项目；</p><p>虽然COS出现在心理学界的可重复性危机之后，但是它现在已经是一个跨学科的组织，有许多在呼吁加强科研界可重复性的重要人物，如生物医学一直在说大部分研究都是假的的John P.A. Ioannidis，Science的前主编Marcia McNutt。 可以看这个网站：<a href=\"https://cos.io/about/board/\" data-editable=\"true\" data-title=\"Our Board\">Our Board</a>或者<a href=\"https://cos.io/about/team/\" data-editable=\"true\" data-title=\"Our Team\">Our Team</a>。COS的目的是increase openness, integrity, and reproducibility of scholarly research。目前它得到了不少基金的支持。</p><img src=\"v2-e2ebc5134fdbdc04fc11ee6633417b23.jpg\" data-rawwidth=\"1193\" data-rawheight=\"598\"><br><p>目前COS主要在进行三方面的工作：</p><img src=\"v2-6741279e483f54d5459a6d77f691ec5d.jpg\" data-rawwidth=\"1186\" data-rawheight=\"814\"><br><p>Infrastructure，以前主要是OSF，这个是重点，一会再细说；最近COS新增了preprint服务(<a href=\"https://cos.io/our-products/osf-preprints/\" data-editable=\"true\" data-title=\"OSF Preprints\">OSF Preprints</a>)，大家可以把自己已经完成但是尚未发表的工作预印出来，与之相类似的还有biorxriv:, arXiv: ；</p><p>Metascience，就是把已经做的很多工作集合起来，让大家看到目前的研究到底是什么样的，目前已经初具规模：<a href=\"http://curatescience.org/\" data-editable=\"true\" data-title=\"Curate Science\" class=\"\">Curate Science</a>；</p><p>Community则主要是在进行组织与扩散，比如它的Ambassador（<a href=\"https://cos.io/our-communities/become-ambassador/\" data-editable=\"true\" data-title=\"Become an Ambassador\" class=\"\">Become an Ambassador</a>），招人在各自所在地宣传与扩散可重复相关的信息；COS最近与一些学术机构开始合作，加强学术机构在科学方面的integrity。</p><p>OSF，一个用来预注册研究（pre-register）、公开数据与材料以及进行远程合作的网站。这个网站创建之初是为了方便各地的研究者一起合作完成重复实验。但最近已经成为开放科学研究的一个标志性的平台：许多研究的数据和材料都在上面共享。在这个平台上，有两个大型的重复项目：Reproducibility Project: Psychology和Reproducibility Project: Cancer Biology(见先前的介绍：<a href=\"https://zhuanlan.zhihu.com/p/24959922\" data-editable=\"true\" data-title=\"知乎专栏\">知乎专栏</a>)。</p><p>OSF在促进公开、透明与可重复的科学研究上，起到了很大的作用。目前来说，它的主要特点有如下：</p><p>第一、提供一个受到认可的预注册平台，研究者可以在上面注册自己想要做什么研究，这些预注册会变成定格，作为当时注册时的一个凭证，用于将来证明自己注册。预注册的研究原则上是必须公开的，但是你可以选择立即公开还是过一段时间之后再公开；</p><p>第二、提供免费的数据存储空间，自带版本控制。目前好像没有听说在容量方面有限制。许多文件在在这个网站上打开。</p><p>第三、可以实际多人远程协作。创建一个project之后，可以添加多人作为有限制进行阅读和编辑的合作者，进行修改时会有邮件提醒，适合多人远程的合作。</p><p>第四、与其他开源的平台无缝结合：比如github。另外，这个网站上也学习到了github的一功能，比如可以关注他人的project，可以直接把他人的项目完整地复制过来(fork)。</p><p>这个网站对于大陆的用户来说，一个缺点是注册时的验证码好像被qiang掉了，所以必须开户科学上网的模式才能注册。另外好像也比较慢。</p>","updated":"2017-02-04T20:02:33.000Z","canComment":false,"commentPermission":"anyone","commentCount":0,"likeCount":11,"state":"published","isLiked":false,"slug":"25089006","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-02-05T04:02:33+08:00","links":{"comments":"/api/posts/25089006/comments"},"url":"/p/25089006","titleImage":"https://pic2.zhimg.com/v2-6741279e483f54d5459a6d77f691ec5d_r.jpg","summary":"","href":"/api/posts/25089006","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":11},"25772914":{"title":"如何做可复制的(reproducible)[心理学]研究","author":"hcp4715","content":"注1：本文提供一个极简略的说明，因为每一个步骤之下，都可能有非常多的细节，不做不知道，做的时候，能够通过google等手段找到相应的解决方案。<p>注2：本文参考了Rogers Peng的博客：<a href=\"http://simplystatistics.org/2015/12/11/instead-of-research-on-reproducibility-just-do-reproducible-research/\" data-title=\"Instead of research on reproducibility, just do reproducible research\" class=\"\" data-editable=\"true\">Instead of research on reproducibility, just do reproducible research</a>。</p><p>注3：本文使用可复制这个狭义的概念，仅指数据分析的可重复性，即其他研究者拿到你的数据，使用你描述的方法，能够得到与你一致的结果。</p><p>第一步，使用代码而点击软件的按钮分析数据。不管使用什么统计分析软件，尽量使用代码来进行分析（SPSS也可以）；推荐使用<a href=\"https://cran.r-project.org/\" data-editable=\"true\" data-title=\"R\">R</a>+<a href=\"https://www.rstudio.com/\" data-title=\"Rstudio\" class=\"\" data-editable=\"true\">Rstudio</a></p><p>第二，使用<a href=\"https://github.com/\" data-editable=\"true\" data-title=\"github\">github</a>或 <a href=\"https://bitbucket.org/\" data-title=\"bitbucket\" class=\"\" data-editable=\"true\">bitbucket</a>进行版本控制；</p><br><p>第三，使用<a href=\"rmarkdown.rstudio.com/\" data-editable=\"true\" data-title=\"Rmarkdown\">Rmarkdown</a>或者iPython notebooks来进行你的分析；</p><p>第四，写完文章之后，放到<a href=\"https://arxiv.org/\" data-editable=\"true\" data-title=\"arxiv\">arxiv</a>, <a href=\"http://biorxiv.org/\" data-editable=\"true\" data-title=\"biorxiv\" class=\"\">biorxiv</a>或者<a href=\"https://osf.io/preprints/psyarxiv/\" data-editable=\"true\" data-title=\"psychxiv\">psychxiv</a>去，立刻就可以让大家知晓你的结果；</p><p>第五，将你的代码或者软件开放（放在<a href=\"https://github.com/\" data-title=\"github\" class=\"\" data-editable=\"true\">github</a>, <a href=\"https://bitbucket.org/\" data-title=\"bitbucket\" class=\"\" data-editable=\"true\">bitbucket</a>, 或者<a href=\"https://zhuanlan.zhihu.com/p/25089006\">osf</a>上）；</p><p>第六，写博客或者在twitter上与其他研究者讨论你的结果。</p><p>当然，这几点适用于任何的领域，只要把相应的数据分析软件进行替换即可。</p>","updated":"2017-03-15T01:58:40.000Z","canComment":false,"commentPermission":"anyone","commentCount":6,"likeCount":12,"state":"published","isLiked":false,"slug":"25772914","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-03-15T09:58:40+08:00","links":{"comments":"/api/posts/25772914/comments"},"url":"/p/25772914","titleImage":"","summary":"","href":"/api/posts/25772914","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":6,"likesCount":12},"25798593":{"title":"Nature开始遵循促进透明公开(TOP)指南","author":"hcp4715","content":"今天Nature杂志的Editoial宣布，在通过一系列旨在增强nature及其子刊上发表研究的可重复政策之后，Nature集团下的期刊正式也开始成为遵循促进透明公开指南（Transparency Openness Promotion  Guidelines, TOP）的期刊（<a href=\"http://www.nature.com/news/announcement-transparency-upgrade-for-nature-journals-1.21627\" data-editable=\"true\" data-title=\"Announcement: Transparency upgrade for Nature journals\">Announcement: Transparency upgrade for Nature journals</a>）。<p>什么是TOP？最简单的是看官方的信息：<a href=\"https://cos.io/top\" data-editable=\"true\" data-title=\"TOP Guidelines\">TOP Guidelines</a>。</p><p>当然，在我们去年在心理学大会的工作坊中，我们对TOP的原则进行过一次总结：</p><p><img src=\"v2-0f87367440086e89b242d9e6d493b11a.png\" data-rawwidth=\"914\" data-rawheight=\"762\">英文的总结是Nosek他们在science的<a href=\"http://science.sciencemag.org/content/348/6242/1422\" data-editable=\"true\" data-title=\"论文\">论文</a>中提到的：</p><img src=\"v2-4c11a39baa770da2363f8974f540255e.png\" data-rawwidth=\"844\" data-rawheight=\"720\"><p><br>此次Nature旗下的杂志也加入TOP指南之下，具有重大的意义。2016年，science杂志已经<a href=\"http://science.sciencemag.org/content/352/6290/1147\" data-editable=\"true\" data-title=\"宣布要按照TOP指南开始增加研究的透明与公开\" class=\"\">宣布要按照TOP指南开始增加研究的透明与公开</a>，而2016年nature表示<a href=\"http://www.nature.com/news/announcement-where-are-the-data-1.20541\" data-editable=\"true\" data-title=\"要加强数据公开的程度却没表示要加入TOP指南的意思\">要加强数据公开的程度却没表示要加入TOP指南的意思</a>。其中一个原因（我个人猜测），可能是因为TOP原则的提出，原本就是science杂志背后的组织AAAS所参与的工作，而nature却没有参与。现在nature的加入，说明透明、公开与可重复的研究已经成为了绝对的主流了。</p>","updated":"2017-03-16T02:14:16.000Z","canComment":false,"commentPermission":"anyone","commentCount":0,"likeCount":16,"state":"published","isLiked":false,"slug":"25798593","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-03-16T10:14:16+08:00","links":{"comments":"/api/posts/25798593/comments"},"url":"/p/25798593","titleImage":"","summary":"","href":"/api/posts/25798593","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":16},"26240816":{"title":"使用Reproducibility Project Psychology的公开数据，发表自己的文章","author":"hcp4715","content":"2012年，200多名心理学研究者通过OSF这个合作平台，联合对2008年发表的100项心理学研究进行了重复。<p>2015年，<a href=\"http://science.sciencemag.org/content/349/6251/aac4716\" data-title=\"这个重复的结果\" class=\"\" data-editable=\"true\">这个重复的结果</a>发表在Science上，让不少人大跌眼镜。</p><img src=\"v2-18349eb3ecdea58378a7fa79db355509.png\" data-rawwidth=\"1303\" data-rawheight=\"1019\"><p>这个研究的数据也公开在OSF上:<a href=\"https://osf.io/ezcuj/wiki/home/\" data-editable=\"true\" data-title=\"Reproducibility Project: Psychology Wiki\"> Reproducibility Project: Psychology Wiki</a>。</p><p>由于数据的公开，不少研究者对这批数据进行了分析，并且发表了自己的文章。例如：</p><br><b>使用不同的方法对这批数据进行重新分析的论文：</b><br>Etz, A., &amp; Vandekerckhove, J. (2016). A bayesian perspective on the reproducibility project: psychology. PLoS One, 11(2), e0149794. doi:10.1371/journal.pone.0149794<br><br>Johnson, V. E., Payne, R. D., Wang, T., Asher, A., &amp; Mandal, S. (2016). On the reproducibility of psychological science. Journal of the American Statistical Association. doi:10.1080/01621459.2016.1240079<br><br>van Aert, R. C. M., &amp; van Assen, M. A. L. M. (2017). Bayesian evaluation of effect size after replicating an original study. PLoS One, 12(4), e0175302. doi:10.1371/journal.pone.0175302<br><br><b>寻找调节变量的论文：</b><br>Bench, S. W., Rivera, G. N., Schlegel, R. J., Hicks, J. A., &amp; Lench, H. C. (2017). Does expertise matter in replication? An examination of the reproducibility project: Psychology. Journal of Experimental Social Psychology, 68, 181-184. doi:10.1016/j.jesp.2016.07.003<br><br>Van Bavel, J. J., Mende-Siedlecki, P., Brady, W. J., &amp; Reinero, D. A. (2016). Contextual sensitivity in scientific reproducibility. Proceedings of the National Academy of Sciences, 113(23), 6454–6459. doi:10.1073/pnas.1521897113<br><br><b>结合新数据进行研究的论文：</b><br>Dreber, A., Pfeiffer, T., Almenberg, J., Isaksson, S., Wilson, B., Chen, Y., . . . Johannesson, M. (2015). Using prediction markets to estimate the reproducibility of scientific research. Proceedings of the National Academy of Sciences. doi:10.1073/pnas.1516179112<br><br><br>对这些数据的利用至少说明了一个问题：只要你的想法好，就可以利用公开的数据探索出新的东西。所以，如果你对这个问题有一些有趣的想法，不妨去下载他们的数据来探索探索。","updated":"2017-04-08T01:56:41.000Z","canComment":false,"commentPermission":"anyone","commentCount":2,"likeCount":53,"state":"published","isLiked":false,"slug":"26240816","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-04-08T09:56:41+08:00","links":{"comments":"/api/posts/26240816/comments"},"url":"/p/26240816","titleImage":"","summary":"","href":"/api/posts/26240816","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":2,"likesCount":53},"26569257":{"title":"去R语言会议讲可重复性","author":"hcp4715","content":"R语言会议是统计之都组织关于R的交流会议，感觉目前在中文的R语言圈里影响力不小。今年是R语言会议的第10年，举办的地点在清华大学计学研究中心。报名地址：<a href=\"http://china-r.org/bj2017/\" data-editable=\"true\" data-title=\"第十届中国R会议（北京）\">第十届中国R会议（北京）</a>。<br><p>作为一个使用R不久的人，这次斗胆去R语言会议的心理学专场上，与大家交流一下R在加强心理学研究的可重复性中的作用，摘要如下：</p><br><p>自2011年，由于一系列的重复失败事件，可重复性问题成为了心理学界一个持续的热点问题。统计方法严谨性（如过度依赖于<i>p</i>值）和开放性（大量的可疑研究操作）不足是导致心理学研究可重复率过低的重要原因。为了应对心理学中的可重复危机，研究者们倡导使用更加多样的统计方法以及公开透明的研究实践。由于R语言中分析方法的灵活性与开放性，R语言在加强心理学研究的可重复性上可以起到重要作用。首先，R语言能够加强心理学研究中统计的严谨性和统计方法的多样性。由于众多心理学相关的软件包（psych, MBESS, lavaan, BootES, BayesFactor, Metafor等），使用R语言，研究者可以进行多样的统计，避免过度依赖于<i>p</i>值。例如，使用BootES，研究者可以快速地对效应量的置信区间进行估计，使用BayesFactor，研究者可以使用贝叶斯因子来进行统计。其次，R语言能够加强心理学研究中数据分析的公开与透明的程度。与心理学中最常用的SPSS软件相比，R语言代码而非鼠标点击进行数据的预处理以及分析，能够精确地记录数据分析的过程。这对于将数据分析过程透明化具有重大意义。最近，合理使用Rmarkdown的强大功能，能够将数据处理与结果报告结合起来，能够让研究者完全地数据分析与论文撰写无缝结合，例如papaja工具包的出现，可以让研究者直接使用Rmarkdown完成APA格式的文稿写作。正是由于R语言的这些优势，在最近的重复研究中，R语言被广泛地使用。例如，2015，发表在Science上的大规模重复实验中，其数据分析用R完成。</p><img src=\"v2-af19f3c3bc190d0d88eefd0a505881ff.png\" data-rawwidth=\"618\" data-rawheight=\"197\"><br><br><p>全部演讲信息：<a href=\"http://china-r.org/bj2017/lectures.html\" data-editable=\"true\" data-title=\"演讲信息\" class=\"\">演讲信息</a></p><p>欢迎大家来交流讨论！</p><p>图片来源：<a href=\"http://china-r.org/img/logo-chinar.png\" data-editable=\"true\" data-title=\"china-r.org 的页面\" class=\"\">http://china-r.org/img/logo-chinar.png</a></p>","updated":"2017-04-25T11:25:37.000Z","canComment":false,"commentPermission":"anyone","commentCount":0,"likeCount":15,"state":"published","isLiked":false,"slug":"26569257","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-04-25T19:25:37+08:00","links":{"comments":"/api/posts/26569257/comments"},"url":"/p/26569257","titleImage":"https://pic3.zhimg.com/v2-85b3445834690e882beba31ba9989de2_r.png","summary":"","href":"/api/posts/26569257","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":15},"26595088":{"title":"公开评审与发表后评审","author":"hcp4715","content":"<p>最近Springer撤回107篇肿瘤生物文章，这个消息在国内科研圈应该算是个“大新闻”。对于中国研究者而言，这可能又是一次对学术声誉的打击，而且还不小。</p><p>于是不少分析这个问题背后的原因，毫无疑问，唯SCI的标准成为众矢之的。当然，也有人关注Spinger作为出版方本身的责任。</p><p>不过，相对而言，大家对目前学术杂志采用的同行评审（peer review）制度关注较少。在主流的学术杂志中，同行评审往往采用双盲（审稿人不知道在审谁的文章及作者不知道谁在审）或单盲的做法（作者不知道谁在审稿）。这种做法可能会让审稿过程变成“碰运气”：运气好，碰到欣赏自己研究的审稿人，会很顺利；运气不好，碰到了学术对头，则会很难过，被拒得莫名其妙。</p><p>在这种同行评审制度之下，有人利用编辑对审稿人审查不严的漏洞，伪造审稿人邮箱，让“自己人”来审稿，从而轻松发表文章。这种伪假审稿的做法，对同行评审的制度形成了压力，让学术杂志编辑的责任更加重大（考虑到他们本身可能是一线科研人员，本来就很忙，这无疑会更加加重他们的工作负荷。</p><p>在同行评审的制度之下，对于科研工作者来说，文章的发表，似乎就意味到达“终点”。只要文章发表了，就是一种成就。但很明显，对于科研来说，发表论文只是为了与同行交流，而不是终点。因此奖励“发表论文”的做法，实际上与科学的本质不相符合。有人也提到，这次被撤稿的作者们，本身可能不会受到多大的追究。也就是说，现行的学术出版制度之下，文章发表之后是难以对其进行评估的。</p><p>这些问题可能与公开透明的科学有关：</p><p>第一、评审的意见与过程不透明，即读者不知道谁是编辑，谁是审稿人，评审的意见是否具有水平。</p><p>第二、发表后其他研究者的意见无法公开地产生影响，这个问题主要表现为：如果一个本身存在缺陷上的文章，在很好的杂志上发表之后（比如science上12年之前心理学的文章），其错误结论可能会影响很广泛，但是小同行对其更加严格的评论却无法修正这种错误的影响。</p><br><p>对于这两个问题，目前有两个与公开透明相关的解决方案，却在科研人员中并未受到广泛支持。</p><p>针对评审过程与意见不透明的问题，研究者推荐公开评审（Open peer review）。这种做法意味处理文章的编辑和审稿人信息都要公开，同时审稿意见也公开。对于编辑和审稿人而言，公开而不是匿名地评审意味着要对文章负更多的责任（想想PNAS上社会心理学的文章与某位大牛一直被点名），这也许会让他们在处理文章的时候更加谨慎。目前Frontiers系列杂志如Frontiers in Psychology，就开放了编辑与审稿人信息。国内心理学报的审稿意见已经公开。最近，一些心理学的研究者发起了一个关于公开评审的活动，大家可以去支持一下：<a href=\"https://opennessinitiative.org/\" data-editable=\"true\" data-title=\"Supporting the spread of open research practices\" class=\"\">Supporting the spread of open research practices</a>。</p><p>针对审稿人以外其他研究者意见，有研究者提出了发表后评审（post-publication review）的做法。即先发表文章，再由同行来评审这个文章是否靠谱，是否有价值。这个做法有点类似大家写网络文章之后大家在下面点赞和留言。当然，小同行的评论与点赞才有价值。目前我所了解的采用发表后评审的杂志好像就只明<a href=\"http://peerj.com/\" data-editable=\"true\" data-title=\"PeerJ\">PeerJ</a>和<a href=\"https://f1000research.com/\" class=\"\" data-editable=\"true\" data-title=\"F1000research\">F1000research</a>，欢迎大家补充。<br></p><br><p>当然，公开评审与发表后评审可能只是对目前学术出版的补充，一个好学术出版的做法可能是：<a href=\"http://andrewgelman.com/2017/04/19/my-proposal-for-jasa/\" data-editable=\"true\" data-title=\"如Andrew Gelman所建议的：\" class=\"\">如Andrew Gelman所建议的：</a></p><img src=\"v2-a233e88aa9c1a838ddff7c4e45f8f9c5.png\" data-rawwidth=\"754\" data-rawheight=\"186\">","updated":"2017-04-27T10:04:12.000Z","canComment":false,"commentPermission":"anyone","commentCount":3,"likeCount":22,"state":"published","isLiked":false,"slug":"26595088","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-04-27T18:04:12+08:00","links":{"comments":"/api/posts/26595088/comments"},"url":"/p/26595088","titleImage":"","summary":"","href":"/api/posts/26595088","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":3,"likesCount":22},"26763740":{"title":"Scientific Data上与可重复性相关的数据集","author":"hcp4715","content":"Scientific Data是一个专门用来发表对数据描述的文章，在这个期刊里，有一些文章集是与可重复性相关的：<p><a href=\"https://www.nature.com/sdata/collections/mri-reproducibility\" data-editable=\"true\" data-title=\"Human Brain MRI Reproducibility\">Human Brain MRI Reproducibility</a><br></p><p><a href=\"https://www.nature.com/sdata/collections/replicationdata\" data-editable=\"true\" data-title=\"Replication Data\">Replication Data</a><br></p><p>里面有不少有趣的数据，感兴趣的同学可以去围观。</p>","updated":"2017-05-07T08:46:40.000Z","canComment":false,"commentPermission":"anyone","commentCount":0,"likeCount":8,"state":"published","isLiked":false,"slug":"26763740","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-05-07T16:46:40+08:00","links":{"comments":"/api/posts/26763740/comments"},"url":"/p/26763740","titleImage":"","summary":"","href":"/api/posts/26763740","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":8},"26853983":{"title":"与心理学数据分析相关的R工具包","author":"hcp4715","content":"<p>注：本文在52brain.com上同步发布：<a href=\"http://home.52brain.com/thread-30349-1-1.html\" data-editable=\"true\" data-title=\"与心理学数据分析相关的R工具包 - 基础知识库 我爱脑科学－心心水滴论坛 -\" class=\"\">与心理学数据分析相关的R工具包 - 基础知识库 我爱脑科学－心心水滴论坛 -</a></p>为下周末的<a href=\"http://china-r.org/bj2017/index.html\" data-editable=\"true\" data-title=\"R语言会议\">R语言会议</a>热个身，写下自己收集的心理学研究的数据分析相关的R包。<p>R语言做统计已经慢慢成为（国际）心理学的主流了，国内由于盗版SPSS的长期存在，严重阻碍了心理学研究者使用R的步伐。当然，考虑到大部分心理学研究生既怕数学又怕写（简单的）代码（玩笑哈，别太当真），即便在心理学强大的美国，使用R也是一件需要大力去提倡的事情。比如美国心理学会（Association for Psychological Science, APS）针对会员的月刊Observer的三月刊中，就专门推R的使用：<a href=\"http://www.psychologicalscience.org/issue/march-17\" data-editable=\"true\" data-title=\"Association for Psychological Science\">Association for Psychological Science</a>。</p><br><p>我去年上半年在国外交换时，正好时间比较空闲，于是花了大量的时间把自己之前使用SPSS做的分析全部换成了R，慢慢了收集了一些心理学数据分析中能够用到的R包，分享一下，因为好像这些R语言会议上我们不会讲这些包的使用，而主要讲一些R使用的大致方法。欢迎大家补充，一起完善。</p><p>当然，有许多通用的包在心理学数据分析中也非常重要，比如ggplot2等，在这里就不说了。</p><br><b>Survey Data:</b><br>psych: personality and psychological research<br><a href=\"http://personality-project.org/r/psych/\" data-editable=\"true\" data-title=\"Personality Project\">Personality Project</a><br><br><b>SEM:</b><br>lavaan: latent variable analysis<br><a href=\"http://lavaan.ugent.be/\" data-editable=\"true\" data-title=\"The lavaan Project\" class=\"\">The lavaan Project</a><br><br>OpenMx<br><a href=\"http://openmx.ssri.psu.edu/\" data-editable=\"true\" data-title=\"OpenMx\">OpenMx</a><br><br><b>Experimental data (RT)</b><br>ez: easy way to analyze factorial design data.（hcp:做重复测量方式分析的不二选择）<br><a href=\"https://cran.r-project.org/web/packages/ez/index.html\" data-editable=\"true\" data-title=\"CRAN - Package ez\" class=\"\">CRAN - Package ez</a><br><br>jmv: 这个即有R包也有GUI的软件，适合刚从SPSS转过来的同行<br><a href=\"https://www.jamovi.org/jmv/\" data-editable=\"true\" data-title=\"jmv r package - jamovi\" class=\"\">jmv r package - jamovi</a><br><br>trimr: trim reaction times data.<br><a href=\"https://cran.r-project.org/web/packages/trimr/\" data-editable=\"true\" data-title=\"CRAN - Package trimr\">CRAN - Package trimr</a><br><br>TOSTER: equivalence test<br><a href=\"https://cran.r-project.org/web/packages/TOSTER/index.html\" data-editable=\"true\" data-title=\"CRAN - Package TOSTER\" class=\"\">CRAN - Package TOSTER</a> <br><br>BootES:使用bootstrap的方式计算效应量及其置信区间<a href=\"https://cran.r-project.org/web/packages/bootES/index.html\">https://cran.r-project.org/web/packages/bootES/index.html</a><p><br>effsize: calculate Cohen's d and confidence intervals<br><a href=\"https://cran.r-project.org/web/packages/effsize/index.html\" data-editable=\"true\" data-title=\"CRAN - Package effsize\" class=\"\">CRAN - Package effsize</a><br><br>compute.es: compute effect size.<br><a href=\"https://cran.r-project.org/web/packages/compute.es/index.html\" data-editable=\"true\" data-title=\"CRAN - Package compute.es\" class=\"\">CRAN - Package compute.es</a><br><br>lsr: Effect size calculations for ANOVAs<br><a href=\"https://cran.r-project.org/web/packages/lsr/index.html\" data-editable=\"true\" data-title=\"CRAN - Package lsr\">CRAN - Package lsr</a><br><br>Linear Mixed-Effects Models<br>lme4: <a href=\"https://cran.r-project.org/web/packages/lme4/index.html\" data-editable=\"true\" data-title=\"CRAN - Package lme4\">CRAN - Package lme4</a><br>nlme: <a href=\"https://cran.r-project.org/web/packages/nlme/index.html\" data-editable=\"true\" data-title=\"CRAN - Package nlme\" class=\"\">CRAN - Package nlme</a><br><br>multinormial model<br>TreeBUGS: <a href=\"https://cran.r-project.org/web/packages/TreeBUGS/index.html\" data-editable=\"true\" data-title=\"CRAN - Package TreeBUGS\" class=\"\">CRAN - Package TreeBUGS</a><br><br>ex-Gaussian model:<br>retimes:<a href=\"https://cran.r-project.org/web/packages/retimes/index.html\" class=\"\" data-editable=\"true\" data-title=\"CRAN - Package retimes\">CRAN - Package retimes</a><br><br>Drift Diffusion Model:<br>RWiener: <a href=\"https://cran.r-project.org/web/packages/RWiener/index.html\" class=\"\" data-editable=\"true\" data-title=\"CRAN - Package RWiener\">CRAN - Package RWiener</a><br><br><b>Meta-analysis:</b><br>mvmeta: Multivariate and Univariate Meta-Analysis and Meta-Regression<br><a href=\"http://cran.r-project.org/web/packages/mvmeta/\" data-editable=\"true\" data-title=\"CRAN - Package mvmeta\">CRAN - Package mvmeta</a><br><br>metacor: Meta-analysis of correlation coefficients<br><a href=\"http://cran.r-project.org/web/packages/metacor/index.html\" data-editable=\"true\" data-title=\"CRAN - Package metacor\">CRAN - Package metacor</a><br><br>metafor:<br><a href=\"http://www.metafor-project.org/doku.php\" data-editable=\"true\" data-title=\"The metafor Package\" class=\"\">The metafor Package</a><br><br>related packages: heplots, BaylorEdPsych<br><br><b>Bayesian Stats:</b><br>BayesFactor：<a href=\"http://bayesfactorpcl.r-forge.r-project.org/\" data-editable=\"true\" data-title=\"r-project.org 的页面\">http://bayesfactorpcl.r-forge.r-project.org/</a><br><br>BEST（Bayesian Estimation Supersedes the t-Test）：<a href=\"https://cran.r-project.org/web/packages/BEST/index.html\" data-editable=\"true\" data-title=\"CRAN - Package BEST\">CRAN - Package BEST</a><br><br>BANOVA<br><a href=\"https://cran.r-project.org/web/packages/BANOVA/index.html\" data-editable=\"true\" data-title=\"CRAN - Package BANOVA\">CRAN - Package BANOVA</a><br><br>BayesMed:<a href=\"https://cran.r-project.org/web/packages/BayesMed/index.html\" data-editable=\"true\" data-title=\"CRAN - Package BayesMed\" class=\"\">CRAN - Package BayesMed</a><br><br><br>Notes on the use of R for psychology experiments and questionnaires by Jonathan Baron<br><a href=\"http://www.psych.upenn.edu/~baron/rpsych/rpsych.html\" data-editable=\"true\" data-title=\"Notes on the use of R for psychology experiments and questionnaires\">Notes on the use of R for psychology experiments and questionnaires</a><br><br><br><b>Manuscript preparation</b><br>papaja：<a href=\"https://github.com/crsh/papaja\" data-editable=\"true\" data-title=\"crsh/papaja\">crsh/papaja</a><br>apaTables： <a href=\"https://cran.r-project.org/web/packages/apaTables/index.html\" data-editable=\"true\" data-title=\"CRAN - Package apaTables\">CRAN - Package apaTables</a><br><br><b>Check Statistics</b><br>R package “statcheck”: Extract statistics from articles and recompute values (Epskamp, S., &amp; Nuijten, M. B., 2015)<br>statcheck: Exact statistic from articles and recompute values<br><a href=\"http://mbnuijten.com/statcheck/\" data-editable=\"true\" data-title=\"statcheck\">statcheck</a><br><br><b>Visualization</b><br>YaRrr: more information than bar graph<br><a href=\"https://github.com/ndphillips/yarrr\" data-editable=\"true\" data-title=\"ndphillips/yarrr\">ndphillips/yarrr</a><br></p><p>国内其实有一个使用R和开发R包的心理学团队，欢迎大家关注：<a href=\"http://www.psychor.club/\" data-editable=\"true\" data-title=\"PsychoR.club\">PsychoR.club</a>。</p>","updated":"2017-05-11T12:58:44.000Z","canComment":false,"commentPermission":"anyone","commentCount":10,"likeCount":129,"state":"published","isLiked":false,"slug":"26853983","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-05-11T20:58:44+08:00","links":{"comments":"/api/posts/26853983/comments"},"url":"/p/26853983","titleImage":"","summary":"","href":"/api/posts/26853983","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":10,"likesCount":129},"27262140":{"title":"9个认知心理学实验被成功重复","author":"hcp4715","content":"<p>心理学中的可重复危机搞在人心惶惶，似乎对所有的结果都产生了怀疑，但是最近的一项重复研究表明，经典的实验效应还是很稳定的。</p><p>Erasumus University Rotterdam的Rolf A. Zwaan及其同事最近在PsyArXiv预发布平台上更新了他们最近重复实验的结果。在这个研究中，他们使用Amazon Mechanical Turk来招募实验志愿者，使用Inquisit在线呈现刺激并且收集反应时间，而他们重复的实验，是认知心理学中比较常用实验范式：</p><img src=\"v2-b96700f344a79338985a46a25058adc7.jpg\" data-rawwidth=\"1743\" data-rawheight=\"3496\"><br><p>这9个认知心理学效应均可以重复，即便重复实验的环境比原实验环境相比不那么好。</p><br><p>当然，这些数据和分析代码都在这里公开了：想练习和观摩可以点这里：<a href=\"https://osf.io/b27fd/\" data-editable=\"true\" data-title=\"osf.io 的页面\">https://osf.io/b27fd/</a></p><br><p>Zwaan, R., Pecher, D., Paolacci, G., Bouwmeester, S., Verkoeijen, P., Dijkstra, K., &amp; Zeelenberg, R. (2017). Some Psychological Effects Replicate Even Under Potentially Adverse Conditions. PsyArXiv. Retrieved from <a href=\"https://osf.io/preprints/psyarxiv/rbz29\" data-editable=\"true\" data-title=\"osf.io 的页面\">https://osf.io/preprints/psyarxiv/rbz29</a></p>","updated":"2017-06-06T01:13:57.000Z","canComment":false,"commentPermission":"anyone","commentCount":21,"likeCount":114,"state":"published","isLiked":false,"slug":"27262140","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-06-06T09:13:57+08:00","links":{"comments":"/api/posts/27262140/comments"},"url":"/p/27262140","titleImage":"","summary":"","href":"/api/posts/27262140","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":21,"likesCount":114},"27518497":{"title":"与浙师大研究生分享可重复性相关的问题","author":"hcp4715","content":"6月14号，应该浙江师范大学心理学系主任李新宇老师的邀请，我通过网络跟研究生们分享了我对心理学中可重复性问题的一些认识。<p>这次分享的主要是介绍了一下心理学对可重复关注的主要事件，导致心理学研究可重复性低的原因、心理学研究中可重复性的现状，以及研究者们提出的解决方案、我们作为这个领域内的人，可以做些什么。</p><p>主要的感受：随着时间的推移，现在可重复性危机是否存在在国际心理学界似乎已经不是关注的重点，重点是如何让心理学研究变得更加开放、透明。另外，其实在这个过程中，有非常多的资源可以利用、也有很多合作的机会，这方面其实还挺有意思的。</p><p>这算是我作为COS大使，对开放、透明科学推广的一部分义务吧。</p><p>PPT可以在这里下载：<a href=\"https://osf.io/wfzpa/\" data-editable=\"true\" data-title=\"OSF | 浙师大_心理学中的重复危机与解决_20170615_hcp.pptx\" class=\"\">OSF | 浙师大_心理学中的重复危机与解决_20170615_hcp.pptx</a></p>","updated":"2017-06-22T13:58:55.000Z","canComment":false,"commentPermission":"anyone","commentCount":1,"likeCount":10,"state":"published","isLiked":false,"slug":"27518497","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-06-22T21:58:55+08:00","links":{"comments":"/api/posts/27518497/comments"},"url":"/p/27518497","titleImage":"https://pic2.zhimg.com/v2-5586b2c47a943c45eb05e9eab8c0431d_r.png","summary":"","href":"/api/posts/27518497","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":1,"likesCount":10}},"User":{"hcp4715":{"isFollowed":false,"name":"hcp4715","headline":"热爱科学、热爱大脑、热爱户外运动","avatarUrl":"https://pic3.zhimg.com/fecec00f6_s.jpg","isFollowing":false,"type":"people","slug":"hcp4715","profileUrl":"https://www.zhihu.com/people/hcp4715","bio":"社会认知神经科学里的搬砖工","hash":"d8954fe3c18476158f4f9379874c80be","uid":31198994759680,"isOrg":false,"description":"热爱科学、热爱大脑、热爱户外运动","isOrgWhiteList":false,"avatar":{"id":"fecec00f6","template":"https://pic3.zhimg.com/{id}_{size}.jpg"}}},"Comment":{},"favlists":{}},"me":{},"global":{},"columns":{"psy-os":{"pins":["24792621"],"followersCount":16471,"creator":{"profileUrl":"https://www.zhihu.com/people/hcp4715","bio":"社会认知神经科学里的搬砖工","hash":"d8954fe3c18476158f4f9379874c80be","uid":31198994759680,"isOrg":false,"description":"热爱科学、热爱大脑、热爱户外运动","isOrgWhiteList":false,"slug":"hcp4715","avatar":{"id":"fecec00f6","template":"https://pic3.zhimg.com/{id}_{size}.jpg"},"name":"hcp4715"},"topics":[{"url":"https://www.zhihu.com/topic/19884670","id":"19884670","name":"心理学研究方法"},{"url":"https://www.zhihu.com/topic/19551432","id":"19551432","name":"心理学"},{"url":"https://www.zhihu.com/topic/19841766","id":"19841766","name":"心理统计"}],"activateState":"activated","href":"/api/columns/psy-os","acceptSubmission":true,"firstTime":false,"postTopics":[{"postsCount":22,"id":113570,"name":"心理学研究方法"},{"postsCount":14,"id":99306,"name":"心理统计"},{"postsCount":6,"id":404,"name":"心理学"},{"postsCount":5,"id":154747,"name":"开放数据"},{"postsCount":3,"id":9288,"name":"研究方法"},{"postsCount":2,"id":116933,"name":"科研工具"},{"postsCount":2,"id":27607,"name":"学术论文"},{"postsCount":2,"id":2232,"name":"科研"},{"postsCount":2,"id":67664,"name":"R"},{"postsCount":1,"id":1362,"name":"癌症"},{"postsCount":1,"id":42810,"name":"发表论文"},{"postsCount":1,"id":63708,"name":"大数据"},{"postsCount":1,"id":23174,"name":"神经科学"},{"postsCount":1,"id":15317,"name":"认知心理学"},{"postsCount":1,"id":13740,"name":"社会心理学"},{"postsCount":1,"id":9781,"name":"中国科学院"},{"postsCount":1,"id":4170,"name":"开源"},{"postsCount":1,"id":161276,"name":"中国科研"}],"pendingName":"","avatar":{"id":"v2-90f768fa93197bff498b7ce5c0a52be5","template":"https://pic2.zhimg.com/{id}_{size}.jpg"},"canManage":false,"description":"心理学以及其他一些学科受到可重复性问题的困扰。作为Center for Open Science的Ambassador，本人将致力于传播与透明、开放和可重复性科学相关的知识和支持，以期能够为促进科学的可重复性做一点点贡献。欢迎志同道合者合作！","pendingTopics":[],"nameCanEditUntil":0,"reason":"","banUntil":0,"slug":"psy-os","name":"透明公开可重复的心理学","url":"/psy-os","intro":"如何加强心理学研究的透明、公开与可重复性","topicsCanEditUntil":0,"activateAuthorRequested":"none","commentPermission":"anyone","following":false,"postsCount":25,"canPost":false,"FULLINFO":true}},"columnPosts":{"psy-os":{"entity":["27518497","27262140","26595088","26853983","26763740","26569257","24775841","26240816","25798593","25772914","24792621","25089006","24959922","24728005","24299896","24175191","24298944","24167271","23941735","23638496"],"next":{"rel":"next","href":"/api/columns/psy-os/posts?limit=20&offset=20&topic=113570","query":{"limit":"20","offset":"20","topic":"113570"}},"topic":"心理学研究方法"}},"postComments":{},"postReviewComments":{"comments":[],"newComments":[],"hasMore":true},"favlistsByUser":{},"favlistRelations":{},"promotions":{},"env":{"isAppView":false,"appViewConfig":{"content_padding_top":128,"content_padding_bottom":56,"content_padding_left":16,"content_padding_right":16,"title_font_size":22,"body_font_size":16,"is_dark_theme":false,"can_auto_load_image":true,"app_info":"OS=iOS"},"isApp":false},"sys":{}}