Open Science Club

如何加强研究的透明、公开与可重复性

21676 人关注

置顶文章

欢迎对开放科学感兴趣的同行一起维护此专栏

你是否怀疑许多发表的研究无法重复？你是否憧憬科研更加开放？你是否想让科研的全过程均透明公开？如果以上的问题你的回复都“是”的话，也许，你应该申请成为开放科学中心（Center for Ope…查看全文

hcp4715

a month ago

42 赞16 条评论

最新文章

更嚴苛的標準能否打造嚴謹的科學？
為何要重新定義統計顯著水準？就在今年七月下旬，來自重要的社會科學領域：有心理學、社會學、經濟學、政治學等，著作等身的72名資深學者。合作撰寫論文”Redefine statist…查看全文
陳紹慶
a day ago
34 赞2 条评论
为什么心理学可以是科学2：不，是你的贝叶斯
在详细介绍什么是贝叶斯，贝叶斯有什么用等等之前，基于系列第一篇（为什么心理学可以是科学：p<0.005>?），有人指出了几点我认为值得说明一下。其一，可重复性对于…查看全文
Sharon
8 days ago
78 赞15 条评论
让心理学变得更Science：SIPS
Hard science is hard - 硬科学很难做。我们时常听到人们对不同领域的科学这样的分类：硬(hard)科学 vs 软(soft)科学（硬还是软就在于这个领域是否够科学(scientific)）。…查看全文
Sharon
a month ago
47 赞41 条评论
「提昇你的統計推論功力」中文資源使用說明及學習指南
**中英字幕对照档已于8/21上传Coursera，有注册Coursera的朋友可直接在平台观看有中文字幕的影片。写作这份指南与翻译教材的原始文本是繁体中文，大陆及港澳地区朋友，如果…查看全文
陳紹慶
a month ago
76 赞0 条评论
《实验社会心理学杂志》建议使用statcheck
编译：心理享学习；hcp本文编译自：Journal of Experimental Social Psychology 最近，社会心理学的传统期刊《实验社会心理学杂志》（Journal of Experimental Social Psychology, JESP）开…查看全文
陈信
a month ago
36 赞0 条评论
心理学中目前可以参与的国际合作项目
正如我在上一篇文章中提到了的，国内研究者（尤其是研究生）可以通过在线平台来参与国际合作。本文就作为目前正在进行的国际合作项目消息的窗口，会经常更新。为了保证自己不因为更新花太多…查看全文
hcp4715
a month ago
24 赞2 条评论
使用StudySwap、RRR等参与国际合作研究
心理学的可重复性问题已经成为大部分人所接受的事实。在对这个问题的探索和分析中，有过不少有名的大规模国际合作研究。例如，对11个经典心理学实验进行重复的ManyLab项目(Klein et al., 20…查看全文
hcp4715
2 months ago
21 赞1 条评论
什么？以后p < .005才是统计上显著！
在twitter上看到一直在推广开放科学的心理学家Brian Nosek的一个tweet：这个消息可能是一个大新闻，因为点开这个文章一看，72个作者里，有许多在心理学研究方法上经常出现的名字：比如我所…查看全文
hcp4715
2 months ago
366 赞45 条评论
Mini Meta-analysis或者单个论文中的元分析
今天在北京大学决策与神经经济学博士生研讨会上报告自己的研究时，展示了对自己的系列实验进行的一个元分析。展示结束之后，有同学对我的这个元分析非常感兴趣，问起这个事情来。挺有意思的…查看全文
hcp4715
3 months ago
41 赞3 条评论
与浙师大研究生分享可重复性相关的问题
6月14号，受浙江师范大学心理学系主任李新宇博士的邀请，我通过网络与研究生们分享了我对心理学研究中可重复性问题的一些认识。这次分享的主要介绍如下内容：引发心理学对…查看全文
hcp4715
3 months ago
21 赞1 条评论
9个认知心理学实验被成功重复
心理学中的可重复危机搞在人心惶惶，似乎对所有的结果都产生了怀疑，但是最近的一项重复研究表明，经典的实验效应还是很稳定的。Erasumus University Rotterdam的Rolf A. Zwaan及其同事最近…查看全文
hcp4715
4 months ago
127 赞21 条评论
与心理学数据分析相关的R工具包
注：本文在52brain.com上同步发布：与心理学数据分析相关的R工具包 - 基础知识库我爱脑科学－心心水滴论坛 -为下周末的R语言会议热个身，写下自己收集的心理学研究的数据分析相关的R包。R…查看全文
hcp4715
4 months ago
143 赞10 条评论
Scientific Data上与可重复性相关的数据集
Scientific Data是一个专门用来发表对数据描述的文章，在这个期刊里，有一些文章集是与可重复性相关的：Human Brain MRI ReproducibilityReplication Data里面有不少有趣的数据，感兴趣的同…查看全文
hcp4715
5 months ago
8 赞0 条评论
公开评审与发表后评审
最近Springer撤回107篇肿瘤生物文章，这个消息在国内科研圈应该算是个“大新闻”。对于中国研究者而言，这可能又是一次对学术声誉的打击，而且还不小。于是不少分析这个问题背后的原因，毫…查看全文
hcp4715
5 months ago
22 赞3 条评论
去R语言会议讲可重复性
R语言会议是统计之都组织关于R的交流会议，感觉目前在中文的R语言圈里影响力不小。今年是R语言会议的第10年，举办的地点在清华大学计学研究中心。报名地址：第十届中国R会…查看全文
hcp4715
5 months ago
16 赞0 条评论
预注册你的研究，可能会赢得1000美元奖金
利益相关：本文为是为Center for Open Science（COS）宣传这一旨在鼓励研究者进行提前注册的活动。本人为COS的ambassodor。刚才有朋友提示，中国的研究者无法参加这个挑战，因为中国是美国…查看全文
hcp4715
5 months ago
23 赞6 条评论
使用Reproducibility Project Psychology的公开数据，发表自己的文章
2012年，200多名心理学研究者通过OSF这个合作平台，联合对2008年发表的100项心理学研究进行了重复。2015年，这个重复的结果发表在Science上，让不少人大跌眼镜。这个研究的数据也公开在OSF…查看全文
hcp4715
5 months ago
53 赞2 条评论
中国的预印平台：中科院科技论文预发布平台
正如我在如何做可复制的(reproducible)[心理学]研究中所提到，做开放和可重复的研究很重要的一步是快速地公开你最新的研究成果，让同行能够获知你（的团队）最近得到了什么有趣的结果。这种…查看全文
hcp4715
6 months ago
30 赞6 条评论
Nature开始遵循促进透明公开(TOP)指南
今天Nature杂志的Editoial宣布，在通过一系列旨在增强nature及其子刊上发表研究的可重复政策之后，Nature集团下的期刊正式也开始成为遵循促进透明公开指南（Transparency Openness Promotio…查看全文
hcp4715
6 months ago
21 赞14 条评论

{"database":{"Post":{"25798593":{"title":"Nature开始遵循促进透明公开(TOP)指南","author":"hcp4715","content":"今天Nature杂志的Editoial宣布，在通过一系列旨在增强nature及其子刊上发表研究的可重复政策之后，Nature集团下的期刊正式也开始成为遵循促进透明公开指南（Transparency Openness Promotion Guidelines, TOP）的期刊（<a href=\"http://www.nature.com/news/announcement-transparency-upgrade-for-nature-journals-1.21627\" data-editable=\"true\" data-title=\"Announcement: Transparency upgrade for Nature journals\">Announcement: Transparency upgrade for Nature journals</a>）。什么是TOP？最简单的是看官方的信息：<a href=\"https://cos.io/top\" data-editable=\"true\" data-title=\"TOP Guidelines\">TOP Guidelines</a>。当然，在我们去年在心理学大会的工作坊中，我们对TOP的原则进行过一次总结：<img src=\"v2-0f87367440086e89b242d9e6d493b11a.png\" data-rawwidth=\"914\" data-rawheight=\"762\">英文的总结是Nosek他们在science的<a href=\"http://science.sciencemag.org/content/348/6242/1422\" data-editable=\"true\" data-title=\"论文\">论文</a>中提到的：<img src=\"v2-4c11a39baa770da2363f8974f540255e.png\" data-rawwidth=\"844\" data-rawheight=\"720\"> 此次Nature旗下的杂志也加入TOP指南之下，具有重大的意义。2016年，science杂志已经<a href=\"http://science.sciencemag.org/content/352/6290/1147\" data-editable=\"true\" data-title=\"宣布要按照TOP指南开始增加研究的透明与公开\" class=\"\">宣布要按照TOP指南开始增加研究的透明与公开</a>，而2016年nature表示<a href=\"http://www.nature.com/news/announcement-where-are-the-data-1.20541\" data-editable=\"true\" data-title=\"要加强数据公开的程度却没表示要加入TOP指南的意思\">要加强数据公开的程度却没表示要加入TOP指南的意思</a>。其中一个原因（我个人猜测），可能是因为TOP原则的提出，原本就是science杂志背后的组织AAAS所参与的工作，而nature却没有参与。现在nature的加入，说明透明、公开与可重复的研究已经成为了绝对的主流了。","updated":"2017-03-16T02:14:16.000Z","canComment":false,"commentPermission":"review","commentCount":14,"likeCount":21,"state":"published","isLiked":false,"slug":"25798593","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-03-16T10:14:16+08:00","links":{"comments":"/api/posts/25798593/comments"},"url":"/p/25798593","titleImage":"","summary":"","href":"/api/posts/25798593","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":14,"likesCount":21},"26042413":{"title":"中国的预印平台：中科院科技论文预发布平台","author":"hcp4715","content":"正如我在<a href=\"https://zhuanlan.zhihu.com/p/25772914\">如何做可复制的(reproducible)[心理学]研究</a>中所提到，做开放和可重复的研究很重要的一步是快速地公开你最新的研究成果，让同行能够获知你（的团队）最近得到了什么有趣的结果。这种未经同行评审（peer review）就发布的论文被称为preprint (预发布或者直译为预印）。预印本在社会科学领域也可能叫做working paper长期以来，preprint只有一家，就是康奈尔大学图书馆（Cornell University Library）支持的<a href=\"https://arxiv.org/\">arXiv</a>，这个平台上主要发布物理、计算机、统计等理科的论文。其实在社会科学领域，也有一个开放存放working paper的平台，叫做：Social Science Research Networks: <a href=\"https://www.ssrn.com/en/\">SSRN</a>。而最近几年，各种原因导致学术界对preprint越来越青睐。与这种日益广泛的认可度相对应，，近两年出现了多家preprint的平台。比如专门用于生物学：biorXiv (<a href=\"http://biorxiv.org/\">the preprint server for Biology</a>)，由著名的冷泉港实验室所支持；又比如，COS这个致力于开放科学的组织（<a href=\"https://zhuanlan.zhihu.com/p/25089006\">见我的介绍</a>），提供了社会科学相关的预印服务，包括心理学、法律、社会学等多个领域：<a href=\"https://osf.io/preprints/\">https://osf.io/preprints/</a>。。而前面提到的SSRN，在不久前被科学出版巨头Elsiver收购，据说有一些问题。令人兴奋的是，最近中科院也开始提供科技论文的Preprint服务（<a href=\"http://www.chinaxiv.org/home.htm\">ChinaXiv</a>，中文名字叫：中国科学院科技论文预发布平台）。这个平台接受中文和英文的论文，并且据说通过审核的速度非常快。所以如果您已经写完准备发表的论文，可以考虑先放在这样一个预发布平台上，让您（的团队）的论文迅速被大家所知晓、阅读、引用。","updated":"2017-03-28T05:52:16.000Z","canComment":false,"commentPermission":"review","commentCount":6,"likeCount":30,"state":"published","isLiked":false,"slug":"26042413","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-03-28T13:52:16+08:00","links":{"comments":"/api/posts/26042413/comments"},"url":"/p/26042413","titleImage":"","summary":"","href":"/api/posts/26042413","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":6,"likesCount":30},"26240816":{"title":"使用Reproducibility Project Psychology的公开数据，发表自己的文章","author":"hcp4715","content":"2012年，200多名心理学研究者通过OSF这个合作平台，联合对2008年发表的100项心理学研究进行了重复。2015年，<a href=\"http://science.sciencemag.org/content/349/6251/aac4716\" data-title=\"这个重复的结果\" class=\"\" data-editable=\"true\">这个重复的结果</a>发表在Science上，让不少人大跌眼镜。<img src=\"v2-18349eb3ecdea58378a7fa79db355509.png\" data-rawwidth=\"1303\" data-rawheight=\"1019\">这个研究的数据也公开在OSF上:<a href=\"https://osf.io/ezcuj/wiki/home/\" data-editable=\"true\" data-title=\"Reproducibility Project: Psychology Wiki\"> Reproducibility Project: Psychology Wiki</a>。由于数据的公开，不少研究者对这批数据进行了分析，并且发表了自己的文章。例如： 使用不同的方法对这批数据进行重新分析的论文： Etz, A., &amp; Vandekerckhove, J. (2016). A bayesian perspective on the reproducibility project: psychology. PLoS One, 11(2), e0149794. doi:10.1371/journal.pone.0149794 Johnson, V. E., Payne, R. D., Wang, T., Asher, A., &amp; Mandal, S. (2016). On the reproducibility of psychological science. Journal of the American Statistical Association. doi:10.1080/01621459.2016.1240079 van Aert, R. C. M., &amp; van Assen, M. A. L. M. (2017). Bayesian evaluation of effect size after replicating an original study. PLoS One, 12(4), e0175302. doi:10.1371/journal.pone.0175302 寻找调节变量的论文： Bench, S. W., Rivera, G. N., Schlegel, R. J., Hicks, J. A., &amp; Lench, H. C. (2017). Does expertise matter in replication? An examination of the reproducibility project: Psychology. Journal of Experimental Social Psychology, 68, 181-184. doi:10.1016/j.jesp.2016.07.003 Van Bavel, J. J., Mende-Siedlecki, P., Brady, W. J., &amp; Reinero, D. A. (2016). Contextual sensitivity in scientific reproducibility. Proceedings of the National Academy of Sciences, 113(23), 6454–6459. doi:10.1073/pnas.1521897113 结合新数据进行研究的论文： Dreber, A., Pfeiffer, T., Almenberg, J., Isaksson, S., Wilson, B., Chen, Y., . . . Johannesson, M. (2015). Using prediction markets to estimate the reproducibility of scientific research. Proceedings of the National Academy of Sciences. doi:10.1073/pnas.1516179112 对这些数据的利用至少说明了一个问题：只要你的想法好，就可以利用公开的数据探索出新的东西。所以，如果你对这个问题有一些有趣的想法，不妨去下载他们的数据来探索探索。","updated":"2017-04-08T01:56:41.000Z","canComment":false,"commentPermission":"anyone","commentCount":2,"likeCount":53,"state":"published","isLiked":false,"slug":"26240816","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-04-08T09:56:41+08:00","links":{"comments":"/api/posts/26240816/comments"},"url":"/p/26240816","titleImage":"","summary":"","href":"/api/posts/26240816","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":2,"likesCount":53},"26389943":{"title":"预注册你的研究，可能会赢得1000美元奖金","author":"hcp4715","content":"利益相关：本文为是为Center for Open Science（COS）宣传这一旨在鼓励研究者进行提前注册的活动。本人为COS的ambassodor。刚才有朋友提示，中国的研究者无法参加这个挑战，因为中国是美国国务院禁运的国家之一。这确实让人很受打击，这短文且当一个新闻吧。预注册挑战（<a href=\"https://cos.io/prereg/?utm_source=ambassador&amp;utm_medium=email&amp;utm_campaign=prereg-prom\" data-title=\"Prereg Challenge\" class=\"\" data-editable=\"true\">Prereg Challenge</a>）是Center for Open Science (COS)为了促进科学研究的严谨性而发起的一次公开活动。什么是预注册（pre-register）? 预注册指的是在研究开始之前，即将研究的核心部分进行公开地登记。在心理学的研究中，核心部分包括：研究设计（包括哪些自变量、因变量和控制变量）、研究假设（变量之间的关系是什么？）、预计采用多大的样本量（以及为什么采用这个样本量）、停止收集数据的标准是什么、准备使用何种统计方法、分析过程中使用何种标准排除数据。为什么要进行预注册？预注册的主要作用在区分探索性分析（exploratory）和验证性分析（confirmatory）。探索性分析的目的是为了产生一些新的假设；而验证性分析的目的在于验证先前已经存在的假设是否正确。同一批数据，不能即进行探索分析又进行验证分析（比如在心理测量中，不能使用同一批数据进行探索性因素分析又进行验证性因素分析）。但是在实际的研究中，为了更好地发表结果，研究者往往会把探索性分析当作验证性分析，这就是HARKing（Hypothesize After Results is Known，知道结果之后再提出假设）。HARKing的行为很明显是一种不严谨的做法。但是目前没有很好的办法来判断研究者在论文的手稿中是探索性还是验证性分析。而预注册则正是为了解决这一问题，将研究者在实验前的假设公开注册，实验结束后，其他研究者能够发现哪些是验证性的分析，哪些是需要进一步数据来验证的探索性分析。预注册挑战是什么？这个活动是COS为了鼓励研究者进行预注册的有奖注册活动。这个活动将为1000个研究者/团队提供1000美元的奖励，以鼓励合乎规范的预注册。具体而言，这个活动包括三步：第一、在osf上预注册你的研究计划；第二步，实话研究计划并将其发表在COS认可的学术期刊上；第三步、领取1000美元！预注册你的研究计划，可以参考本专栏先前的文章：<a href=\"https://zhuanlan.zhihu.com/p/24775841\" data-editable=\"true\" data-title=\"如何提前注册（Pre-register）你的研究？ - 知乎专栏\">如何提前注册（Pre-register）你的研究？ - 知乎专栏</a>。与其他的预注册方式不一样的是，参加预注册挑战，有一些关于预注册的具体要求，详情可以参见：<a href=\"https://cos.io/our-services/prereg-more-information/\" data-editable=\"true\" data-title=\"More About the Preregistration Challenge\" class=\"\">More About the Preregistration Challenge</a>中的Review Process。比如，为了保证研究的科学性，会有专门的reviewer对你的研究计划进行评审，评审会按照这些标准来进行：<a href=\"https://osf.io/h4ga8/?_ga=1.157659706.1014065710.1492314764\" data-editable=\"true\" data-title=\"OSF | Reviewer_instructions.docx\">OSF | Reviewer_instructions.docx</a>COS认可的期刊，目前已经包括3000多个学术期刊，涵盖了自然科学和社会科学的各个领域，详情可以见这个网页：<a href=\"https://cos.io/our-services/prereg-more-information/\" data-editable=\"true\" data-title=\"More About the Preregistration Challenge\" class=\"\">More About the Preregistration Challenge</a>中的Eligible Journals。COS的这个活动，是科学共同体自发地奖励更为严谨的科研行为。同行们，如果你们近期准备开展新的研究？赶紧加入吧：猛击<a href=\"https://cos.io/prereg/?utm_source=ambassador&amp;utm_medium=email&amp;utm_campaign=prereg-prom\" data-editable=\"true\" data-title=\"这里\" class=\"\">这里</a>。","updated":"2017-04-16T04:18:40.000Z","canComment":false,"commentPermission":"review","commentCount":6,"likeCount":23,"state":"published","isLiked":false,"slug":"26389943","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-04-16T12:18:40+08:00","links":{"comments":"/api/posts/26389943/comments"},"url":"/p/26389943","titleImage":"","summary":"","href":"/api/posts/26389943","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":6,"likesCount":23},"26569257":{"title":"去R语言会议讲可重复性","author":"hcp4715","content":"R语言会议是统计之都组织关于R的交流会议，感觉目前在中文的R语言圈里影响力不小。今年是R语言会议的第10年，举办的地点在清华大学计学研究中心。报名地址：<a href=\"http://china-r.org/bj2017/\" data-editable=\"true\" data-title=\"第十届中国R会议（北京）\">第十届中国R会议（北京）</a>。 作为一个使用R不久的人，这次斗胆去R语言会议的心理学专场上，与大家交流一下R在加强心理学研究的可重复性中的作用，摘要如下： 自2011年，由于一系列的重复失败事件，可重复性问题成为了心理学界一个持续的热点问题。统计方法严谨性（如过度依赖于p值）和开放性（大量的可疑研究操作）不足是导致心理学研究可重复率过低的重要原因。为了应对心理学中的可重复危机，研究者们倡导使用更加多样的统计方法以及公开透明的研究实践。由于R语言中分析方法的灵活性与开放性，R语言在加强心理学研究的可重复性上可以起到重要作用。首先，R语言能够加强心理学研究中统计的严谨性和统计方法的多样性。由于众多心理学相关的软件包（psych, MBESS, lavaan, BootES, BayesFactor, Metafor等），使用R语言，研究者可以进行多样的统计，避免过度依赖于p值。例如，使用BootES，研究者可以快速地对效应量的置信区间进行估计，使用BayesFactor，研究者可以使用贝叶斯因子来进行统计。其次，R语言能够加强心理学研究中数据分析的公开与透明的程度。与心理学中最常用的SPSS软件相比，R语言代码而非鼠标点击进行数据的预处理以及分析，能够精确地记录数据分析的过程。这对于将数据分析过程透明化具有重大意义。最近，合理使用Rmarkdown的强大功能，能够将数据处理与结果报告结合起来，能够让研究者完全地数据分析与论文撰写无缝结合，例如papaja工具包的出现，可以让研究者直接使用Rmarkdown完成APA格式的文稿写作。正是由于R语言的这些优势，在最近的重复研究中，R语言被广泛地使用。例如，2015，发表在Science上的大规模重复实验中，其数据分析用R完成。<img src=\"v2-af19f3c3bc190d0d88eefd0a505881ff.png\" data-rawwidth=\"618\" data-rawheight=\"197\"> 全部演讲信息：<a href=\"http://china-r.org/bj2017/lectures.html\" data-editable=\"true\" data-title=\"演讲信息\" class=\"\">演讲信息</a>欢迎大家来交流讨论！图片来源：<a href=\"http://china-r.org/img/logo-chinar.png\" data-editable=\"true\" data-title=\"china-r.org 的页面\" class=\"\">http://china-r.org/img/logo-chinar.png</a>","updated":"2017-04-25T11:25:37.000Z","canComment":false,"commentPermission":"anyone","commentCount":0,"likeCount":16,"state":"published","isLiked":false,"slug":"26569257","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-04-25T19:25:37+08:00","links":{"comments":"/api/posts/26569257/comments"},"url":"/p/26569257","titleImage":"https://pic3.zhimg.com/v2-85b3445834690e882beba31ba9989de2_r.png","summary":"","href":"/api/posts/26569257","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":16},"26595088":{"title":"公开评审与发表后评审","author":"hcp4715","content":"最近Springer撤回107篇肿瘤生物文章，这个消息在国内科研圈应该算是个“大新闻”。对于中国研究者而言，这可能又是一次对学术声誉的打击，而且还不小。于是不少分析这个问题背后的原因，毫无疑问，唯SCI的标准成为众矢之的。当然，也有人关注Spinger作为出版方本身的责任。不过，相对而言，大家对目前学术杂志采用的同行评审（peer review）制度关注较少。在主流的学术杂志中，同行评审往往采用双盲（审稿人不知道在审谁的文章及作者不知道谁在审）或单盲的做法（作者不知道谁在审稿）。这种做法可能会让审稿过程变成“碰运气”：运气好，碰到欣赏自己研究的审稿人，会很顺利；运气不好，碰到了学术对头，则会很难过，被拒得莫名其妙。在这种同行评审制度之下，有人利用编辑对审稿人审查不严的漏洞，伪造审稿人邮箱，让“自己人”来审稿，从而轻松发表文章。这种伪假审稿的做法，对同行评审的制度形成了压力，让学术杂志编辑的责任更加重大（考虑到他们本身可能是一线科研人员，本来就很忙，这无疑会更加加重他们的工作负荷。在同行评审的制度之下，对于科研工作者来说，文章的发表，似乎就意味到达“终点”。只要文章发表了，就是一种成就。但很明显，对于科研来说，发表论文只是为了与同行交流，而不是终点。因此奖励“发表论文”的做法，实际上与科学的本质不相符合。有人也提到，这次被撤稿的作者们，本身可能不会受到多大的追究。也就是说，现行的学术出版制度之下，文章发表之后是难以对其进行评估的。这些问题可能与公开透明的科学有关：第一、评审的意见与过程不透明，即读者不知道谁是编辑，谁是审稿人，评审的意见是否具有水平。第二、发表后其他研究者的意见无法公开地产生影响，这个问题主要表现为：如果一个本身存在缺陷上的文章，在很好的杂志上发表之后（比如science上12年之前心理学的文章），其错误结论可能会影响很广泛，但是小同行对其更加严格的评论却无法修正这种错误的影响。 对于这两个问题，目前有两个与公开透明相关的解决方案，却在科研人员中并未受到广泛支持。针对评审过程与意见不透明的问题，研究者推荐公开评审（Open peer review）。这种做法意味处理文章的编辑和审稿人信息都要公开，同时审稿意见也公开。对于编辑和审稿人而言，公开而不是匿名地评审意味着要对文章负更多的责任（想想PNAS上社会心理学的文章与某位大牛一直被点名），这也许会让他们在处理文章的时候更加谨慎。目前Frontiers系列杂志如Frontiers in Psychology，就开放了编辑与审稿人信息。国内心理学报的审稿意见已经公开。最近，一些心理学的研究者发起了一个关于公开评审的活动，大家可以去支持一下：<a href=\"https://opennessinitiative.org/\" data-editable=\"true\" data-title=\"Supporting the spread of open research practices\" class=\"\">Supporting the spread of open research practices</a>。针对审稿人以外其他研究者意见，有研究者提出了发表后评审（post-publication review）的做法。即先发表文章，再由同行来评审这个文章是否靠谱，是否有价值。这个做法有点类似大家写网络文章之后大家在下面点赞和留言。当然，小同行的评论与点赞才有价值。目前我所了解的采用发表后评审的杂志好像就只明<a href=\"http://peerj.com/\" data-editable=\"true\" data-title=\"PeerJ\">PeerJ</a>和<a href=\"https://f1000research.com/\" class=\"\" data-editable=\"true\" data-title=\"F1000research\">F1000research</a>，欢迎大家补充。 当然，公开评审与发表后评审可能只是对目前学术出版的补充，一个好学术出版的做法可能是：<a href=\"http://andrewgelman.com/2017/04/19/my-proposal-for-jasa/\" data-editable=\"true\" data-title=\"如Andrew Gelman所建议的：\" class=\"\">如Andrew Gelman所建议的：</a><img src=\"v2-a233e88aa9c1a838ddff7c4e45f8f9c5.png\" data-rawwidth=\"754\" data-rawheight=\"186\">","updated":"2017-04-27T10:04:12.000Z","canComment":false,"commentPermission":"anyone","commentCount":3,"likeCount":22,"state":"published","isLiked":false,"slug":"26595088","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-04-27T18:04:12+08:00","links":{"comments":"/api/posts/26595088/comments"},"url":"/p/26595088","titleImage":"","summary":"","href":"/api/posts/26595088","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":3,"likesCount":22},"26763740":{"title":"Scientific Data上与可重复性相关的数据集","author":"hcp4715","content":"Scientific Data是一个专门用来发表对数据描述的文章，在这个期刊里，有一些文章集是与可重复性相关的：<a href=\"https://www.nature.com/sdata/collections/mri-reproducibility\" data-editable=\"true\" data-title=\"Human Brain MRI Reproducibility\">Human Brain MRI Reproducibility</a> <a href=\"https://www.nature.com/sdata/collections/replicationdata\" data-editable=\"true\" data-title=\"Replication Data\">Replication Data</a> 里面有不少有趣的数据，感兴趣的同学可以去围观。","updated":"2017-05-07T08:46:40.000Z","canComment":false,"commentPermission":"anyone","commentCount":0,"likeCount":8,"state":"published","isLiked":false,"slug":"26763740","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-05-07T16:46:40+08:00","links":{"comments":"/api/posts/26763740/comments"},"url":"/p/26763740","titleImage":"","summary":"","href":"/api/posts/26763740","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":8},"26853983":{"title":"与心理学数据分析相关的R工具包","author":"hcp4715","content":"注：本文在52brain.com上同步发布：<a href=\"http://home.52brain.com/thread-30349-1-1.html\">与心理学数据分析相关的R工具包 - 基础知识库 我爱脑科学－心心水滴论坛 -</a>为下周末的<a href=\"http://china-r.org/bj2017/index.html\">R语言会议</a>热个身，写下自己收集的心理学研究的数据分析相关的R包。R语言做统计已经慢慢成为（国际）心理学的主流了，国内由于盗版SPSS的长期存在，严重阻碍了心理学研究者使用R的步伐。当然，考虑到大部分心理学研究生既怕数学又怕写（简单的）代码（玩笑哈，别太当真），即便在心理学强大的美国，使用R也是一件需要大力去提倡的事情。比如美国心理学会（Association for Psychological Science, APS）针对会员的月刊Observer的三月刊中，就专门推R的使用：<a href=\"http://www.psychologicalscience.org/issue/march-17\">Association for Psychological Science</a>。 我去年上半年在国外交换时，正好时间比较空闲，于是花了大量的时间把自己之前使用SPSS做的分析全部换成了R，慢慢了收集了一些心理学数据分析中能够用到的R包，分享一下，因为好像这些R语言会议上我们不会讲这些包的使用，而主要讲一些R使用的大致方法。欢迎大家补充，一起完善。当然，有许多通用的包在心理学数据分析中也非常重要，比如ggplot2等，在这里就不说了。 Survey Data:psych: personality and psychological research<a href=\"http://personality-project.org/r/psych/\">Personality Project</a> SEM:lavaan: latent variable analysis<a href=\"http://lavaan.ugent.be/\">The lavaan Project</a> OpenMx<a href=\"http://openmx.ssri.psu.edu/\">OpenMx</a> Experimental data (RT)ez: easy way to analyze factorial design data.（hcp:做重复测量方式分析的不二选择）<a href=\"https://cran.r-project.org/web/packages/ez/index.html\">CRAN - Package ez</a> jmv: 这个即有R包也有GUI的软件，适合刚从SPSS转过来的同行<a href=\"https://www.jamovi.org/jmv/\">jmv r package - jamovi</a> trimr: trim reaction times data.<a href=\"https://cran.r-project.org/web/packages/trimr/\">CRAN - Package trimr</a> TOSTER: equivalence test<a href=\"https://cran.r-project.org/web/packages/TOSTER/index.html\">CRAN - Package TOSTER</a> BootES:使用bootstrap的方式计算效应量及其置信区间<a href=\"https://cran.r-project.org/web/packages/bootES/index.html\">https://cran.r-project.org/web/packages/bootES/index.html</a>effsize: calculate Cohen's d and confidence intervals <a href=\"https://cran.r-project.org/web/packages/effsize/index.html\">CRAN - Package effsize</a> compute.es: compute effect size. <a href=\"https://cran.r-project.org/web/packages/compute.es/index.html\">CRAN - Package compute.es</a> lsr: Effect size calculations for ANOVAs <a href=\"https://cran.r-project.org/web/packages/lsr/index.html\">CRAN - Package lsr</a> Linear Mixed-Effects Models lme4: <a href=\"https://cran.r-project.org/web/packages/lme4/index.html\">CRAN - Package lme4</a> nlme: <a href=\"https://cran.r-project.org/web/packages/nlme/index.html\">CRAN - Package nlme</a> multinormial model TreeBUGS: <a href=\"https://cran.r-project.org/web/packages/TreeBUGS/index.html\">CRAN - Package TreeBUGS</a> ex-Gaussian model: retimes:<a href=\"https://cran.r-project.org/web/packages/retimes/index.html\">CRAN - Package retimes</a> Drift Diffusion Model: RWiener: <a href=\"https://cran.r-project.org/web/packages/RWiener/index.html\">CRAN - Package RWiener</a> Meta-analysis:关于使用R做元分析有一个专门的页面：<a href=\"https://cran.r-project.org/web/views/MetaAnalysis.html\">CRAN Task View: Meta-Analysis</a> mvmeta: Multivariate and Univariate Meta-Analysis and Meta-Regression <a href=\"http://cran.r-project.org/web/packages/mvmeta/\">CRAN - Package mvmeta</a> metacor: Meta-analysis of correlation coefficients <a href=\"http://cran.r-project.org/web/packages/metacor/index.html\">CRAN - Package metacor</a> metafor: <a href=\"http://www.metafor-project.org/doku.php\">The metafor Package</a>metaSEM: 用SEM的方法来做元分析。<a href=\"https://cran.r-project.org/web/packages/metaSEM/index.html\">CRAN - Package metaSEM</a> related packages: heplots, BaylorEdPsych Bayesian Stats: BayesFactor：<a href=\"http://bayesfactorpcl.r-forge.r-project.org/\">http://bayesfactorpcl.r-forge.r-project.org/</a> BEST（Bayesian Estimation Supersedes the t-Test）：<a href=\"https://cran.r-project.org/web/packages/BEST/index.html\">CRAN - Package BEST</a> BANOVA <a href=\"https://cran.r-project.org/web/packages/BANOVA/index.html\">CRAN - Package BANOVA</a> BayesMed:<a href=\"https://cran.r-project.org/web/packages/BayesMed/index.html\">CRAN - Package BayesMed</a> Notes on the use of R for psychology experiments and questionnaires by Jonathan Baron <a href=\"http://www.psych.upenn.edu/~baron/rpsych/rpsych.html\">Notes on the use of R for psychology experiments and questionnaires</a> Manuscript preparation papaja：<a href=\"https://github.com/crsh/papaja\">crsh/papaja</a> apaTables： <a href=\"https://cran.r-project.org/web/packages/apaTables/index.html\">CRAN - Package apaTables</a> Check Statistics R package “statcheck”: Extract statistics from articles and recompute values (Epskamp, S., &amp; Nuijten, M. B., 2015) statcheck: Exact statistic from articles and recompute values <a href=\"http://mbnuijten.com/statcheck/\">statcheck</a> Visualization YaRrr: more information than bar graph <a href=\"https://github.com/ndphillips/yarrr\">ndphillips/yarrr</a> 国内其实有一个使用R和开发R包的心理学团队，欢迎大家关注：<a href=\"http://www.psychor.club/\">PsychoR.club</a>。","updated":"2017-05-11T12:58:44.000Z","canComment":false,"commentPermission":"review","commentCount":10,"likeCount":143,"state":"published","isLiked":false,"slug":"26853983","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-05-11T20:58:44+08:00","links":{"comments":"/api/posts/26853983/comments"},"url":"/p/26853983","titleImage":"","summary":"","href":"/api/posts/26853983","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":10,"likesCount":143},"27262140":{"title":"9个认知心理学实验被成功重复","author":"hcp4715","content":"心理学中的可重复危机搞在人心惶惶，似乎对所有的结果都产生了怀疑，但是最近的一项重复研究表明，经典的实验效应还是很稳定的。Erasumus University Rotterdam的Rolf A. Zwaan及其同事最近在PsyArXiv预发布平台上更新了他们最近重复实验的结果。在这个研究中，他们使用Amazon Mechanical Turk来招募实验志愿者，使用Inquisit在线呈现刺激并且收集反应时间，而他们重复的实验，是认知心理学中比较常用实验范式：<img src=\"v2-b96700f344a79338985a46a25058adc7.jpg\" data-rawwidth=\"1743\" data-rawheight=\"3496\"> 这9个认知心理学效应均可以重复，即便重复实验的环境比原实验环境相比不那么好。 当然，这些数据和分析代码都在这里公开了：想练习和观摩可以点这里：<a href=\"https://osf.io/b27fd/\" data-editable=\"true\" data-title=\"osf.io 的页面\">https://osf.io/b27fd/</a> Zwaan, R., Pecher, D., Paolacci, G., Bouwmeester, S., Verkoeijen, P., Dijkstra, K., &amp; Zeelenberg, R. (2017). Some Psychological Effects Replicate Even Under Potentially Adverse Conditions. PsyArXiv. Retrieved from <a href=\"https://osf.io/preprints/psyarxiv/rbz29\" data-editable=\"true\" data-title=\"osf.io 的页面\">https://osf.io/preprints/psyarxiv/rbz29</a>","updated":"2017-06-06T01:13:57.000Z","canComment":false,"commentPermission":"anyone","commentCount":21,"likeCount":127,"state":"published","isLiked":false,"slug":"27262140","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-06-06T09:13:57+08:00","links":{"comments":"/api/posts/27262140/comments"},"url":"/p/27262140","titleImage":"","summary":"","href":"/api/posts/27262140","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":21,"likesCount":127},"27518497":{"title":"与浙师大研究生分享可重复性相关的问题","author":"hcp4715","content":"6月14号，受浙江师范大学心理学系主任李新宇博士的邀请，我通过网络与研究生们分享了我对心理学研究中可重复性问题的一些认识。这次分享的主要介绍如下内容：引发心理学对可重复关注的主要事件；导致心理学研究可重复性低的两个主要原因；心理学研究的可重复性现状；国际心理学界提出的解决方案以及我们作为心理学研究工作者应该如何做。这次分享自己的主要感受是：随着时间的推移，可重复性危机是否存在这个问题已经不是关注的重点，重点转向为如何让心理学研究变得更加开放、透明。另外，其实在这个过程中，有非常多的资源可以利用、也有很多合作的机会，这方面其实还挺有意思的。这次远程分享可以算作是COS大使的一部分义务，宣传开放、透明科学。分享的PPT可以在这里下载：<a href=\"https://osf.io/wfzpa/\" data-editable=\"true\" data-title=\"OSF | 浙师大_心理学中的重复危机与解决_20170615_hcp.pptx\" class=\"\">OSF | 浙师大_心理学中的重复危机与解决_20170615_hcp.pptx</a>","updated":"2017-06-22T13:58:55.000Z","canComment":false,"commentPermission":"anyone","commentCount":1,"likeCount":21,"state":"published","isLiked":false,"slug":"27518497","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-06-22T21:58:55+08:00","links":{"comments":"/api/posts/27518497/comments"},"url":"/p/27518497","titleImage":"https://pic2.zhimg.com/v2-5586b2c47a943c45eb05e9eab8c0431d_r.png","summary":"","href":"/api/posts/27518497","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":1,"likesCount":21},"27589342":{"title":"Mini Meta-analysis或者单个论文中的元分析","author":"hcp4715","content":"今天在北京大学决策与神经经济学博士生研讨会上报告自己的研究时，展示了对自己的系列实验进行的一个元分析。展示结束之后，有同学对我的这个元分析非常感兴趣，问起这个事情来。挺有意思的是，好像大家对这个方法不太熟悉，这里做一个非常简单的介绍。首先，元分析(meta-analysis)，从本质上讲就是采用统计的方法，将多个研究中的数据结果综合起来，从而对研究的效应进行一个量化的总结。元分析最早可能是用来证明吸烟与肺癌之间的关系（应该是出自《The Emperor of All Maladies》，细节记不清楚了，如有错误请指正）。当时烟草企业要极力否认这种关系，而人类研究往往无法进行因果推断，动物研究无法直接用到人类身上，在这种情况下，统计学家们使用元分析的方法综合了各种证据，指出吸烟与肺癌之间的关系是不可否认的，才有了后来烟草包装上的提示。正因为元分析是对研究的量化总结，因为，从某种意义上讲，只要有2个以上的实验/研究，就可以做元分析。在心理学中的可重复性问题受到广泛关注中，La Trobe University的 Geoff Cumming在psychological science上发表了一篇名为《The New Statistics: Why and How》的文章，在这个文章中，专门讲了元分析的知识，并且在给研究的25条建议中，提倡使用元分析：<blockquote>Use small- or large-scale meta-analysis whenever that helps build a cumulative discipline.</blockquote>那么，随后，有一些研究者专门提出了使用小规模的元分析，帮助作者来对自己的研究现象达到一个更加精确的效应量估计。主要有如下： Goh, J. X., Hall, J. A., &amp; Rosenthal, R. (2016). Mini Meta-Analysis of Your Own Studies: Some Arguments on Why and a Primer on How. Social and Personality Psychology Compass, 10(10), 535-549. doi:10.1111/spc3.12267 这个文章的一作是华人，他们提供了一个在线的excel工具，可以使用。 McShane, B. B., &amp; Böckenholt, U. (2017). Single-Paper Meta-Analysis: Benefits for Study Summary, Theory Testing, and Replicability. Journal of Consumer Research, 43(6), 1048-1063. doi:10.1093/jcr/ucw085这个文章也提供了一个在线的工具，直接搜索文章的名字可以找到。 Ueno, T., Fastrich, G. M., &amp; Murayama, K. (2016). Meta-Analysis to Integrate Effect Sizes Within an Article: Possible Misuse and Type I Error Inflation. Journal of Experimental Psychology: General, 145(5), 643-654. doi:10.1037/xge0000159这个文章主要是提供一些使用这种mini meta-analysis的时候要注意的事项。 这里需要提一下另一篇JEPG的文章：Tuk, M. A., Zhang, K., &amp; Sweldens, S. (2015). The propagation of self-control: Self-control in one domain simultaneously improves self-control in other domains. Journal of Experimental Psychology: General, 144(3), 639–354. doi:10.1037/xge0000065这篇文章是JEPG的副主编 Michael Inzlicht处理的，他自己后来说这个审稿过程非常有意义：<a href=\"http://sometimesimwrong.typepad.com/wrong/2015/11/guest-post-a-tale-of-two-papers.html\" data-editable=\"true\" data-title=\"Guest Post: A Tale of Two Papers\">Guest Post: A Tale of Two Papers</a>。我引用了关键的几处：<blockquote>To illustrate, let me tell you the story of two papers I edited. The first paper contained 7 experiments, often with outliers removed and covariates included, and reported effect sizes in the medium to large range all supporting the main hypothesis. The second paper contained 18 experiments, didn’t exclude anyone or add any covariates, and reported small effect sizes that sometimes were contrary to the hypothesis. The first paper found 7 out of 7 significant results; the second paper contained 2 significant effects out of 18.These were not two papers. They were two versions of the same paper.......Despite high marks from reviewers enthralled with the topic, I decided to reject the first paper because of signs of non-robustness. ...I invited the authors to submit this second paper and after a few rounds of revision, the paper was accepted. Their meta-analytic effect, unlike almost all others in the field, is based on a body of data that is not warped by the file drawer. Clearly, we now know that all data warrant independent replication; but to me, these data are trustworthy. </blockquote>所以，如果你有多个研究，有的显著，有的不显著。现在也许你可以考虑做一个元分析来让你的研究更加可靠。如果说非要我提供一些具有可操作性的做法的话，我推荐这个使用R的网页：<a href=\"https://scienceofpsych.wordpress.com/2015/08/07/when-study-1-and-study-2-disagree-practical-recommendations-for-researchers/\" class=\"\" data-editable=\"true\" data-title=\"When Study 1 &amp; Study 2 Disagree: Practical Recommendations for Researchers\">When Study 1 &amp; Study 2 Disagree: Practical Recommendations for Researchers</a>。","updated":"2017-06-27T14:17:27.000Z","canComment":false,"commentPermission":"anyone","commentCount":3,"likeCount":41,"state":"published","isLiked":false,"slug":"27589342","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-06-27T22:17:27+08:00","links":{"comments":"/api/posts/27589342/comments"},"url":"/p/27589342","titleImage":"","summary":"","href":"/api/posts/27589342","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":3,"likesCount":41},"28050349":{"title":"什么？以后p < .005才是统计上显著！","author":"hcp4715","content":"在twitter上看到一直在推广开放科学的心理学家Brian Nosek的一个tweet：<img src=\"v2-15b4dc30c80b1a2696bf7450a2bf8190.png\" data-rawwidth=\"724\" data-rawheight=\"587\">这个消息可能是一个大新闻，因为点开这个文章一看，72个作者里，有许多在心理学研究方法上经常出现的名字： <img src=\"v2-af1431b30c530bb8d8d75d127a96ee0f.png\" data-rawwidth=\"533\" data-rawheight=\"331\">比如我所知道的：E.-J. Wagenmakers, Christopher Chambers（推pre-register的大牛）, Zoltan Dienes, Ernst Fehr （神经经济学的大牛）, Steve Goodman, Anthony Greenwald （IAT的开发者）, Larry Hedge (Handbook of Meta-analysis的主编)；Scott E. Maxwell （心理学关于统计功效的许多文章是他发的）等等。还有知识分子的主编之一谢宇老师！这72个人在一起想搞的事情就是：当前研究中常用的统计指标p值中，使用.05作为显著性的阈值太不靠谱了，需要更加严格一些，使用.005（粗体是我加的，不是原文）：<blockquote>Results that would currently be called “significant” but do not meet the new threshold should instead be called “suggestive.” While statisticians have known the relative weakness of using p ≈ 0.05 as a threshold for discovery and the proposal to lower it to 0.005 is not new (1, 2), a critical mass of researchers now endorse this change.</blockquote>但是，这个文章也明确说明：对.005这个值的推荐，实际上在对新现象的探索性研究中，以及在零假设显著性检验（NHST）这个方法中。为什么要将显著性的阈值从.05到.005？比如，对于有些研究者来说，这没有意义啊，因为他们可能觉得贝叶斯方法更好（比如Wagenmakers等）。有研究者直接在FB上批评： <img src=\"v2-3e376298ddcc087b4684a670a11e8773.png\" data-rawwidth=\"575\" data-rawheight=\"645\"> 但实际上作者们的考虑是（粗体是我加的，不是原文）：<blockquote>changing the P-value threshold is simple, aligns with the training undertaken by many researchers, and might quickly achieve broad acceptance.</blockquote> 为什么选择.005呢？作者们写下如下两点原因：第一、.005大约与贝叶斯因子的14~26相对应，是比较强的证据；第二、.005在许多研究领域者能够较好地控制假阳性（关于假阳性的控制，可以看这个帖子：<a href=\"https://zhuanlan.zhihu.com/p/23334271\">控制一类错误和二类错误</a>）； 作者们也考虑到了可能的反对声音：<blockquote>The false negative rate would become unacceptably high. ... The proposal does not address multiple hypothesis testing, P-hacking, publication bias, low power, or other biases (e.g., confounding, selective reporting, measurement error), which are arguably the bigger problems. ... The appropriate threshold for statistical significance should be different for different research communities. .... Changing the significance threshold is a distraction from the real solution, which is to replace null hypothesis significance testing (and bright-line thresholds) with more focus on effect sizes and confidence intervals, treating the P-value as a continuous measure, and/or a Bayesian method. ... </blockquote>这些提出的预想的反对声音也止不住研究者有其他的批评，大家可以去这个帖子围观（需要翻*墙）：https://www.facebook.com/groups/853552931365745/permalink/1453935681327464/当然，大家可能最关心的是：以后真的会用.005作为标准吗？这个问题比较难说，但可能Nature human behaviour会采用这个标准。这个新杂志出来后，已经就可重复性的问题发了几篇editorial了，加上这个众多大佬的宣言式的论文，有可能会成为一些比较前卫杂志的新标准。目前这个文章的预印本在这里可以下载（什么是预印本？看这里<a href=\"https://zhuanlan.zhihu.com/p/26042413\">中国的预印平台：ChinaXiv</a>）：<a href=\"https://osf.io/preprints/psyarxiv/mky9j/\">https://osf.io/preprints/psyarxiv/mky9j/</a> 2017.07.23 22:45更新：这个文章目前在facebook和twitter上引起了非常大的争议，一些争议点我慢慢跟进。","updated":"2017-07-22T20:22:20.000Z","canComment":false,"commentPermission":"review","commentCount":45,"likeCount":366,"state":"published","isLiked":false,"slug":"28050349","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-07-23T04:22:20+08:00","links":{"comments":"/api/posts/28050349/comments"},"url":"/p/28050349","titleImage":"","summary":"","href":"/api/posts/28050349","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":45,"likesCount":366},"28335375":{"title":"使用StudySwap、RRR等参与国际合作研究","author":"hcp4715","content":"心理学的可重复性问题已经成为大部分人所接受的事实。在对这个问题的探索和分析中，有过不少有名的大规模国际合作研究。例如，对11个经典心理学实验进行重复的ManyLab项目(Klein et al., 2014. Soc. Psych.)。另一个更有名的是2015年在science上以Open Science Collaboration 之名发表的研究（Open Science Collaboration, 2015），当然还有后续的Manylab项目（Ebersole et al., 2016）。这种跨国的合作项目，正在成为一种新的开展研究的形式，有一些研究者在进行推广。由于本人一直对可重复性问题非常关注，因此也有幸参过两个以Many Lab形式开展的跨国合作。这两个研究均使用问卷为主，研究问题是社会心理学问题。其中第一个项目“<a href=\"https://osf.io/6b289/\">The Human Penguin Project</a>” 已经基本完成，文章正在审稿之中，而借助这个数据，组织这个项目的合作者Hans在Brain &amp; Behavioural Science（BBS）上对一个文章进行评论（见下图）；第二个项目4月份完成了数据收集，正在分析之中。 <img src=\"v2-e5bdcaba0a226e863f38c6796121117a.png\" data-rawwidth=\"925\" data-rawheight=\"524\"> 正好，最近有研究者在推荐这种研究的方式（Randy McCarthy 和Chris Chartier 的<a href=\"http://random-error-social-psychology.blogspot.sg/2017/08/the-benefits-of-crowdsourced-research.html\">博客</a>；Lakens的博客<a href=\"http://daniellakens.blogspot.sg/2017/08/towards-more-collaborative-science-with.html\">博客</a>，需要科学上网）。所以我也在这里推荐国内的研究多（尤其是研究生）多参与这种合作，因为这种方式（对研究生的训练）有如下几个好处：第一，参与和熟悉提前注册(Pre-register)。一般这种公开的研究，均需要提前注册，通过参与这种合作，能够了解提前注册的要求和流程。第二，获得实验材料、实验程序以及数据分析代码。一般这种集体合作，均使用开源的工具来完成整个实验，所以极可能可以获得python代码写成的实验程序和使用R写成的数据分析代码。第三，参与国际合作，了解国际研究的流程，扩展自己的学术关系网络。这一点对于欧美研究者来说不是问题，但是对于国内学者还说还是挺有好处的。第四，参与高水平的研究，提升自身影响。比如，对博士生在读的我来说，名字能出现在BBS上也是一个非常 开心的事情。 此外，对于整个科学界来说，这种集体合作完成的研究相对单个研究小组的研究来说，也有如下优势：第一：提前注册，即在研究之前就已经把研究方案公开，避免了可疑研究操作和p-hacking；第二：多研究组多国研究团队共同完成，具有跨文化的特点，效应是否稳定，一目了然；第三：由于是多个团队完成，所以样本量大，统计效力强；第四：因为已经提前注册，所以收集完数据就会被收录，没有出版偏误，不管是否显著，都报告。第五，避免各个组独立重复造成的过度工作，对于科研界整体来说，实际上节约了很多资源。 那么，如何参与这样的合作？我了解的这样几个途径：第一个是<a href=\"https://osf.io/view/studyswap/\">StudySwap</a>。在这个网站上，你可以看到有哪些研究者正在发起合作研究。同时，你觉得你的研究很需要国际合作，也可以发布你的研究计划，招募合作者！ <img src=\"v2-8271eb8ec4f55229e35ec470c4c113ab.png\" data-rawwidth=\"180\" data-rawheight=\"132\"> 第二个，美国Association for Psychological Science (APS)组织的Registered Replication Reports(<a href=\"https://www.psychologicalscience.org/publications/replication\">RRR</a>)。关注他们是否有新的项目开展。去年12月我参与过一个重复项目，后来因为毕业前事情太多退出了。当时他们是使用python写的实验程序，我觉得是一个很好的机会。另外，就是可以和大牛一起合作，APS的RRR是Daniel Simons组织的，你可能不一定记得这个名字，但是你一定听说过注意盲视（看不见黑猩猩的那个实验）第三个，Psi Chi's Network for International Collaborative Exchange ：<a href=\"https://osf.io/juupx/\">NICE</a>。还有一个目前未宣布的计划：Collabra: Psychology这个新杂志将有一些Nexus的特刊，主要是一个叫做Collections^2的提前注册的研究。 Reference: Ebersole, C. R., Atherton, O. E., Belanger, A. L., Skulborstad, H. M., Allen, J. M., Banks, J. B., . . . Nosek, B. A. (2016). Many Labs 3: Evaluating participant pool quality across the academic semester via replication. Journal of Experimental Social Psychology, 67, 68-82. doi:<a href=\"http://dx.doi.org/10.1016/j.jesp.2015.10.012\">10.1016/j.jesp.2015.10.012</a>Klein, R. A., Ratliff, K. A., Vianello, M., Adams Jr, R. B., Bahník, Š., Bernstein, M. J., . . . Nosek, B. A. (2014). Investigating variation in replicability: a “many labs” replication project. Social Psychology, 45(3), 142–152. doi:10.1027/1864-9335/a000178Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), 943. doi:10.1126/science.aac4716","updated":"2017-08-05T13:51:26.000Z","canComment":false,"commentPermission":"review","commentCount":1,"likeCount":21,"state":"published","isLiked":false,"slug":"28335375","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-08-05T21:51:26+08:00","links":{"comments":"/api/posts/28335375/comments"},"url":"/p/28335375","titleImage":"","summary":"","href":"/api/posts/28335375","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":1,"likesCount":21},"28435594":{"title":"心理学中目前可以参与的国际合作项目","author":"hcp4715","content":"正如我在上一篇<a href=\"https://zhuanlan.zhihu.com/p/28335375\">文章</a>中提到了的，国内研究者（尤其是研究生）可以通过在线平台来参与国际合作。本文就作为目前正在进行的国际合作项目消息的窗口，会经常更新。为了保证自己不因为更新花太多时间，我尽量保持简洁，也不负责翻译了，因为要参与这个项目的话，肯定还需要大家能够熟练使用英文交流的。 <h2>项目1： The Pipeline Project 2</h2>项目介绍：组织者是Martin Schweinsberg，ESMT Berlin的组织行为学助理教授：<a href=\"https://www.esmt.org/martin-schweinsberg\">Martin Schweinsberg</a>。是第二次进行了。The Pipeline Project 2之前，有一个The Pipeline Project，现在已经发表了2篇文章，一篇是报告其研究结果：<a href=\"http://www.sciencedirect.com/science/article/pii/S0022103115300019\">The pipeline project: Pre-publication independent replications of a single laboratory‘s research pipeline</a>；另一篇是专门描述和分享他们的数据：<a href=\"https://www.nature.com/articles/sdata201682\">Data from a pre-publication independent replication initiative examining ten moral judgement effects</a>。参与方式：<a href=\"https://osf.io/mqkpf/wiki/home/\">pipeline project 2 Wiki</a>。如果发现这个网页上的两个链接找不开，可以看这里：<a href=\"https://osf.io/eh7z8/\">The Pipeline Project 2 Year Two</a>和这里<a href=\"https://osf.io/ks546/\">Pipeline Project 2 Study materials</a>。后面的问题，可以直接跟Martin联系。<h2>项目2：Psi Chi's Network for International Collaborative Exchange (NICE)</h2>项目介绍：The Psi Chi Research Advisory Committee is seeking volunteers (students or faculty) who are interested in developing a network of researchers to collaborate on cross-cultural research projects following a crowdsourcing research model. Please click on the following link (<a href=\"https://docs.google.com/spreadsheets/d/1x0EV-6l5ijI7dgP7dDj9s8BNzG4godkvvdYdnry-LFc/edit?usp=sharing\">https://docs.google.com/spreadsheets/d/1x0EV-6l5ijI7dgP7dDj9s8BNzG4godkvvdYdnry-LFc/edit?usp=sharing</a>) to indicate which area(s) you are interested in becoming involved in and to submit your contact information.You can: 1) volunteer for the planning committee, 2) facilitate coordination among researchers, 3) submit and support research topics, and/or 4) connect with other researchers interested in cross cultural investigations.You can also contact John Edlund, Psi Chi Research Director (<a href=\"mailto:research.director@psichi.org\">research.director@psichi.org</a>) for more information. Importantly, this Psi Chi initiative is open to faculty and student researchers regardless of whether your college or university has a Psi Chi chapter参与方式：<a href=\"https://osf.io/juupx/wiki/home/\">Psi Chi&amp;amp;#x27;s Network for International Collaborative Exchange (NICE) Wiki</a>；或者直接打开介绍中的google文档，把自己的信息加入（我已经加入）；或者给组织者发邮件；<h2>项目3：Many Labs 5 (ML5) replication of Albarracín et al. 2008, Study 7</h2>项目介绍：The current study seeks to revise Albarracín et al.’s (2008) method to test whether expert review and revision can improve replicability of results. Multiple replication teams will then randomly assign participants to the old protocol compared to the new protocol.<blockquote>Albarracín et al. (2008), Study 7, tested whether priming action or inaction goals, vs. no goal, and then satisfying those goals (compared to not satisfying them) would be associated with greater responding on a subsequent cognitive task. It was hypothesized that unsatisfied action and inaction goals would result in greater or lesser responding, respectively, compared to no goal. Results (N = 98) showed the predicted 3 (goal: action, inaction, no goal) x 2 (task type: active vs. inactive) interaction, supporting the hypotheses.</blockquote>参与方式：<a href=\"https://osf.io/beptk/wiki/home/\">Needed: Data collection partners for Many Labs 5 (ML5) replication of Albarracín et al. 2008, Study 7 Wiki</a>","updated":"2017-08-10T06:22:13.000Z","canComment":false,"commentPermission":"review","commentCount":2,"likeCount":24,"state":"published","isLiked":false,"slug":"28435594","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-08-10T14:22:13+08:00","links":{"comments":"/api/posts/28435594/comments"},"url":"/p/28435594","titleImage":"","summary":"","href":"/api/posts/28435594","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":2,"likesCount":24},"28617665":{"title":"欢迎对开放科学感兴趣的同行一起维护此专栏","author":"hcp4715","content":"你是否怀疑许多发表的研究无法重复？你是否憧憬科研更加开放？你是否想让科研的全过程均透明公开？ 如果以上的问题你的回复都“是”的话，也许，你应该申请成为开放科学中心（Center for Open Science）的大使，与志同道合的研究者们一起，做开放、透明和可重复的研究，传播开放、透明和可重复的研究方式？ <a href=\"https://cos.io/\">Center for Open Science</a>是一个致力于推广开放、透明和可重复的研究，让科研变得更加方便、有效。作为一个公益组织，其成员来自于各个领域的研究者，包括心理学、政治学、地理学。 本人作为COS的大使（Ambassador），也一直努力地传播相关的知识与资讯。但往往心有余而力不足。一方面，自己的知识背景有限制，另一方面时间也有限。非常多的信息、知识都无法及时进行更新（比如<a href=\"https://www.journals.elsevier.com/journal-of-experimental-social-psychology/news/jesp-piloting-the-use-of-statcheck\">JEPS最近审稿需要作者先检验自己的统计上是否有小错误</a>；比如<a href=\"https://hardsci.wordpress.com/2017/08/07/improving-psychological-science-at-sips/\">SIPS2017年的内容</a>）。因此非常欢迎同样对开放、透明和可重复研究方式感兴趣的小伙伴加入，大家传播一下相关的新政策、资讯和知识，让国内更多的研究者了解这种新的研究方式。 申请相关网页： <a href=\"https://cos.io/our-communities/become-ambassador/\">Become an Ambassador</a>。作为一名COS的大使很简单，只需要你对如下几件事之一感兴趣即可：<blockquote>Act as local information resource about COS, the OSF, transparency, and reproducible practices （作为当地关于COS, OSF和开放科学的信息源，比如像我，写这个专栏） Represent COS at conferences and meetings （在会议上代表COS） Grow the open science community through collaboration and information sharing Blog experiences and join in the online conversation about open science Help provide training on the OSF and reproducible practices Model COS swag! （这个是啥？我也不知道）</blockquote>所以只要你有热情，想参与这个事情，即可以去申请。目前大陆有两位大使：Ricky Jeffrey <a class=\"member_mention\" href=\"http://www.zhihu.com/people/39e42bd53cb39dda78e24e1afa6b142e\" data-hash=\"39e42bd53cb39dda78e24e1afa6b142e\" data-hovercard=\"p$b$39e42bd53cb39dda78e24e1afa6b142e\">@rickyjeffrey</a> 和我；台湾慈济大学的 <a href=\"https://www.zhihu.com/people/chen-shao-qing-66-27-64\">陳紹慶</a> 老师（这位老师刚加入知乎，大家可以多关注）。香港和澳门有吗？有的话冒个泡！因为现在国内的大使非常少，所以如果你申请了的话，我们可以一起来搞一些事情。如果有更多小伙伴加入，我们可以一起搞一个公众号;-)。 欢迎私信我，或者微信我（hcp4715, 加好友注明是open science）。 附：我<a href=\"https://zhuanlan.zhihu.com/p/24792621\">之前提过</a>自己想要在此专栏上写的一些内容，现在已经部分完成了（当然有其他的同学的帮助）：1. 如何进行提前注册（pre-register）? （<a href=\"https://zhuanlan.zhihu.com/p/24775841\">如何提前注册（Pre-register）你的研究？ - 知乎专栏</a>）2. 如何确定样本量，进行一个有足够统计功效的研究？3. 如何计算效应量及其置信区间？4. 如何使用贝叶斯相关的统计更好地利用数据？5. 如何更有效地对自己进行的多个实验进行元分析，从而对自己研究问题的效应量进行更合理的估计。6. 如何公开自己的数据？ （<a href=\"https://zhuanlan.zhihu.com/p/24974537\">如何公开自己的数据？ - 知乎专栏</a>）7. 哪些杂志可以发表注册的重复实验？8. 哪些效应已经被大规模的实验重复并且无法重复出来？...如果哪位同行有兴趣写一些相关的文章来介绍这些问题，这将是极好的！或者，如果您其他关于可重复相关的问题，也欢迎您投稿。总之，希望我们能够一起共享这些知识，让开放透明与可重复性的标准能够更多好地普及开来。","updated":"2017-08-19T03:15:24.000Z","canComment":false,"commentPermission":"anyone","commentCount":16,"likeCount":42,"state":"published","isLiked":false,"slug":"28617665","isTitleImageFullScreen":false,"rating":"none","titleImage":"","links":{"comments":"/api/posts/28617665/comments"},"topics":[{"url":"https://www.zhihu.com/topic/20085166","id":"20085166","name":"Open Science"},{"url":"https://www.zhihu.com/topic/20085168","id":"20085168","name":"可重复性（reproducibility）"},{"url":"https://www.zhihu.com/topic/19556895","id":"19556895","name":"科研"}],"adminClosedComment":false,"href":"/api/posts/28617665","excerptTitle":"","sourceUrl":"","pageCommentsCount":16,"snapshotUrl":"","publishedTime":"2017-08-19T11:15:24+08:00","url":"/p/28617665","summary":"","reviewingCommentsCount":0,"meta":{"previous":null,"next":null},"commentsCount":16,"likesCount":42},"28640542":{"title":"《实验社会心理学杂志》建议使用statcheck","author":"chen-xin-64-65","content":"编译：心理享学习；hcp本文编译自：<a href=\"https://www.journals.elsevier.com/journal-of-experimental-social-psychology/news/jesp-piloting-the-use-of-statcheck\">Journal of Experimental Social Psychology</a> 最近，社会心理学的传统期刊《实验社会心理学杂志》（Journal of Experimental Social Psychology, JESP）开始率先鼓励作者使用“statcheck”检查打算投稿到该期刊的稿件，以提高文本统计报告的准确性。从此以后，对于符合期刊“目标和范围”的所有手稿，JESP的编辑小组将使用statcheck对稿件进行初步的分类。如果statcheck发现稿件的统计结果有问题，该杂志将要求作者先解决这些问题，然后才能送交进一步审稿。该试行策略旨在通过编辑和作者的共同努力，减少该杂志发表文章中的错误。提交之前，作者可以自行到以下链接<a href=\"http://statcheck.io/\">http://statcheck.io/</a>，上传APA格式稿件的HTML或PDF版本。JESP的编辑小组也会使用该网站进行检查。JESP的主编Roger Giner-Sorolla解释了他的原因：“我希望作者能够习惯使用statcheck程序来检查统计报告的基础知识，这样对所有杂志都有帮助。虽然它无法捕捉到每个错误，但在过去一个月的试用期中，statcheck对我来说已经证明是非常有用的。我能够帮助不止一个作者纠正错误，在某些情况下改变了有关统计测试的解释。” 什么是statcheck？ statcheck是一个检查APA格式文档中统计报告是否包存在错误的软件。它最初是用R编程语言编写的，该软件的开发者蒂尔堡大学的博士生 Michèle B. NuijtenMichèle 等使用它对1985-2013年的心理学论文进行分析，发现心理学中存在许多论文中，存在报告的结果相互不一致的情况(Nuijten, Hartgerink, van Assen, Epskamp, &amp; Wicherts, 2015)。最近该团队进一步完善功能，使其能在网络上完成检查统计错误的功能。使用statcheck 的网络版web，您可以检查任何PDF的统计错误，而无需在计算机上安装R编程语言。要使用statcheck / web，只需上传您的APA格式的文档的PDF或HTML文件。输出的结果将基于自由度，检验统计量（比如t,F）和p值之间明显的差异，从原稿中识别出统计报告中的任何错误。 （关于statcheck能实现什么功能和不能实现什么功能总结，<a href=\"http://rpubs.com/michelenuijten/202816\">请参阅statcheck手册</a>）。 当我用statcheck上传文件时会发生什么？ 当您将文档上传到statcheck / web时，服务器会在上传的文件上运行最新版本的statcheck（在CRAN，Comprehensive R Archive Network上可用）。最后会将结果打印到您的浏览器，并可能可以以CSV格式下载，这一格式相比于网页上的HTML能够更全面的记录数据。 statcheck是否保留分析的论文或结果的副本？ 不会。一旦分析了所有文件，原始PDF或HTML文件将被删除。在简单的服务器和活动日志之外，没有维护结果的记录。 statcheck不保存提交文件的任何归档。为了确保隐私，删除所有上传文档的维护脚本每五分钟运行一次。<a href=\"https://github.com/seanrife/statcheck-web\">此服务器上运行的代码在这里可用</a>。 是否有文件大小/数量或带宽限制？ 对于可分析的论文数量，没有用户数量的限制。一次最多可以提交100 MB的文件。 statcheck检查什么？ - 正确四舍五入的测试统计- 研究报告t = 1.45，则可以对应于t = 1.445到t = 1.454。 statcheck计算此范围内的所有p值，如果报告的p值在此范围内，则将结果计算为一致。- 明确提到单侧检验- 如果检测到的结果表明为单侧的，并且全文中的某个地方提到“单侧”（“one-tailed”），“单 向”（“one-side”）或“定向”（“directional”），则statcheck将与结果保持一致 statcheck输出“问题结果”的情况 - p = .000（根据APA风格，您应该报告p &lt;.001）- 单侧检验没有明确地用“单侧”（“one-tailed”），“单向”（“one-side”）或“定向”（“directional”）说明。- 因为多重比较校正/事后检测/违反假设的统计结果，导致输出结果不一致- 例如，通常使用Bonferroni校正时，p值乘以执行的测试次数。这将使报告的结果内部不一致。 常见“问题结果”的原因- 错误的四舍五入- 报告相关性时，报告样本量而不是自由度- 事实上p = 0.042，结果却报告p &lt;.042- 复制粘贴错误：将以前报告的结果复制为“模板”，但忘记更改一个或多个数字 如果统计信息无法读取 - 没有按照APA风格准确报告，例如：- 下标自由度- 方括号代替括号- 分号而不是逗号- 测试统计量和p值之间的效应大小- 统计结果放在表中- 除t，F，chi2，r或Z之外的统计检验方式 <a href=\"http://www.psychor.org/replicability/statcheck\">关于开发者Michèle B. Nuijten</a> 蒂尔堡大学的博士生 Michèle B. Nuijten 创建了 R 包 <a href=\"https://mbnuijten.com/statcheck/\">statcheck</a> 的初衷是发现许多科学论文的结果都是错误的。<blockquote>造成这种现象的原因有很多，包括通过一些手段使 p 值符合自己的预期（<a href=\"https://www.statnews.com/2016/05/09/john-oliver-bad-science/\">p-hacking</a>)，<a href=\"http://blog.revolutionanalytics.com/2012/03/bad-science-at-strata-2012.html\">出版方的偏见</a>，同时论文中的结果<a href=\"http://blog.revolutionanalytics.com/2016/01/rs-role-in-science-breakthrough-reproducibility-of-psychology-studies.html\">普遍无法重复</a>。但还有另一个更普遍的原因：在统计检验中对 p 值的计算不正确。这可能是由于简单的转录错误，在把数字插入到统计工具时，不正确的四舍五入，或误用了检验方式（比如, 在应使用单侧检验时用了双侧检验）。这样的错误应该在同行评审过程中被指出，但考虑到即使是<a href=\"http://fivethirtyeight.com/features/not-even-scientists-can-easily-explain-p-values/\">专业的统计学家有时也很难解释 p 值</a>，所以有些错误也不足为奇。</blockquote>Nuijten 在 <a href=\"http://retractionwatch.com/2015/11/17/making-it-easier-and-more-automated-to-find-errors-a-guest-post-from-the-co-developer-of-statcheck/\">Retraction Watch 上一篇文章</a>中叙述了 statcheck 的起源和发展。<blockquote>此后，他们通过<a href=\"http://retractionwatch.com/2016/09/02/heres-why-more-than-50000-psychology-studies-are-about-to-have-pubpeer-entries/\">为 PubPeer 的5万份论文分析结果</a>，进一步提高了 statcheck 的自动检测水平。</blockquote>有关 statcheck 的更多信息, 请查看以下链接的网站。Michèle B. Nuijten: <a href=\"https://mbnuijten.com/statcheck/\">R包“statcheck”: 从文章中提取统计数据并重新计算p值 (Epskamp &amp;amp;amp; Nuijten, 2016)</a> Nuijten, M., Hartgerink, C. J., van Assen, M. L. M., Epskamp, S., &amp; Wicherts, J. (2015).The prevalence of statistical reporting errors in psychology (1985–2013). Behavior Research Methods, 1-22. doi:10.3758/s13428-015-0664-2","updated":"2017-08-20T10:01:23.000Z","canComment":false,"commentPermission":"anyone","commentCount":0,"likeCount":36,"state":"published","isLiked":false,"slug":"28640542","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-08-20T18:01:23+08:00","links":{"comments":"/api/posts/28640542/comments"},"url":"/p/28640542","titleImage":"","summary":"","href":"/api/posts/28640542","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":36},"28705782":{"title":"「提昇你的統計推論功力」中文資源使用說明及學習指南","author":"chen-shao-qing-66-27-64","content":"**中英字幕对照档已于8/21上传Coursera，有注册Coursera的朋友可直接在平台观看有中文字幕的影片。写作这份指南与翻译教材的原始文本是繁体中文，大陆及港澳地区朋友，如果无法习惯字体与词汇用语，请多多见谅。** 终于完成Coursera的课程“提升你的统计推论功力”<a href=\"https://www.coursera.org/learn/statistical-inferences/home/welcome\">(Improving your statistical inferences)</a>教材(每周课程说明，影片字幕)第一阶段中文翻译。这门课程是由荷兰埃因霍温科技大学副教授Daniel Lakens设计讲授，于2016年10月上架。因为我从2015年起就订阅Daniel的部落格“20%的统计学家”([ The 20% Statistician ][2])，所以首先是从[他发布的部落格贴文][3]得知。当时我正在荷兰进行访问研究，也正在学习使用这门课程推广的几种统计分析方法，所以我就联络Daniel，愿不愿意让更多中文世界的学者与学生们认识这门课程？他欣然接受这个点子，于使我们一起在OSF开了一份<a href=\"https://osf.io/7b6k4/\">公开专案</a>，开始了第一阶段影片字幕翻译计画：翻译并公开每周课程介绍与影片字幕，让有兴趣但英文阅听能力有限的华文人士，可以理解课程内容，直接使用课程资源。并且也欢迎各方高手协助校正，为第二阶段作业资源中文化工作做准备。 Daniel Lakens曾参与2015年轰动全球，不到40%心理学研究可被再现的“<a href=\"http://science.sciencemag.org/content/349/6251/aac4716.full?ijkey=1xgFoCnpLswpk&amp;keytype=ref&amp;siteid=sci\">心理学再现研究专案</a>”资料分析工作。Daneil因为自己博士班时期的原创研究无法被他人成功再现，决心深入学习多数心理学家几乎不接触的数理与生物统计学，他把学习成果转化为多篇帮助心理学家改善研究设计与统计分析的论文。还以每篇论文为基础，撰写至少一篇部落格文章，这门课程可说是他整理个人近几年研究与教学的精华。 我决定开这个坑有几个理由，除了课程品质好，课程设计对习惯台湾系统，甚至是东亚国家的统计与研究方法教学系统的学生，都是全新的体验。像是在课程里安排的一段科学哲学的介绍，让学习者了解Daneil为什么主张视情况善用次数主义统计(Frequentist statistics)与贝氏统计(Bayesian statistics)的方法。课程中的不少案例是到2015年止，在学术界引起结果无法再现的研究。不晓得2015年为什么会有“[心理学再现研究专案][5]”出现的朋友，上到第三周大概就会明白，这项专案并不是有一群心理学家故意找另一群心理学家的麻烦，而是为了重新唤起心理科学的求真精神。 除了几部影片字幕是由朋友协力翻译，我自己在参加2017年的SIPS研讨会<a href=\"http://improvingpsych.org/\">(Society for the Improvement of Psychological Science (SIPS) Meeting )</a>之前，完成了大部分的字幕初翻。除了想要当面向Daneil致意，也为准备参加会议活动做准备。结果真的派上用场，在其中一场<a href=\"https://osf.io/zbwr4/\">设计新世代研究方法课程的黑客松</a>里，就直接取用了这门课的部分资料与作业。 ## 上课前，要做什么准备？除了讲师的影片语言，简介说明，参考资料与作业测验都是英文，对于英文程度不流利的学生有些吃力。课程内容是设定决定上课的学生，有修习初级统计，并有一两次的研究执行与资料分析经验。这门课不会告诉你什么是平均数还有标准差，第一周介绍完统计方法流派之后，就立刻谈*p*值的意义与误解。如果你之前还没有学过任何推论统计方法，不只可能看不懂影片，也不会了解作业如何下手。建议有意学习者曾修过大学的基础统计与初阶研究方法，或者已修过Coursera的任何一门基础统计课程。 本课程的许多作业都是要实际操作R与Excel试算表软体，多数台湾社会科学领域的学生多少有一些操作Excel的经验，但是R可能对这群学生还是高门槛的统计语言。好在台湾有许多热心推广R的资料科学高手，可以先找一门自学教材上手。我推荐Wush Wu设计维护的[R语言翻转教室][8]，先熟悉一下R的使用环境与语法，就能从课程作业了解讲师希望你透过操作能学到什么东西。这门课程作业的R真的不难，只要照着题目说明，改一两个地方就能看到执行结果。## 开始课程前，先了解各周学习重点 课程共有八周，除了最后一周是提出自己的研究计画与同学线上互评，第一周到第七周每周有三段主要视频、一到二件数据模拟与分析作业，以及一份当周测验卷。每周测验卷有A/B两种版本，是Daniel与莱登大学博士生Tim van de Zee合作设计，要收集选修这门课程的人士学习表现，分析后做为之后改进课程内容的依据。我建议修课同学，将每周的课程资料下载，并依周次建档，之后有用时可知如何找到需要的资源。建档结构可参考[我的github储存库][9]。 每门课程都有一则简短的课程概论，说明每段视频与作业的重点，并列出与视频内容有关的参考文献。七周课程概 论的中译初稿已在<a href=\"https://osf.io/7b6k4/\">公开专案</a>上线，强烈建议初学者先阅读课程概论，了解自已能否从影片与作业学习到Daniel要传达给你的资讯，判断自已需不需要寻找同侪互助学习。每周课程影片的中英对照字幕可由<a href=\"https://osf.io/7b6k4/\">公开专案</a>下载，这系列的课程影片都可以下载观赏，英听不够好的同学可以下载影片和字幕，用可外挂字幕的播放软体观赏。 以下简述七周学习重点与经验： - 第一周/引言与次数主义统计：第一段介绍三种统计推论取向，后两段的重点是讨论*p*值的正确与错误运用方式。对于有研究经验的同学来说，最值得仔细理解的是，有没有曾经认为*p*值就等于研究结果型一错误率？有没有以为*p*值是虚无假设成立的机率？Daniel在这周课程为你解惑。 - 第二周/似然值与贝氏统计：介绍**似然值**与**贝氏统计**，这两种统计推论方法在亚洲的许多大学统计课都从被纳入。如果你曾在论文里看过贝氏因子(*BF*)与可信区间(Cridible interval)，这周课程会给你一个初步的认识。Daniel推荐的书籍 <a href=\"http://www.lifesci.sussex.ac.uk/home/Zoltan_Dienes/inference/index.htm\">Understanding Psychology as a Science</a>，是第一本为心理学家写的贝氏统计入门教科书，值得找来一读。 - 第三周/有效控制推论错误率：延续第一周的课题，介绍有效控制型一与型二错误率的方法。第三段还谈到如何运用这先方法，规划可靠又有效的**预先注册研究(preregistration)**。做完这周作业与测验，你手上正好有准备执行或规划中的方法，可以尝试使用预先注册会变得如何？ - 第四周/效果量(effect size)专题：效果量是进行整合性分析(meta analysis)与注册确证性研究(confirmatory research)，不可或缺的元素。你希望研究的证据力要有多高，就要先评估效果量与考验力(power)。 - 第五周/良好的样本数估计：基础统计就会学到的信赖区间(Confidence interval)，以及决定样本数(Sample Size)的策略。Daniel在这周让你认清过去从教科书或课堂学习中不足够的地方，并介绍近几年窜起的统计品质分析工具：p-Curve。 - 第六周/科学哲学：不完全是统计课的一周。Daniel浅谈科学哲学入门，以及理论的建构。[最近Daniel的部落格文章][11]提到，接下来心理科学将进入**理论危机(Theory Crisis)**，配合阅读能了解这一周课程内容如此安排的用意。如果你有不知如何定义虚无假设的理论意义，这周Daniel介绍他的最爱：等效测试(equivalence testing)。 - 第七周/开放科学：集中谈论前六周偶尔提到的再现研究与出版偏误，这是2015年200多位心理学家自愿参与[心理学再现研究专案][5]的重要因素。最后一段展望能消除这些问题的**开放科学**。 ## 完成各周作业之后的学习方向如果你有时间，建议完成第八周的互评作业。计画要分析的资料不一定要亲自收集，可以找有兴趣主题的公开资料，测试你想检验的假设。我认为台湾学生可以透过这项作业，测试看看现在国内各公家机关的开放资料，能完成多少真正有意义的分析。 各周推荐阅读是之后深化学习的途径，每篇论文都值得找来阅读，有附件资料的还能试着操作，学到就有使用的机会。我个人的最大收获是认识<a href=\"http://meehl.umn.edu/\">被誉为二十世纪最聪明的心理学家Paul Meehl</a>，正在消化他于1989年讲演哲学心理学(Philosophical Psychology)的课程录影与资料。 翻译中文字幕的动机是让华文地区的心理科学人士，了解另一种学习及运用统计的方式，以及不同于习惯的角度看待心理学研究品质。这门课程资料不需要付认证费用，只要注册Coursera就能全部取得，符合开放科学的精神。当然要持续深入学习，母语对有些学生可能会是限制，如果你能在生活区域找到一起学习的伙伴，建议一起定期讨论作业与推荐论文。 **已上线的中文翻译初稿为各方人士贡献，本人无法保证所有材料的翻译品质都维持在相同水准。藉此招募有意愿的高手加入协助，开启第二阶段作业资源中文化。** [2]: <a href=\"http://daniellakens.blogspot.tw/\">http://daniellakens.blogspot.tw/</a> [3]: <a href=\"http://daniellakens.blogspot.tw/2016/10/improving-your-statistical-inferences.html\">http://daniellakens.blogspot.tw/2016/10/improving-your-statistical-inferences.html</a> [8]: <a href=\"http://datascienceandr.org/\">R語言翻轉教室</a> [9]: <a href=\"https://github.com/SCgeeker/IST_course_data\">SCgeeker/IST_course_data</a> [11]: <a href=\"http://daniellakens.blogspot.tw/2017/08/towards-more-collaborative-science-with.html\">http://daniellakens.blogspot.tw/2017/08/towards-more-collaborative-science-with.html</a>","updated":"2017-08-22T16:30:48.000Z","canComment":false,"commentPermission":"review","commentCount":0,"likeCount":76,"state":"published","isLiked":false,"slug":"28705782","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-08-23T00:30:48+08:00","links":{"comments":"/api/posts/28705782/comments"},"url":"/p/28705782","titleImage":"https://pic2.zhimg.com/v2-a0e7d6283d5fa4a666d9ac81a8121a39_r.png","summary":"","href":"/api/posts/28705782","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":76},"28799802":{"title":"让心理学变得更Science：SIPS","author":"Sharon_ChenYX","content":"<h2>Hard science is hard - 硬科学很难做。 </h2>我们时常听到人们对不同领域的科学这样的分类：硬(hard)科学 vs 软(soft)科学（硬还是软就在于这个领域是否够科学(scientific)）。而更时常的，人们把心理学归为软科学这一类。大多人之所以会有这样的错觉，是因为在大多数人眼中，物理学这种使用精准仪器，需要高数计算等高端技能的，就是科学。但是，从实验方法上看，心理学和物理学都是：设计实验，收集数据，处理数据，得出结论。本质上区别不大。所以，心理学也是硬科学（hard science）！心理学和物理、化学等学科不一样的是，它是研究“人”的学科，而且它很年轻。因此在心理学学术上真正取得进展是一件非常难（hard）的事情。近年来心理学学术面临的最大挑战就是实验可重复性。如果一个实验的结果无法被重复，其（发表过的）理论无法被证实，心理学学术进展的路就会更坎坷。其中一个解决方法就是提高科研透明性 （open science）。当人们把实验设计（方案和代码）公布在网站上，分析数据的方案和代码也分享给所有人，那么一项科学项目就变得公开透明，没有任何不为人知的秘密。这也方便心理学家们互相督促，每个人本身可以更加诚实谨慎的做学术，他人也可以更有效的重复你的实验。那么具体该如何做呢？这就轮到<a href=\"http://improvingpsych.org/\">SIPS</a>出场了。（此段参考与：<a href=\"https://hardsci.wordpress.com/2009/03/14/making-progress-in-the-hardest-science/\">Making Progress in The Hardest Science</a>） <h2>什么是SIPS？ </h2>SIPS的全称是 Society for the Improvement of Psychological Science SIPS是一个行动导向的组织，其目的在于提高心理学科学的实验方法和实践操作。不同于其他会议，SIPS更注重于发起和组织科研项目，而不是分享已完成的科研项目的成果。在今年的SIPS中，主要有四个活动：Training session （训练），Hack-a-thons（黑客松/编程马拉松），Lightning talks （短讲），和Unconference （非传统会议）。（如果你对各个活动的细节感兴趣：<a href=\"https://www.improvingpsych.org/SIPS2017/program-pdf/\">SIPS2017 Program pdf</a>；相应的资料也分享在<a href=\"https://osf.io/jtcu9/\">OSF</a>）值得一提的是，陈老师也去了SIPS并参与了黑客松活动，并且主要由他翻译的Daniel Lakens数据课的材料，直接在一场<a href=\"http://link.zhihu.com/?target=https%3A//osf.io/zbwr4/\">设计研究方法课程的黑客松</a>里被引用了。 <h2>取得了什么进展？</h2>在2016以及2017年的SIPS中，聚在一起开会讨论的心理学家们的确取得了一些可喜并且落实了的进展。APA （Aemrican Psychological Association）宣布 <a href=\"https://psyarxiv.com/\">PsyArXiv</a> 成为论文的优选预印提供者（preferred prepirnt server）。预印（preprint）顾名思义，是指一个被接纳可发表的论文（accepted manuscript）在正式在期刊发表之前，可以以电子的形式预印在网站上（多数以pdf格式）。因此可以保证科研成果可以以最方便快捷的方式得到传播。<img src=\"v2-2dc4d939accdb6adbaae9045174a267c.jpg\" data-rawwidth=\"1074\" data-rawheight=\"631\"> <a href=\"https://www.collabra.org/\">Collabra: Psychology</a> 正式成为SIPS 的期刊。它是一个公开取用期刊（open-access journal），意味着这个期刊的论文不以纸质形式印出，而是以电子的形式发表在网上，所有学者都可以免费获取资源。因此可以保证科研成果可以以最方便快捷的方式得到传播。<img src=\"v2-c16bfc182eda7d67c3514667f787b508.jpg\" data-rawwidth=\"1760\" data-rawheight=\"911\"> <a href=\"https://osf.io/view/studyswap/\">StudySwap</a> 宣布Nexus将在不久的未来成为Collabra: Psychology的众包研究 （crowdsourced research）。 在这里简要介绍一下StudySwap 和众包研究的概念。<ul><li>StudySwap 属于<a href=\"https://osf.io/\">OSF (open science framework</a>)的一个附属平台。</li></ul><img src=\"v2-b87d2a70eb8a50c1a82892ff6017a86a.jpg\" data-rawwidth=\"1546\" data-rawheight=\"842\"> 也许StudySwap（SS）第一眼看去像是学术版的知乎问答，但是其真正用处在于提供了一个宝贵免费平台，使得两个实验室可以独立平行的依照一致的实验设计，一致的被试或样本量，一致的数据分析方法，来确保科研质量，提高科学透明性。例如<a href=\"https://zhuanlan.zhihu.com/p/28335375\">Center for Open Science之前分享的国际合作研究</a>。<ul><li>众包研究 （crowdsourced research）这个概念大家可能有点陌生。大家肯定听过外包：组织以外的某个人或某个组织完成一项任务，而众包的对象没有指定性：组织以外任何人或任何组织完成一项任务。众包研究能够带来不同实验室设置不同学科的合作，对于心理学的学术质的发展是大大有帮助的。</li></ul> <h2>心理学家们在SIPS里做什么？</h2>Dr. Neil Lewis, Jr 是参加SIPS的其中一个心理学教授，他分享了他参加这个会议的经历和感想，还称SIPS是他参加过最赞的会议，没有之一。 （以下内容参考自：<a href=\"https://hardsci.wordpress.com/2017/08/11/reflections-on-sips-guest-post-by-neil-lewis-jr/\">Reflections on SIPS, guest post by Neil Lewis Jr</a>） “SIPS会议的节奏真的和其他会议很不一样。SIPS并没有给我非常正式的感觉。我随便看了几个演讲，旁听了几个工作交流会，......其中，Neil强烈推荐了几个主题：<ul><li><a href=\"https://osf.io/vrdfu/\">Jessica Flake's unconference on imporiveing measurement</a> ---如何提高测量</li><li><a href=\"https://osf.io/ha4q8/\">Daniel Lakens and Jeremy Biesanz's workshop on sample size and effect size</a> ---样本量和效应量</li><li><a href=\"https://osf.io/a2x7j/\">Liz Page-Gould and Alex Danvers's workshop on Fundamentals of R for data analysis</a> ---基于R语言的数据分析</li></ul>......然后就把大部分时间都花在了黑客松（hackathon）和非会议（unconference）中。这两个活动让人们聚在一起讨论研究心理学目前面临的问题，包括而不限于：让期刊更加透明，为学生们设计“研究方法（research method）”课程的课程表，建立新的期刊，改变心理学部门或者整个大学的透明开放性科学（open science）的学术氛围，让开放性科学更加多元和包容，等等。参与的人们都可以自由地选择他们想要探讨和解决的问题，也可以自由地设定他们认为合理可行的目标、时间表，以及相应策略。” “第一二天我参与了 多元与包容黑客松（diversity and inclusion hackaton: https://osf.io/g4z9a/），这是我和Sanjay一起组织的。那个黑客松让我震惊了。我本来愤世嫉俗的以为可能只有两三个人路过随便听听看看，到最后还是我们两个主办人商量讨论如何让心理学学术更加具有多元性和包容性。然而，第一天差不多有40人都参与了，还一起讨论鉴别阻碍了学术多元性和包容性的发展的根本原因。我们还有几个小组分别讨论：（1）提高对于多元性的测量（如果我们没有好的测量方法，很难知道到底我们目前面临的问题有多严重，多元性有多差）；（2）针对有些研究难接触人群（hard-to-reach population）的学者，想出可以帮助他们的方法；（3）针对有些对于开放性科学（open science）比较陌生的学者，想出如何跟他们说明开放性科学的优点和向他们分享资源；（4）充分运用社交媒体平台来指导人们成为开放性科学的一份子，以及（5）帮助PI（primary investigator）们和各个组织机构广泛招揽和挽留传统意义上未有很好机会的学生和学者。虽然这些问题都尚未完全得到解决，但是各个小组都在各自的问题上逐渐有了深刻的认识和进展。” “在第二天，这些小组继续讨论各自的主题，但是这次我们还加了一个：“二次黑客（re-hack）”。二次黑客让小组成员们去讨论其他主题（例如，为学生们设计“研究方法（research method）”课程的课程表，设想（期刊）评审员评审文章的标准，建立新的期刊）。这些主题让他们思考如何从起点就做到多元和包容，而不是事后诸葛亮。和第一天一样，每个人都有奉献精神，让我非常鸡血。” 此文也同步推送在微信公众号“认识认知”。 SC2017年8月25号","updated":"2017-08-25T18:02:26.000Z","canComment":false,"commentPermission":"anyone","commentCount":41,"likeCount":47,"state":"published","isLiked":false,"slug":"28799802","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-08-26T02:02:26+08:00","links":{"comments":"/api/posts/28799802/comments"},"url":"/p/28799802","titleImage":"https://pic1.zhimg.com/v2-9fa3ddd6738b5ce051e6f595f68323ac_r.png","summary":"","href":"/api/posts/28799802","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":41,"likesCount":47},"29319302":{"title":"为什么心理学可以是科学2：不，是你的贝叶斯","author":"Sharon_ChenYX","content":"在详细介绍什么是贝叶斯，贝叶斯有什么用等等之前，基于系列第一篇（<a href=\"https://zhuanlan.zhihu.com/p/28613646\">为什么心理学可以是科学：p&lt;0.005&gt;?</a>），有人指出了几点我认为值得说明一下。其一，可重复性对于科学或者心理学来说，的确不是to be or not to be的决定性因素，但不可否认的是，对于任何学科，包括心理学，要想在学术界或者科学界挺起腰板（其实也是心理学家的责任和义务），我们对可重复性危机（replication crisis）必须要认真对待和解决（这里推一下Open Science 开放科学，详情关注专栏：<a href=\"https://zhuanlan.zhihu.com/psy-os\">Center for Open Science非官方博客</a>）。其二，p值是工具，只要用工具的人真正了解工具的用途，清楚工具的有限（比如p值逻辑上的硬伤，稍后会说），正确使用工具，那就没有问题。但是不少情况下，心理学学者会错误、盲目使用p值，导致心理学科学研究不进反退。因此解决可重复性危机的重要方法之一就是纠正心理学家使用p值的方法。第二个方法，也就是这篇的重点：推广贝叶斯的应用。为什么呢？因为在我看来，科学的本质在于推动知识的发展，而心理学家需要推动我们对人类心理、认知、甚至人脑知识的发展，缩小我们目前的理解和真理（如果存在）之间的差距。那么，历史以来我们是如何获取知识呢？我们做的就是收集数据（data），从数据推导结论，进化知识。柯南说过，真相只有一个。但是，从数据到结论，却如去罗马的路，不止一条。第一篇文章介绍的p值就是一条路，而这一篇介绍的就是另外一条：贝叶斯/ Bayes/ Bayesian。这条路更稳更快。 <h2>回顾p值</h2>我认为最好理解贝叶斯的方式就是从我们上次说的p值开始。好吧，我又要问你了，什么是p值啊？<img src=\"v2-baf35942d8aaa3d10ddf84e89f35f1bc.jpg\" data-rawwidth=\"430\" data-rawheight=\"300\"> 来，跟着我读一遍，p值是：假设效应并不存在（null effect），你收集到了你收集了的数据的概率是多少。 <img src=\"v2-4899acb7f11abcf07a9c4cb5b6f645e2.jpg\" data-rawwidth=\"224\" data-rawheight=\"184\"> 现在，我们不妨用数学来表达一下p值是个什么鬼。如果我们有个假设理论是H，我们收集的数据是X，那么p值就是：P(X|-H)，这里的P是概率，-H是null effect。所以，p值并不能告诉你，一个理论存在与否的概率，而只能告诉你，在这个理论是错的前提下，你的数据的概率。也就是说，p值并不可以从根本意义上进化知识。(虽然p值还有很多其他问题，例如-H下低概率的数据也有可能在H下低概率等，这里不一一细谈。)因此，既然我们想要进化知识，p值并不是我们想要的。我们想要是，根据我手头上收集到的数据X，我的理论正确的概率，也就是：P(H|X)。套用牛顿的例子，就是，在牛顿被苹果砸了那么多次的前提下（数据/ Data），重力存在（理论/ H）的概率是多少。我们该如何得到它呢？你猜的没错，就是贝叶斯定理。<img src=\"v2-17d615af564c5890d985cce6361bb067.jpg\" data-rawwidth=\"500\" data-rawheight=\"474\"> <h2>贝叶斯/ Bayes/ Bayesian</h2>理所当然，贝叶斯定理来自一个叫做贝叶斯Bayes的人。<img src=\"v2-bf39a1c35fef4b563f7b4a1f18c2a324.jpg\" data-rawwidth=\"399\" data-rawheight=\"300\"> 根据基础概率论知识，我们想要的P(H|X)其实就是<img src=\"v2-e50af738608091891e5b4a9c77a8407d.png\" data-rawwidth=\"402\" data-rawheight=\"134\">此可推导为：<img src=\"v2-6f9991cc4ee8d29091f41da791681922.png\" data-rawwidth=\"480\" data-rawheight=\"152\">（也就是本文封面那张图上的公式） 整个公式由四个部分组成，事前概率/ prior，当前可能性/ likelihood，证据/evidence (marginal likelihood)，以及事后概率/ posterior。<ol><li>先说事前概率/ prior: P(H) —— 在收集数据之前，你认为的你的假设理论的存在的概率比如，在牛顿的例子中，P(H)就是牛顿在被苹果砸之前，心里认为的重力存在概率的概率。</li><li>当前可能性/ likelihood：P(X|H) —— 在一个理论存在情况下，数据的概率。而P(X|-H)便是在一个理论不存在的情况下数据的概率，即p值。</li><li>证据/Evidence (marginal likelihood): P(D) —— 收集到这批数据的概率 （它的计算比较复杂，目前实践上我们最常用的就是MCMC来实现，在此文中暂时不多提）</li><li>最后最重要的事后概率/ posterior，它就是进化知识的重要一环，它就是我们想要的。它代表的是，在收集数据之后，你认为的你的假设理论的存在的概率。</li></ol> 贝叶斯理论的精粹就在于，它完全而且完美的运用了你对一个理论的信念（prior belief）和你收集的数据（data或likelihood），从中得出结论（posterior belief），告诉你这个理论存在的概率或者这个理论模型参数的分布。这也是贝叶斯最大的优势——它完全符合我们做科学研究的逻辑和目的，我们想要的就是通过观察、收集数据，来更新我们对某一理论的认识和信念（belief）。<img src=\"v2-baf35942d8aaa3d10ddf84e89f35f1bc.jpg\" data-rawwidth=\"430\" data-rawheight=\"300\">说到这里或许你会有点糊涂，不要紧，接下来我用一个有趣的例子向你展示贝叶斯的魅力。 <h2>贝叶斯和投篮命中率</h2>为了激起大家浓厚的兴趣，也为了激起本人浓厚兴趣，我们就别用扔硬币的例子了。我们用贝叶斯定理来探讨一个有关篮球的问题。<img src=\"v2-008bc7a5ce64a6bb23657ac10d904413.jpg\" data-rawwidth=\"300\" data-rawheight=\"300\"> <blockquote>NBA某个球员在某场比赛中投篮命中率是 20中10，然后我问你，这个球员投篮准不准？</blockquote>首先，由于我们并不知道这个球员是谁，所以我们对他投篮准不准持中立态度，他有可能投篮超级烂，也有可能变态准，因此我们的事前概率/ prior 的分布就是一个uniform distribution：<img src=\"v2-0aec70f44c4cbf547e397a91417ad408.png\" data-rawwidth=\"544\" data-rawheight=\"270\">此图中，x轴是各种有可能的模型（命中率在0到之间），而y轴是各种模型对应的可能性。 接下来，基于我们收集到的数据，我们可以得到当前可能性/ likelihood的分布是：<img src=\"v2-389ebd89908dbcbb6c73aae44cdf183d.png\" data-rawwidth=\"543\" data-rawheight=\"276\">通常数据和模型参数分布决定着likelihood的分布。 最后，由prior和likelihood，我们可以愉快的得到事后概率/ posterior的分布：<img src=\"v2-69be50e6f79d51fdc36d090ee8bcd59f.png\" data-rawwidth=\"548\" data-rawheight=\"267\"><img src=\"v2-1466cb60e4a9afa61297f5f76a1a9aea.jpg\" data-rawwidth=\"500\" data-rawheight=\"431\">唔，这个时候会发现，为什么posterior和likelihood长得一模一样？！因为你的prior是中立的啊！如果你对一个理论是否成立（这个球员准不准）毫无把握，你持有中立态度，那么实验得出来的结论就完全由数据控制。相反的，倘若你的prior是有倾向的，那么posterior将同时被事前概念和数据掌控。 <blockquote>好吧，这个时候我该告诉你，刚刚那个数据是2016-2017赛季总决赛最后一场库里的数据。 （<a href=\"http://www.nba.com/games/20170612/CLEGSW?left=true#/boxscore\">NBA中国官方网站</a> ）</blockquote><img src=\"v2-db56517a74efc108779b481457df8aa1.jpg\" data-rawwidth=\"1200\" data-rawheight=\"1026\">这时候，你的prior（至少我的prior）就会变成这样子：<img src=\"v2-11fb610e7c8b64cf0e3d7ce351672d22.png\" data-rawwidth=\"593\" data-rawheight=\"271\">根据库里变态准的名声，我会觉得它的命中率一定很好，所以小于50%的命中率我都觉得不可能，于是都是0，而随着x轴从0.5到1，我认为相对应的概率会变大。但是，由于数据没有变，当前可能性/ likelihood的分布也不会变（data is data）：<img src=\"v2-2b5c271ec4cd842e49ec7aaf859cada0.png\" data-rawwidth=\"597\" data-rawheight=\"274\">最后，事后概率/ posterior的分布是：<img src=\"v2-ca8c249ff8d3650939f8548f6e7f0e23.png\" data-rawwidth=\"597\" data-rawheight=\"278\">虽然我的prior有点过分了，但是由于数据和likelihood的存在，我的posterior还是稍微被扭转过来了，库里的命中率有点靠近50%。但是由于我的prior坚信库里命中率不可能低于50%，我的posterior的左边被砍了一半。这个就是贝叶斯定理的优势之一，结论是来自对数据和事前概率的充分考虑。 但是，只根据一场的数据我们下结论会不会太仓促。那么，接下来我们来看看整个季后赛库里的数据，我们可以体会贝叶斯定理的第二个优势，随着样本量变大，数据对结论的控制力会越来越大（prior的影响相对变小）（但是这不代表样本量越大的实验越好）。<blockquote>在2016-2017赛季季后赛，库里的命中率是312投151中 （<a href=\"http://stats.nba.com/leaders/#!?Season=2016-17&amp;SeasonType=Playoffs&amp;StatCategory=FGM&amp;PerMode=Totals\">NBA.com/Stats | Season Leaders</a> ）。</blockquote>一样的，我觉得库里变态准，于是有着变态的prior。<img src=\"v2-2bc9895f8f7b54906ebe54c6aebcd920.png\" data-rawwidth=\"599\" data-rawheight=\"838\"> 当输入库里整个季后赛的数据，而不只是一场的数据，我对库里命中率的近乎不合理的prior似乎不再那么重要了，posterior接近50%，更加像likelihood。 <h2>不，是你的贝叶斯</h2>p值等经典数据分析方法从逻辑上有很大的漏洞。但这不代表p值就应该完全被否定。就像我在文章一开头就说的，p值和贝叶斯都只是工具。但是，贝叶斯在正确使用的情况下，是完美的。它就是进化科学最有力的武器，是去罗马的最稳最快的道路。贝叶斯不仅可以让我们表达我们的prior，收集数据不受动机影响（data is data），而且它还可以量化和观察数据对posterior的影响。在一众认知科学家的倡议下(Wagenmakers et al, 2017(1); Wagenmakers et al, 2017(2)), 它在数据分析上的显著优势慢慢为人认识。Etz &amp; Vanderkerckhove (2016) 也用了Bayes Factor来重新审视心理学重复性实验大项目。我并不提倡完全摒弃p值或Frequentist Statistics， 但是我衷心希望所有做心理，做科学的人懂得好好运用贝叶斯。不，是你的贝叶斯。 SC2017年9月15日。","updated":"2017-09-15T02:57:15.000Z","canComment":false,"commentPermission":"anyone","commentCount":15,"likeCount":78,"state":"published","isLiked":false,"slug":"29319302","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-09-15T10:57:15+08:00","links":{"comments":"/api/posts/29319302/comments"},"url":"/p/29319302","titleImage":"https://pic2.zhimg.com/v2-5b7bd68045078a0303d875c1dcf64869_r.png","summary":"","href":"/api/posts/29319302","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":15,"likesCount":78},"29539397":{"title":"更嚴苛的標準能否打造嚴謹的科學？","author":"chen-shao-qing-66-27-64","content":"<h2>為何要重新定義統計顯著水準？</h2>就在今年七月下旬，來自重要的社會科學領域：有心理學、社會學、經濟學、政治學等，著作等身的72名資深學者。合作撰寫論文”<a href=\"https://psyarxiv.com/mky9j/\">Redefine statistical significance</a>“，倡議從今天起，所有科學研究的統計顯著水準標準，從.005開始起算。經過一個多月的熱議，這篇論文已於九月一日被Nature Human Research正式接受。這篇論文現世之前，使用統計檢定分析資料的研究者，在各自的專業領域內依靠有共識的水準，判斷結果是否符合預期或假設。像是心理學、教育界、以及許多醫療研究，採取多數學過統計者熟知的.05。公認是硬科學的高能物理研究，採用5個標準差之外的.000006做為顯著水準。雖然.005與.000006依然有不小的差距，比一般接受的.05是嚴苛十倍的標準。此倡議一出，立刻有新進學者表達，<a href=\"https://rolfzwaan.blogspot.tw/2017/07/defending-05-its-not-enough-to-be_26.html\">採此標準，會增加研究所的樣本(估計增加70%才能達到.005)，且不利新想法被人看見的意見</a>。提出這項倡議的主要目的是改善社會科學領域，充斥高比例偽陽性結果(false-positive results)的新奇研究現象。這類研究的特徵是研究想法有創意，設計符合最起碼的科學標準，但是分析結果只是剛好小於.05，而且尚未有可信的重現研究結果。這種研究非常有可能無法被重現，例如兩個月前我注意到的<a href=\"http://scchen.com/Text/text_2017008/\">這一篇</a>。Benjamin等72位學者倡議改成.005的重要理由，是如此能明顯降低偽陽性結果的，就像以下由<a href=\"https://psyarxiv.com/mky9j/\">這份論文</a>再製的模擬結果。可以看到不論研究者事前對自己的理論能獲得研究結果支持的賠率(Prior Odds)有多高，整體而言.005的偽陽率比.05的偽陽率少了一半。<img src=\"v2-ad0dc5659d83e0c70a5b24125642115b.jpg\" data-rawwidth=\"931\" data-rawheight=\"410\">以上的推論是建立在<a href=\"https://zh.wikipedia.org/zh-tw/%E8%B4%9D%E5%8F%B6%E6%96%AF%E6%A6%82%E7%8E%87\">貝氏統計</a>的概念之上。Benjamin等人認為以事前賠率1:10的條件來看，設.05為顯著水準的研究結果貝氏因子(Bayes Factor)會落在2.4到3.4之間，.005為顯著水準的研究結果貝氏因子大約是13.9到25.7之間。統計學者Jeffreys Harold在影響深遠的著作”<a href=\"https://www.amazon.com/Theory-Probability-Classic-Physical-Sciences/dp/0198503687\">Theory of Probability</a>“(機率的理論)，認為前者表示研究結果的證據力差強人意，後者代表有起碼可觀的證據力。有此論證與72位學者中有著名的貝氏統計提倡者，像是<a href=\"http://www.sussex.ac.uk/profiles/718\">Zoltan Dienes</a>、<a href=\"http://www.ejwagenmakers.com/\"> Eric-Jan Wagenmakers</a>。我第一次看完這份倡議，就有這樣的主張真正目的，是不是想引導更多人改投貝氏統計的陣營？<h2>蘊釀兩個月的另一種聲音</h2>除了七月下旬起有一波個別學者透過私人部落格，發表支持與反對意見的浪潮。對.005主張有不同想法的學者，也在七月底於開放科學中心(Center for Open Science)主辦的<a href=\"http://improvingpsych.org/\">SIPS研討會</a>集結。會議結束後，由<a href=\"http://daniellakens.blogspot.tw/\">Daniel Lakens</a>透過推特發起，集合88位世界各地的青壯世代為主的學者，一起透過網路協作，撰寫回應Benjamin等72位學者的評論”<a href=\"https://psyarxiv.com/9s3y6\">Justify your alpha</a>“，預印本於本週一9/18正式投稿Nature Human Research並上網公開。這份評論的基本立場是肯定必須採取消減偽陽性研究的措施，但是只從設定更嚴苛的統計顯著水準下手是不夠的。不同於Benjamin等人的主張只依賴數值模擬，Lakens等人評論以實際資料的分析做為佐證。就以研究的可再現性來說，從著名的<a href=\"http://www.sciencemag.org/content/349/6251/aac4716\">2015年心理學再現研究專案</a>來說，有40多份的原始研究p值是小於.005，但是只有一半能被成功再現。所以就實際的資訊來說，並不能真正有效降低偽陽性研究的產出。<img src=\"v2-c8a4a1fd3766f58851f89b67d35dc50f.jpg\" data-rawwidth=\"4200\" data-rawheight=\"2400\">採取更嚴苛的顯著水準並不只是改變解讀分析結果的標準而己，而是牽動研究工作裡的每一項操作。如一開始提到提高顯著水準，就要增加至少70%的樣本才能得到顯著結果，如此會同時提高原創研究與再現研究的成本。對於大多數研究者來說，統計分析只是工具，在我所知道的亞洲學術圈。多數學者們的報告只有提供p值，採用更嚴格的統計水準主張，對主張內容不會深究的多數人來說，可能會想追求更小的p值，做為彰顯研究成果的價值。這應該與Benjamin等72位學者想提昇的科學研究嚴謹度，是背道而馳的局面。<h2>微小的想法和建議</h2>因為我與Daniel Lakens等作者有在SIPS親身交流的經歷，也在評論草稿初期就加入寫作，所以忝列為88名回應者之一。其中有許多有創作力與寫作高手，評論主體並未貢獻一詞。初版草稿之中有一段討論科學價值與研究操作的問題，我發現這段的草稿寫得太偏向數值分析，讓整篇評論的調性接近Benjamin等人的倡議。所以提出個人的修改建議，也很高興被其他作者接受，而成就了最後的完稿。我在參與經驗中再次反思華人社會科學圈的科學操作問題：運用分析資料提出理論判斷的學者，是抱著多少的事前期待看待自已的理論。像Benjamin等人的倡議與Lakens等人的回應，都是設定相對低的事前賠率(最高1:10)，討論今後研究者該採取的最佳操作。在我成長的學術環境中，卻似乎存在對自己的研究理論有相當高的信心，如1:1。這或許與多數研究是借鑒已出版的西方研究有關，但是不論是普遍的信心還是可能的原因，都沒有實際的研究資料，我的感受只是個人臆測。然而我相信這是亞洲地區的開放科學人士可以做的研究題目，可藉此找到在這樣的學術環境推廣開放科學的切入點。最後藉Benjamin等人的倡議與Lakens等人的回應，介紹預印發表。這種發表模式在資訊科學領域從1991年起，已運作將近30年。學者在初次投稿時，就將手稿與研究材料，上傳至有公信力的資料庫公開，如<a href=\"http://arxiv.org/\">arXiv</a>，期刊尚在評審時，讀者就能閱覽論文資料。社會科學領域也在1994年出現性質類似的<a href=\"https://www.ssrn.com/\">SSRN</a>，近年開放科學中心為推廣開放取用(Open Access)，也建置整合多項領域的<a href=\"https://osf.io/preprints/\">OSF Preprints</a>，包括屬於心理學的<a href=\"https://psyarxiv.com/\">PsyArxiv</a>。只要期刊允許，作者可自行於這些網站公開投稿。在今年的SIPS，我就得知美國心理學學會(APA)，已經接受PsyArxiv做為<a href=\"http://blog.psyarxiv.com/2017/08/14/apa-names-psyarxiv-preferred-preprint-service/\">APA旗下期刊發表預印本主要平台</a>的消息。我所知道的亞洲地區本土期刊還沒有開始這樣的政策，如果有那一國出現這樣的期刊，或者有規模的支持措施開始營運，該國會成為亞洲開放科學的領導國。","updated":"2017-09-21T06:19:42.000Z","canComment":false,"commentPermission":"anyone","commentCount":2,"likeCount":34,"state":"published","isLiked":false,"slug":"29539397","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-09-21T14:19:42+08:00","links":{"comments":"/api/posts/29539397/comments"},"url":"/p/29539397","titleImage":"https://pic3.zhimg.com/v2-bb1b092a727edf362e3d28aa92f632b2_r.jpg","summary":"","href":"/api/posts/29539397","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":2,"likesCount":34}},"User":{"hcp4715":{"isFollowed":false,"name":"hcp4715","headline":"热爱科学、热爱大脑、热爱户外运动;\nhttp://www.huchuanpeng.com/","avatarUrl":"https://pic3.zhimg.com/fecec00f6_s.jpg","isFollowing":false,"type":"people","slug":"hcp4715","bio":"社会认知神经科学里的搬砖工","hash":"d8954fe3c18476158f4f9379874c80be","uid":31198994759680,"isOrg":false,"description":"热爱科学、热爱大脑、热爱户外运动;\nhttp://www.huchuanpeng.com/","profileUrl":"https://www.zhihu.com/people/hcp4715","avatar":{"id":"fecec00f6","template":"https://pic3.zhimg.com/{id}_{size}.jpg"},"isOrgWhiteList":false},"chen-shao-qing-66-27-64":{"isFollowed":false,"name":"陳紹慶","headline":"scchen.com","avatarUrl":"https://pic4.zhimg.com/v2-a4215e086d6d8fa55fcca4154c116047_s.jpg","isFollowing":false,"type":"people","slug":"chen-shao-qing-66-27-64","bio":"Open science in Taiwan","hash":"0e448cecdab540ed183d2ac645b1c9f6","uid":883127313703792600,"isOrg":false,"description":"scchen.com","profileUrl":"https://www.zhihu.com/people/chen-shao-qing-66-27-64","avatar":{"id":"v2-a4215e086d6d8fa55fcca4154c116047","template":"https://pic4.zhimg.com/{id}_{size}.jpg"},"isOrgWhiteList":false},"Sharon_ChenYX":{"isFollowed":false,"name":"Sharon","headline":"认知科学在读博士\n讲理喜食好色爱动","avatarUrl":"https://pic1.zhimg.com/v2-6d9d3af6a2d6319d94cfb38b89559668_s.jpg","isFollowing":false,"type":"people","slug":"Sharon_ChenYX","bio":"认知科学在读博士","hash":"0748fab6579c653e0408da515a028006","uid":30198938468352,"isOrg":false,"description":"认知科学在读博士\n讲理喜食好色爱动","profileUrl":"https://www.zhihu.com/people/Sharon_ChenYX","avatar":{"id":"v2-6d9d3af6a2d6319d94cfb38b89559668","template":"https://pic1.zhimg.com/{id}_{size}.jpg"},"isOrgWhiteList":false},"chen-xin-64-65":{"isFollowed":false,"name":"陈信","headline":"","avatarUrl":"https://pic1.zhimg.com/da8e974dc_s.jpg","isFollowing":false,"type":"people","slug":"chen-xin-64-65","bio":null,"hash":"29d918e4156b0ed6c77e0abfe33bd117","uid":57629137174528,"isOrg":false,"description":"","profileUrl":"https://www.zhihu.com/people/chen-xin-64-65","avatar":{"id":"da8e974dc","template":"https://pic1.zhimg.com/{id}_{size}.jpg"},"isOrgWhiteList":false}},"Comment":{},"favlists":{}},"me":{},"global":{},"columns":{"next":{},"psy-os":{"pins":["28617665"],"followersCount":21676,"creator":{"bio":"社会认知神经科学里的搬砖工","isFollowing":false,"hash":"d8954fe3c18476158f4f9379874c80be","uid":31198994759680,"isOrg":false,"slug":"hcp4715","isFollowed":false,"description":"热爱科学、热爱大脑、热爱户外运动;\nhttp://www.huchuanpeng.com/","name":"hcp4715","profileUrl":"https://www.zhihu.com/people/hcp4715","avatar":{"id":"fecec00f6","template":"https://pic3.zhimg.com/{id}_{size}.jpg"},"isOrgWhiteList":false},"topics":[{"url":"https://www.zhihu.com/topic/19884670","id":"19884670","name":"心理学研究方法"},{"url":"https://www.zhihu.com/topic/19551432","id":"19551432","name":"心理学"},{"url":"https://www.zhihu.com/topic/19841766","id":"19841766","name":"心理统计"}],"activateState":"activated","href":"/api/columns/psy-os","acceptSubmission":true,"firstTime":false,"postTopics":[{"postsCount":24,"id":113570,"name":"心理学研究方法"},{"postsCount":14,"id":99306,"name":"心理统计"},{"postsCount":11,"id":181206,"name":"Open Science"},{"postsCount":8,"id":404,"name":"心理学"},{"postsCount":8,"id":181207,"name":"可重复性（reproducibility）"},{"postsCount":3,"id":9288,"name":"研究方法"},{"postsCount":3,"id":154747,"name":"开放数据"},{"postsCount":2,"id":13740,"name":"社会心理学"},{"postsCount":2,"id":27607,"name":"学术论文"},{"postsCount":2,"id":67664,"name":"R"},{"postsCount":2,"id":7080,"name":"认知科学"},{"postsCount":2,"id":116933,"name":"科研工具"},{"postsCount":2,"id":2232,"name":"科研"},{"postsCount":1,"id":63708,"name":"大数据"},{"postsCount":1,"id":9781,"name":"中国科学院"},{"postsCount":1,"id":8745,"name":"统计"},{"postsCount":1,"id":15317,"name":"认知心理学"},{"postsCount":1,"id":17410,"name":"实验心理学"},{"postsCount":1,"id":4170,"name":"开源"},{"postsCount":1,"id":23174,"name":"神经科学"},{"postsCount":1,"id":121988,"name":"统计学习方法"},{"postsCount":1,"id":26499,"name":"学术期刊"},{"postsCount":1,"id":160412,"name":"国际合作"},{"postsCount":1,"id":161276,"name":"中国科研"},{"postsCount":1,"id":1362,"name":"癌症"},{"postsCount":1,"id":27412,"name":"贝叶斯统计"}],"pendingName":"","avatar":{"id":"v2-706215a95e610108c1459bbfed2b3f69","template":"https://pic2.zhimg.com/{id}_{size}.png"},"canManage":false,"description":"可重复性问题成为科研中的一个重要问题。本专栏将致力于传播与开放、透明和可重复性科学相关的知识，并提供相关支持，以期能够为促进科学的可重复性做一点点贡献。欢迎志同道合者合作！","pendingTopics":[],"nameCanEditUntil":0,"reason":"","banUntil":0,"slug":"psy-os","name":"Open Science Club","url":"/psy-os","intro":"如何加强研究的透明、公开与可重复性","topicsCanEditUntil":0,"activateAuthorRequested":"none","commentPermission":"anyone","following":false,"postsCount":35,"canPost":false,"FULLINFO":true}},"columnPosts":{"psy-os":{"entity":["29539397","29319302","28799802","28705782","28640542","28617665","28435594","28335375","28050349","27589342","27518497","27262140","26853983","26763740","26595088","26569257","26389943","26240816","26042413","25798593"],"next":{"rel":"next","href":"/api/columns/psy-os/posts?limit=20&offset=20","query":{"limit":"20","offset":"20"}}}},"columnSettings":{"colomnAuthor":[],"uploadAvatarDetails":"","contributeRequests":[],"contributeRequestsTotalCount":0,"inviteAuthor":""},"postComments":{},"postReviewComments":{"comments":[],"newComments":[],"hasMore":true},"favlistsByUser":{},"favlistRelations":{},"promotions":{},"switches":{"couldAddVideo":false},"draft":{"titleImage":"","titleImageSize":{},"isTitleImageFullScreen":false,"canTitleImageFullScreen":false,"title":"","titleImageUploading":false,"error":"","content":"","draftLoading":false,"globalLoading":false,"pendingVideo":{"resource":null,"error":null}},"drafts":{"draftsList":[],"next":{}},"config":{"userNotBindPhoneTipString":{}},"recommendPosts":{"articleRecommendations":[],"columnRecommendations":[]},"env":{"isAppView":false,"appViewConfig":{"content_padding_top":128,"content_padding_bottom":56,"content_padding_left":16,"content_padding_right":16,"title_font_size":22,"body_font_size":16,"is_dark_theme":false,"can_auto_load_image":true,"app_info":"OS=iOS"},"isApp":false},"sys":{}}