如何看待“不靠谱”的机器学习论文？
0. 背景
别的领域不了解，知乎的机器学习方向上有不少“如何评价XXX论文”的问题，比如前一阵子评价周志华教授的DeepForest和最近的eForest。昨天我也赶时髦分析了一个研究项目 阿萨姆：如何评价arXiv上的最新论文：“可自动编程”的人工智能程序员(AI Programmer)？
但在这类问题下面，总是有一些辣眼的回答。贴几个来自知乎最具影响力的大V - 匿名用户的答案，可见一斑。这类主观且刻薄的回答在“论文分析”中层出不穷，只不过周老师树大招风，尤其容易吸引神秘大V的批判。
就事论事，分享一些我的看法。
1.如何在知乎上评价一篇论文？
我倡议在知乎上分析评价论文也要尽量遵循学术审稿的基本框架：
- 总结：给出这篇论文的目的是什么，主要做了什么。
- 优点：给出这篇文章有什么亮点，比如打开了思路啊，比如容易理解啊，比如提出了新的框架等
- 不足：指出你觉得这篇文章有什么漏洞：
- 实验设计是不是严谨，是否使用了正确的对照算法
- 是否存在理论推导错误
- 有没有夸大宣传
- 是否存在格式错误、语法错误等
这个框架最大的意义就是，如果你没有仔细读文章肯定无法写出有内容的答案，以此来筛选掉不看文章胡乱评论的人。把自己放在审稿人(reviewer)的角度，来评论一篇文章的优缺点和价值，不仅符合知乎应有的风气，也可以提高自己的学术素养。对即将跨入研究领域的朋友来说，更是对研究生活的提前预热。至于是否匿名是个人选择，但不应该在匿名后就大放厥词，还是要有一说一。
2.我不愿意这么做？我能不能反对论文的观点？
完全支持大家有不同的评论方法，也完全认可很多论文可能存在严重问题！但回答不应该是一句话，比如“瞎扯淡，完全没有意义的研究”这种评论，也不该是那种“厉害！膜拜大神”。这一类评论不管是正面还是负面的都没有任何意义，为了表扬而表扬和为了喷而喷一样恶劣。
那有人就要问了，我没时间浪费在读文章上，我可能也看不懂，我能不能评论它？难道评价歌手就必须会唱歌吗？这简直是废话，你既不愿意花时间了解作者做了什么，又可能根本就读不懂，还非要指点江山这不是有病是什么？这不是带节奏蹭热点是什么？学术领域和艺术领域本质上就不一样。如果你要是看不懂文章或者没有读，的确没有资格评论。
学术评论的中心价值观就是不要预设立场，不要煽动群众和看客。在知乎上，很多入门者很容易被带节奏，如果高赞回答者还是小V或者大V那带节奏效果更厉害。这就跟学术的立山头一样，大牛说这个是对的，大部分人都会选择闭上眼睛说“您说的对”。学术性的东西大家本身就可能观点不同，尤其当一个问题下面开始朝一个风向倒以后就刹不住车了。说个题外话，大家的女神NIPS在论文数量激增后不得不引入越来越多的审稿人，这导致很多被接受的论文有很高的可能性在换一组审稿人的情况下被拒掉。当然，这个在论文投稿上很正常，大家都是被拒绝、修修补补、换个会议重新投，坚韧不拔总会有接收的会议/期刊。
这给我们的另一个启示就是，连学术会议的审稿都有很大的偏见(bias)，更何况知乎这么一个没有任何准入门槛的网络平台。所以无论大家在论文评价中看到什么样的评论，即使是大V的回答，也不要轻易相信一股脑接受。
3.如何看待知乎上的论文评价(paper review)？
虽然知乎上的论文评论质量参差不齐，但我还是很支持这个潮流的。原因有几点：
- 可以扩大研究知名度，使好的文章得到更广泛的传播。
- 在广大网友的“大家来找茬”的过程中找出文章中的问题。让大家在使用时更有针对性，对于文章作者来说也可能无意间提供新的研究思路。
- 如果作者也在知乎上自问自答也很好，因为这建立了读者和作者直接的沟通渠道。
从另一个角度来看，增加论文评价类的问题也可以降低技术领域“水化”的趋势，可以让很多人对技术领域的问题多一些敬畏之心。如果机器学习/人工智能标签下的问题都是“人工智能会不会毁灭人类？”那最终把持话语权的应该是科幻小说家...我建议纯脑洞问题还是放到文学区更适合。
4.没有突破性的研究是否有存在的价值？
我曾在知乎上看过一个答案，形象的把学术界比喻成一群掘金人。大牛们挖大金矿挖大坑，普通研究人员靠挖着沙金也要活下去。大部分人这辈子都不会有什么突破性研究，都是靠着研究混一口饭吃，都不容易。
而很多论文，像周老师这两篇以"树"为基底的文章只是选择了不同的方向，是否有突破性意义还未可知。有一个答主说的很好，他列举了Hinton的观点，就是“当你认为自己没错而所有人都说你在扯淡的时候，那么你可能真的找到了有意义方向”。以Hinton这一群做神经网络的人为例，都是在SVM大热的情况下作者冷板凳坚持自己的研究的，谁也无法想到一个看起来不靠谱的研究成为主流方向。
其实我想说的就是品评论文时稍微也要留点余地，很多话没有必要说的太绝，更不要挖苦讽刺。从我这个理想主义者的世界出发，真的很希望知乎上有更多的论文评论问题，成为下一个能够真正促进研究的网络社区。即使退一步来说，如果知乎能够成为追踪热点研究的第一手资料库，也不辱它对自己的定位。然而想要实现这一切，都还需要我们大家在回答评论时就事说事，少一些偏见，对现阶段看起来“不靠谱”或者“一派胡言”的研究多一些宽容。
我的心愿是...世界和平 ʕ•ᴥ•ʔ
