进入正文之前,先说个最近的经历。
最近几年CVPR/ICCV的paper submission数量都在快速增长,对reviewer的需求也是很大,虽然我已经很多年没发过CVPR了,但也基本每年都可以收到邀请帮vision的会议review paper,能为vision研究社区做一点贡献也是很开心的。
今天的起因就是一个我审了四次,拒了四次的论文,我记得应该是投了一个ICCV,拒了,然后他们又投了一次CVPR,又拒了,又投了ECCV,又拒了,现在又被CVPR拒了。
邮件订阅,第一时间收到更新: https://liding.substack.com/ 。如果你在国内,这个link可能打不开,那么请使用这个link。
论文本身挺有意思,但是的确有着一些缺陷。从读者的的角度,这四次的论文长得是一模一样,前三次加起来有十几个reviewer写出的建议,作者没有进行丝毫的改进或者改写。原封不动,每次把latex的会议模版换了一下,就接着投。我每次的review都得绞尽脑汁想新花样,仔细读他们新的submission,生怕自己错过细节上的改动,然鹅并没有。
于是我就在想,当paper被拒的时候该干嘛?
各大计算机里的顶会都是20%-25%左右的acceptance rate,graphics的SIGGRAPH,HCI的CHI/UIST,vision的CVPR/ICCV/ECCV等等。那对于这80%左右的被拒的论文,总得有继续的途经吧。今天我就想讨论一下论文被拒了之后可以做些什么?
自我审视论文是否达标
这个步骤其实应该在交论文以前就做,如果觉得不达标,当初其实就不该投出去,应该等得更加完整,更加ready再投。可是多数是有由于各种各样的原因,当时也都投了出去,然后被拒了,此时是一个绝佳的时机再次考虑自己的论文是否达标。这包括了:是否达了自己的标?是否达了这个会议的标?是否达了这些reviewer的标?
是否达了自己的标?
不同领域,不同阶段的研究院/博士生,对于自己论文的质量要求是差别的。比较年轻的学生可能还没有形成比较成熟的研究观念,所以很多时候靠导师给予指引。随着自己资历越来越深,读的论文越来越多,写的论文越来越多,逐渐的会形成自己的一个判断标准。
这个标准可能比会议的标准要高,也可能更低。这两种情况都有各自的优缺点。如果自己是高标准严要求的话,每篇投出去的论文都已经远远的超出了会议的基本要求,哪怕第一次碰见比较刁钻的reviewer,无须做太多更改,重新再投几次也可以了;缺点就是在第一次投出去之前,需要做很多工作来保证质量了;优点就是做的这些高质量的东西完全可以有自己主导。
第二种就是自己的标准稍微低一点,毕竟会议审稿的过程是有随机因素的,只要想法不错,做的实验可能没有120分,只有80-90分,也是十分有机会被接受的;好处就是可以很快的拿到reviewer的feedback,不用在一个项目里做很久的时间;缺点就是万一被拒了,一般要做的更改会比较多,而且会有很多reviewer的意见不得不考虑,它们会提出很多各式各样的建议,所以自主性相对就没有那么高。
无论自己的标准高还是低,都应该保证重新交的版本满足自己的标准,能够问心无愧。
是否达了这个会议的标?
接着上面的主观自己的标准,第二个便是较为客观的会议的标准。像一般CS里的会议,我觉得会议标准其实是比较明确的。因为每年中的论文多,基本有个pattern,有规律可循。比如最近的Deep Paper Gestalt 居然可以自动拒论文, 只有0.4%的错杀率。
可能在不久的将来,就像是autocorrect一样,会有一个自动工具,给作者实时的提示说当前论文是否已达到某种基本标准。
在美好的未来到来之前,我们现在也有一些标准可以作为参考。论文是否够充实(长度,贡献,实验,应用),论文的写作是否达标(基本语法,写作水平),研究的成果是否写成了一个好故事(立意,方向)。可能这个也是需要慢慢积累的一个过程,刚开始很难一下子判断出各项是否达标,但随着做的项目逐渐变多,自己的见识越广,这些会议的客观标准也会慢慢清晰。
是否达了这些reviewer的标?
会议的标准是客观的,reviewer的要求确实相当主观的。审稿人们,每人的背景和要求不同,因此也会对以上会议的那些要求有着不同程度的意见。
比如说有的审稿人特别喜欢实验做的特别全面的,每个参数都得好好解释,好好测试,再总结好为什么要选某个值。有的呢,就特别喜欢看论文的idea好不好,要是大方向觉得靠谱的话,一些细节也就不太在意。还有的审稿人呢,就特别看重写作,一篇行云流水的论文也能够帮助读者理解和欣赏作者的意图。
不同的reviewer会有很不一样的要求。这也就构成了论文审稿环节里最不可预知的一步。
如何改进论文
我觉得要是没达到自己的标或者没达到会议的标,那就基本也没啥好说的,接着做就好了。接下来主要讨论上述第三种情况。
(显性)缺乏实验/分析/例子。
这个是graphics/HCI/vision里的比较常见的意见。
你怎么知道你提出的算法足够robust,你现在论文里只秀了两个例子
你论文里的例子都不够有挑战性,太简单了
你怎么知道你选的参数就是好的,你没有解释怎么选择的这些参数
这种最直接的改进方法就是像reviewer说的,多做例子,多跑实验,多做各种理论分析。可是很多时候我觉得对于这些concern,也有部分原因是文章的写作不够完美。
(隐性)立意/写法/故事
很多时候审稿人不会直接说,你文章立意不好,你写的不好;很多时候它们会说前面“例子不够”这种类似的问题。
而我的一个体会是,我既然觉得例子够了(因为已经达了会议的标),为什么这个审稿人觉得这么不够呢?这就是没写好了。文章立意十分重要。
一个例子就是我的做声音3D打印的一篇论文,本来想写的故事是专门做乐器仿真的,后来我们感觉reviewer会认为我们声音的音色不如专业乐器的好(毕竟3D打印的是塑料的),所以我们决定改变我们的故事写法,说我们做的是声音的过滤器,有很多应用,其中一个是做定制乐器,还有其他的一些应用。这样的话,审稿人可能就不会强烈觉得我们的音色不够好了,因为我们表达的主要方向不再是乐器。
写法立意也是很需要时间磨练的,有的人比较有天分。以后写的越多,也就越能体会到怎么把同样的事情讲得更清楚,把优势讲明白,不要让一些不相关的细节把文章弄的晦涩。
选择合适的会议重投
把上面显性隐性的改进都做好了,就该重新投论文了。
一样级别的会议。 好处是对自己有更好的锻炼,毕竟是顶会;坏处是得花更多时间,没有办法很快的move on到自己的下一个项目。
稍微次级的会议。 缺点是不是顶会;优点是可能不需花很多时间,不用把所有review的每个意见都修改好,可能只用改比较重要的那些,这样的话,可以比较快的做下一个项目。还有一个因素就是这些会议一般都会设置在顶会的后面,所以时间安排比较合适,而一般的顶会至少得等半年,有的情况还得等一年。所以时间上也是一个优势。
这个会议的选择很多时候也都是和导师的习惯息息相关。有的导师会只投顶会;有的导师会希望学生不要停留在一个项目太久,所以会支持学生赶紧收尾然后move on。这两种都各有利弊,看个人喜好还有和导师沟通的结果了。
我现在有四篇论文是经历过resubmission的(本科还有一篇被拒了三次然后我们就放弃了,再无见天日的机会了)。
Motion-Aware KNN Laplacian for Video Matting – 本科时投的第一篇一作,本来投的CVPR 2013,被拒了,主要的不足是各种实验没做够,reviewer有几个建议。主要都是要求加多几个实验,我把该做的实验都做了,补加了一大半个section。再投ICCV 2013,这次review比较积极,中了。
Interactive Acoustic Transfer Approximation for Modal Sound – 博士期间第一篇论文,最初投的是SIGGRAPH 2014,之间各种周折,最终在SIGGRAPH 2016 present了。这期间几次submission中,reviewer的意见就是例子不够多–>用处不大,这个算是属于我说的隐性的改进。我们也是既多准备了例子,也几次改进了写法,各种曲折最终中了。
AirCode: Unobtrusive Physical Tags for Digital Fabrication – 这篇论文当时做完我就觉得挺满意的,虽然问题也很明显 – 就是没有足够多的technical的部分,想法不错,但是没有很多优化或者其他的technical的。结果SIGGRAPH回来的review也是正如我们所担心的,我们重写了大部分的论文,加了一点点实验,重投UIST ,当时也觉得应该挺对口这个会议的,结果还阴差阳错的拿了best paper。
Audible Panorama: Automatic Spatial Audio Generation for Panorama Imagery – 投SIGGRAPH 18没中,那时候是没有过我自己的标准,也没有过SIGGRAPH的标准,主要就是合作者们想拿些review feedback决定往下怎么做,但其实最终拿到的review没有很大的帮助,因为我们做的还太不足,没法好好给评价。我们于是就按照自己的想法接着做,把算法完善,实验做多,user study也做了,分析的也比较透彻,重投CHI,中了。
SIGGRAPH的review又快要出了,希望能够顺利。