今天体检 偷拍,ICLR 2025 的 discussion phase 的 ddl 还是截止。回看昔时 14 天的考虑经过,可太精彩了!
各大平台上唾手一翻便是作家们的吐槽大会,齐在喧阗这届 ICLR 评审的多样仙葩乱象。
比喻 UCSB 博士生 @JiachenLi11 就在推特上十分之无奈:
我收到的评审本色,低到令东说念主担忧——其中一条评审甚而话齐没说完。难说念审稿东说念主的 tokens 用罢了吗???
图源推友 @JiachenLi11
你还真别说,他这个" tokens 用完"的吐槽并不是惹事生非——
ICLR 2025 的论文提交数前所未有地高,约有 11000 篇。
为了栽植审稿速率和质地,ICLR 本年引入了 AI 参与审稿使命。
虽然了,倒也不是单一 AI,是多个 AI 大模子组成的 Agent。
关联词,你以为审稿东说念主话不写完评审本色就点发送,便是 ICLR 2025 的一齐槽点了吗?
ICLR 吐槽大赏
要细数本年 ICLR 2025 的神奇事件,我们先从最广为东说念主知的一件提及:
[ 10,10,10,10 ] 和 3 个 poor 得分并存
本年的 ICLR 出现了一篇4 个审稿东说念主同期打出了 10 分的论文。
假如这个分数能保握到中稿见知,这将是近 5 年来,ICLR 的唯独一篇满分作文。
论文题目如下图,是一个叫IC-Light(全称 Imposing Consistent Light)名目,是对于适度图像照明的。
作家张吕敏,亦然大名鼎鼎的 ControlNet 的作家。
他在苏州大学拿到学士学位后,去往斯坦福读博。
IC-Light 不错温顺适度相片主体的光源和配景,将主体、光源、配景三者马上地会通在一张图片里。
半年前,IC-Light 就在 GitHub 上开源,目下共 6.5k 星。
与此同期,ICLR 2025 还出现了几篇,某一审稿东说念主给某篇论文全打 1 分的论文。
这里我们打断一下,了解一下 ICLR 的评分体系:
1 分:太差了
3 分:拒却
5 分:婉拒了哈
6 分:接……吧
8 分:收受
10 分:强收受
就拿其中一篇来说吧,看到这个成果给作家气的,写了一篇十几页的 strong rebuttal。
那审稿东说念主为什么给东说念主家 Soundness、Presentation、Contributions 齐给了 1 分?
审稿东说念主言辞十分尖锐,直呼Paper Writing is quite bad,然后还绝不客气地发问:" Is there a human author on this paper?"
武藤兰审稿东说念主还暗示,(这亦然一齐最低分的最贫苦小数),我们是不错判断一篇论文是东说念主写的照旧 AI 写的,"也许您在生成文本时莫得进行基本的连贯性查验"。
作家连接输出身无长物 rebuttal,并抵拒"我可真钦佩你识别 AI 的才能"。
作家 5 页回答,审稿东说念主在 ddl 短暂抵赖范畴
一位在北大 CS 读博的小某书网友 @Kevin 对审稿东说念主的神操作大吐苦水。
事情是这么的,ICLR 不是共 14 天用来 discussion phase 嘛。
这 14 天里,有一位审稿东说念主 5,一共对他地点团队提交的 paper 提倡了 10 个问题。
团队崇拜回复了整整五页,审稿东说念主 5 已读不回。
团队屡次但愿与其考虑,审稿东说念主 5 已读不回。
总之便是一通盘石千里大海。
到了昨天,也便是 discussion phase 的终末一天,"审稿东说念主 5 短暂抵赖这个范畴,并将 5 分改为 3 分"。
@Kevin 十分不睬解为什么审稿东说念主这么作念的意图。
确凿就,令东说念主心碎的 discussion phase。
"你需要援用另一篇 ICLR 2025 投稿"
推友 @PandaAshwinee(普林斯顿博士毕业,目下在 Trails.ai 从事博后使命)给看淆乱的网友们画了个我方收受到的评审本色的亮点:
你需要援用另一篇 ICLR 2025 的投稿。
伸开说说,便是审稿东说念主蚁合了 ICLR 2025 openreview 的另外一篇论文,暗示两个名目高度联系,是以小哥应该援用。
但是哭啊,小哥查过了,条件被引的论文根蒂不在 arXiv 上。
况兼这不是他第一次嗅觉"天塌了"——他在评述区补充,之前他的名目在 ICML 2024 被拒,主要原因亦然"与另一篇 ICML 2024 投稿高度相通"。
不外 ICLR 很快在小哥推文底下回复了,抒发措施主席启动看望这个事儿。
"乞讨式" ICLR
前边提到的齐是审稿东说念主和作家有来有回(哪怕回得慢)的心扉 battle,更有敬爱的事是,不管国内照旧外洋,好多东说念主齐把这届称为"乞讨式" ICLR。
简而言之,便是审稿东说念主一直不给评审不给分。
有东说念主上个月下旬的技能,就启动给通盘 AC(区域主席)发了邮件,条件他们指示审稿东说念主回复作家。
或者至少证据审稿东说念主们知说念我方还得干这活。
那时就有网友指示"最坏的盘算推算",有的审稿东说念主会拖到终末一刻,因为他们也在为我方措辞……
断事如神,单看国内,昨天启动 24h 内倒计时了,好多作家还在恳求审稿东说念主快快评审,快快给分。
哎。
对作家的奇怪申请
在 Google DeepMind 使命的 Ahmad Beirami(@abeirami)共享了一则音信:
发到推特上后,有 ICLR 作家暗示出了猜疑:
若是作家们写了这玩意儿,是否确凿对审稿有匡助?
他认为这"可能是在铺张时辰",因为审稿东说念主全齐可能看齐不看,径直去看 paper 原文。一切齐是枉费的。
不外 Ahmad 很快回复了这位作家:
Yes!
算作别称 AC,我想确保我莫得从作家的角度遗漏任何本色。可能会有好多变化、新成果等。我想确保我知说念在那儿找到它们,以便概况酿成不雅点,判断一些原始评述 / 包涵是否适用。
取得这个回报后,作家小哥很酣畅地去添加堤防去了。
ICLR 2025 为何这么
以上种种,仅仅行家或身在其中 / 或围不雅看淆乱的 ICLR 2025 的小数点故事良友。
但,身为巨擘顶会,为什么会这么?
有的东说念主认为和本年的稿件数目联系。
官方数据裸露,ICLR 2025 的论文提交数目达到了 11,000 多篇,同比增长 61%。
而客岁 ICLR 2024 组委会收到的投稿总额为 7,262 篇——虽然了,对那技能的 ICLR 来说亦然不小的使命量,同比增长了 47%。
本年,濒临如斯浩荡的论文数目,审稿东说念主数目高达 15,000 多名。
这还不够,官方还引入了多个 AI 大模子组成的 Agent 来参与审稿。但它的功用不是全齐替代审稿东说念主,它不会撰写审稿评述或径直裁剪评述,而是提供建立性和可操作性的反应,匡助审稿东说念主提高审稿质地。
这个 Agent 针对审稿中可能存在的三类问题提供建议:
饱读舞审稿东说念主改写疲塌的评述,使其对作家更具可操作性;
凸起著述中可能还是回答了审稿东说念主问题的部分;
发现并处理不专科、不安妥的言论。
但好多作家认为,稿件数目激增如实加大了使命量,Agent 的援救无可厚非,但绝不是 ICLR 变成被看淆乱的"科研春晚"的原因。
一方面,Agent 提倡的建议,审稿东说念主是不错遴荐接管或者忽略不管的。
另一方面,极速扩展的审稿东说念主中,是否有东说念主并不是符合评审使命?
再一方面,为了确保审稿质地,每位审稿东说念主对等分拨 3 篇论文,顶天了看 4 篇,使命量并不是超负荷情景。
除了有点错落之外,另一个被网友们热烈考虑的点,会聚在这届 ICLR 的分数上。
一般来说,ICLR 的传统收受率在 30% 傍边,然后本年 ICLR 的排行前 30% 的论文,平均评分约为 5.6。
前边我们先容了,6 分算是一个勉拼集强的分数,属于论文被收受的角落门槛。
这就意味着"低于‘角落接管’门槛的论文将被收受"。
网友谈说念,"当会议接管变得如斯温顺时,我们正在破损通盘科学评估系统——这影响到 AI 磋商举座的完竣性。"
在此基础上,他提倡了三点我方的念念考,但愿 ICLR 应有更严格和公道的措施。
虽然,也有另一种声息:
期待一些超等苍劲到无孔不钻的大模子出现,让它们充任审稿东说念主,管理上述通盘问题,以此匡助收缩审稿的职守。
仅仅不知说念这一天什么技能会到来了。
参考蚁合:
[ 1 ] https://x.com/mo_danesh/status/1863964693687107823
[ 2 ] https://x.com/JiachenLi11/status/1856472250636964350
[ 3 ] https://x.com/Yuchenj_UW/status/1862541099136651536
[ 4 ] https://x.com/abeirami/status/1863629237741064608
[ 5 ] https://x.com/PandaAshwinee/status/1856384624873570749
[ 6 ] https://x.com/ysu_nlp/status/1860504185583648863
[ 7 ] https://openreview.net/group?id=ICLR.cc/2025/Workshop_Proposals#tab-accept体检 偷拍