GPT-4得不到MIT学位,MIT研究团队回应「作弊」,但网友不买账
编辑:蛋酱
避重就轻的解释,还是没能获得大家的认可。
几天前,一篇名为《Exploring the MIT Mathematics and EECS Curriculum Using Large Language Models》的论文经历了一场舆论风波。
论文地址:https://arxiv.org/pdf/2306.08997.pdf
最初,研究团队从 MIT 的数学、电气工程和计算机科学 (EECS) 专业的课程问题、期中考试和期末考试中,整理出了一个包含 4550 个问题和解决方案的综合数据集,并让各种大语言模型去完成这个数据集的题目,得出了「GPT-4 几乎满分通过 MIT EECS 和数学本科考试」的结论。
这一结果很快被人指出不够严谨,还给出了多项证据和详尽的分析,表示数据集本身就有问题,用 GPT-4 自动打分的评价机制也很有问题:
「我们的批评主要是针对这项研究的方法和严谨性,而不是针对其内容。我们对大型语言模型实际解决麻省理工学院课程的能力没有任何意见,只是认为本文未能以科学严谨的方式证明这一点。」
面对扑面而来的质疑,研究团队在接下来的一周里却没有进行任何公开回应,没有承认,也没有道歉。
但在昨天,人们等到了来自几位教授(也是论文作者)署名的官方通报:
6 月 24 日,Armando Solar-Lezama(MIT EECS 教授和 CSAIL 首席运营官 / 副主任)、Tonio Buonassisi(MIT 机械工程教授)和 Yoon Kim(MIT EECS 和 CSAIL 助理教授)就该论文情况发表了公开声明。
声明内容如下:
6 月 15 日,Iddo Drori 在 arXiv 上发布了一篇与麻省理工学院几十门课程的考试和作业数据集相关的研究论文,他这样做没有得到其他合著者的同意,尽管已经被告知在发表前应该纠正的问题。我们中的一个人在周末旅行后,于 6 月 18 日星期天才知道这个帖子。
在处理这件事的过程中,我们发现,与 Drori 向我们和为该项目收集数据的学生所传达的信息相反,Drori 并没有得到所有导师的许可来收集构成论文主题的数据集的作业和考试题。其中一些涉及课程的导师,在论文出现在社交媒体上和 Drori 未经许可在网上发布数据样本时,才知道这个数据集的存在且其中包含了自己的课程材料。
这些都是正在通过机构渠道解决的严重问题,所以我们不愿意公开发表这样的声明,但我们觉得有必要解释为什么这篇论文不应该被发表而必须被撤回。我们已经要求 Drori 从 arXiv 撤回这篇论文,并且直接联系了 arXiv 解释了这个情况。
我们想强调的是,这篇论文中的所有学生作者都非常努力地工作,如果数据是在同意的情况下收集的,这本来是一篇非常有趣和宝贵的论文。已经发表的工作中出现的问题并不是学生的错。
而且,GPT-4 不能获得麻省理工学院的学位。
这样一份调查声明,真的足够了吗?回想一周前三位质疑者提交的分析,数据集被污染、手动检查的结果与论文所说的「几乎满分通过」相差甚远,这至少意味着论文内容应该被重新审查。
显然,并不是所有人都对调查结果满意,有人表示这是避重就轻的说法,只是关注他们不应该使用这些数据的事实,而不提捏造结果的错误。
「所以这三位麻省理工学院的教授认为,未经同意使用数据是论文的唯一问题。」
针对「这本来是一篇非常有趣和宝贵的论文」的说法,更多人点了反对:「让 GPT-4 给自己生成的答案打分,这就是有趣和宝贵吗?」
另外,有人发现 Iddo Drori 的个人主页已经更新,删掉了「MIT 客座教授」的 title。而且根据领英主页的信息,他将在这个月结束自己的 MIT 访问之旅。
「一些教授决定让一位客座讲师成为替罪羊,并试图将每个人的注意力从方法论转移到数据隐私问题上,却没有批评这篇论文。这是多么典型的学术政治问题。」
正如三位质疑者在博客中所写的那样:「这篇论文道出了最近人工智能领域研究的一个更大趋势。随着该领域的进展越来越快,新发现的时间节奏似乎在缩短,这往往伴随着捷径。一个特别令人担忧的趋势是使用像 GPT-4 这样基于语言的模型来评估一个模型的准确性的技术。」
对于此事,你怎么看?
上一篇:英语将被从三大主科中踢出?教育厅给出答案,家长们:这就对了
下一篇:【获奖情况】文法学院2023计算机设计大赛中南赛区获奖信息统计(二)
最近更新教育活动
- “创新创业+”教育新模式 让这所高职院校交出亮眼成绩单
- 田浩江×毛尖|《角斗场的<图兰朵>》:重新发现汉语呼吸系统
- 冠军诞生!
- 悬疑小说在网文平台走红背后《十日终焉》作者:我的写作是一场与读者的博弈
- 解读广州前三季度“成绩单”:新动能持续发力 发展质效稳步提升
- 辽宁科技大学机械工程自动化学院:推进产教融合 助力科技成果转化
- 全国现当代文学青年学者汇聚上海大学,深度讨论人文学术
- 揽胜运动:成都挑战者的聚集地
- 探索“有趣高效”课堂!郑州24中第十四届常规教学质量月活动启动
- 拼搏路上洒下如花歌吟
- 山东人社出台三年行动方案,完善工资收入分配有这些大招
- 近300件百年意大利展品在渝开展 展示欧洲艺术设计传承和发展
- 儿童友好|“竹够精彩”
- 报考托福有什么要求
- 高等教育高质量发展|遵义职院:提升办学质量 培养高素质职教人才
- 网售处方药监管趋严
- 玉米播种机“水土不服” 四川岳池破解乡村人才匮乏 引来的博士科研团队小试牛刀
- 2023秋季仲景健康节缤纷活动花式养生,中医药文化蓬勃绽放
- 原创中冠广州影豹2-1击败上海同济,将与彬州辉龙争夺一个冲乙名额
- 托福独立作文没写完
- 高考报名明日启动,这些重要事项须明晰!
- 让老年人都有幸福美满的晚年
- 创意展活力 数字赋新生
- 西南交大、石室中学与郫都区三方携手 西南交大实验小学揭牌启用
- 江门摩托车又回来了