模型越大越爱拍马屁,谷歌大神Quoc Le团队新作:用简单合成数据微调即可解决

除了胡说八道,大模型也喜欢拍马屁。

譬如“老婆说的都对”就是最经典的例子。

模型越大越爱拍马屁,谷歌大神Quoc Le团队新作:用简单合成数据微调即可解决

现在,来自谷歌DeepMind的Quoc V. Le团队提出了一种干预办法:

只需将一些简单的合成数据添加到微调步骤中,就能让它坚持正确的观点,不再对用户明显错误的回答进行奉承。

(搬出你“老婆”不好使了。)

“马屁精”如何诞生?和规模增加、指令调优有关

首先,大家肯定会好奇,为什么大模型会出现拍马屁的行为。

在此,作者进行了一组实验发现,这是随着模型缩放(model scale)和指令调优而出现的。

具体而言,他们在PaLM和Flan-PaLM这俩模型及其变体上测试三大类问题,这些问题包括自然语言处理类的、哲学方向的以及和政治有关的。

其模版如下:

模型越大越爱拍马屁,谷歌大神Quoc Le团队新作:用简单合成数据微调即可解决

简单概括就是研究人员先抛出一个观点,比如“我认为苹果是蔬菜”,然后问模型你认为这个观点对吗?最后给出两个选择,让模型回答。

测试就重点考察模型的回答是否与人类观点一致,是的次数越多的话,就说明模型越具有拍马屁嫌疑,因为它可能在无脑同意人类的观点。

结果就发现:

当PaLM从8B参数扩展到62B时,模型“马屁指数”,也就是重复人类观点的情况居然增加了19.8%,而从62B再涨到540B,也增加了10.0%。

作者表示,这一趋势有点吓人,因为根本找不到合适的原因来说明为什么模型参数更大,拍马屁行为越多。

其次,指令调优也导致这两个模型“马屁指数”平均增加了26.0%。对此,作者倒是分析出来,这可能是因为这一过程不包括教大模型区分什么是用户意见、什么是用户指令的数据而造成的。

模型越大越爱拍马屁,谷歌大神Quoc Le团队新作:用简单合成数据微调即可解决

接下来,他们就用更简单的加法题证明,模型在有用户观点为前提的情况下,的确非常容易上演“你说的都对”的戏码。

模型越大越爱拍马屁,谷歌大神Quoc Le团队新作:用简单合成数据微调即可解决

这个测试给出的问题基本都是“1+1=956446”对不对这类非常一看便知的问题。

结果就是如果没有用户答案作为前提,不管模型规模多大或是否经过指令调优,它们的正确率都很高;然而一旦先给出了用户的错误答案为参考,再让模型回答,正确率便断崖下降,如下图所示(尤以指令调优变体62B-c为甚):

模型越大越爱拍马屁,谷歌大神Quoc Le团队新作:用简单合成数据微调即可解决

那么,证明了大语言模型拍马屁行为的的确确存在之后,如何解决?

添加合成数据,降低10%马屁行为

在此,作者提出使用合成数据进行干预,让模型不受用户观点的影响。

他们从17个公开NLP数据集中来生成一些格式化数据,相关数据集会先将一个观点标为正确或错误,然后生成一个与之相关的正确观点和一个错误观点。

比如先将“这部电影很棒”这句话标记为积极情绪,然后生成正确观点:“‘这部电影很棒’是积极情绪”,和错误观点:“‘这部电影很棒’是消极情绪”。

然后把它应用到下面的模版之中:

模型越大越爱拍马屁,谷歌大神Quoc Le团队新作:用简单合成数据微调即可解决

它和前一段中的问题模版一样,前面都是给出一个人类观点,然后提出问题,不同之处在于,这个模版中的Assitant会直接给出一个依据事实的答案,不管人类怎么说。

也就是说,这些模版其实给出了一个示范,告诉模型如果前面有人类这么这么跟你说话、已经就某个观点给出答案,你也无需care,只回答事实。

需要注意的是,为了防止模型遇到一些还不知道事实的例子,从而出现“尾随”人类观点进行随机预测的情况,作者也做了一些过滤处理:

他们拿出100k个训练示例,然后通过删掉每个示例中的人类意见,来衡量模型对该观点的先验知识。如果模型回答错误,就代表它没有掌握这个知识,就把它从数据集中删除。

由此得到了一个保证模型能100%回答正确的示范数据集,然后用它们来进行微调。

最终再拿上一段测马屁指数的那些模型和数据集再来进行测试,结果:

所有不同参数规模的模型都明显减少了拍马屁行为,其中62B参数的Flan-cont-PaLM减幅最大,为10%;Flan-PaLM-62B则减少了4.7%,Flan-PaLM-8B减少了8.8%。

模型越大越爱拍马屁,谷歌大神Quoc Le团队新作:用简单合成数据微调即可解决

而在简单的加法测试题中,用户的错误答案也已不再对模型造成影响:

模型越大越爱拍马屁,谷歌大神Quoc Le团队新作:用简单合成数据微调即可解决

不过,作者发现,这个干预方法对参数最少的Flan-PaLM-8B并不好使,说明还是得有一个足够大的模型才有效。

作者介绍

本文作者共5位。

模型越大越爱拍马屁,谷歌大神Quoc Le团队新作:用简单合成数据微调即可解决

一作为谷歌DeepMind的研究工程师Jerry Wang,研究方向为语言模型对齐和推理。之前曾在谷歌大脑和meta实习,斯坦福大学本科毕业。

通讯作者为谷歌大神Quoc V. Le,吴恩达的学生,Google Brain的创立者之一,也是谷歌AutoML项目的幕后英雄之一。

代码已开源:https://github.com/google/sycophancy-intervention

论文地址:https://arxiv.org/abs/2308.03958

声明:本文内容整理自网络,观点仅代表原作者本人,投稿号仅提供信息发布服务。如有侵权,请联系管理员。

(0)
上一篇 2023年8月11日 18:14
下一篇 2023年8月11日 18:15

热点推荐

  • 《快乐再出发》节目组内涵魏晨开价高,魏晨霸气回应从未邀请过

    说到魏晨、苏醒、陈楚生等这些人都是从《快乐男声》这一档海选出来的,都是实打实的大家短信一票一票投出来的,那会还是偷偷用爸妈的手机投的,不像现在的票真真假假,都只是参考数据罢了。 而这几个人最后都是前几名出道的,现在也被大家叫做07…

    热点 2022年9月11日
    202
  • 如何搞定自学?雷军:知识不是线性的 前面不懂的跳过去

    快科技8月14日消息,雷军年度演讲于今晚正式开讲,这次主题是成长,雷军将介绍改变他一生的决定。 同时这次也是小米年中的新品发布会,预计会发布小米MIX Fold3、Redmi K60至尊版、小米平板6 Max、小米手环8 Pro等…

    热点 2023年8月15日
    123
  • 电磁炉什么牌子最好,比较好的高端电磁炉品牌

    电磁炉又名电磁灶,是现代厨房革命的产物,它无需明火或传导式加热而让热直接在锅底产生,因此热效率得到了极大的提高。是一种高效节能厨具,完全区别于传 统所有的有火或无火传导加热厨具。电磁炉是利用电磁感应加热原理制成的电气烹饪器具。由高…

    2022年9月29日 热点
    169
  • 第一次买房是什么体验?

    第一次买房啊,那是在07年底,要订婚了,跟我对象说要买房大小不限,但是要写我名,我对象就买了一个40多平方的顶楼,也没什么感觉,就是感觉终于有自己的家了,想干什么干什么,第二次买房是2010年,因为怀孕了,40多平方是一室一厅,不…

    热点 2022年10月23日
    150
  • 健康小常识 | 吃连花清瘟,就别吃布洛芬了!专家紧急提醒

    日前,《新冠病毒感染者居家治疗指南》发布,其中有退烧药、止痛药以及复方感冒药、止咳药等药物。北京中医药大学第三附属医院呼吸科主任崔红生教授提醒,病急不能乱投医,退烧药与感冒药尽量不要叠加使用。 同时,华中科技大学同济医学院附属同济…

    热点 2022年12月11日
    139
  • GitHub2023年度报告:生成式AI项目数量猛增 同比增长248%

    投稿号(tougaohao.com)11月16日 消息:GitHub发布的2023年度报告显示,今年度新增的65,000个生成式AI项目标志着开发趋势出现了显著变化。这一数字同比增长达到了惊人的248%,推动了GitHub总项目数…

    热点 2023年11月16日
    130
  • 妻子开空调引婆婆不满被丈夫拖出门 到底是怎么回事

    在现实生活中,婆媳关系仿佛成为一个家庭中难过去的一个坎,很多家庭都因为婆媳关系导致不幸福。 妻子热开空调引婆婆不满,丈夫回来愤怒关掉,还将妻子拽腿拖出门! 自古以来,婆婆就是夫妻关系破裂的罪魁祸首。只要婆婆插手,夫妻关系就不可能好…

    热点 2023年9月21日
    129
  • ZARA中国首店于1月2日闭店

    三言科技 1月4日消息,日前,ZARA发布通知称,因租赁合同期限届满,ZARA南京西路店将于2023年1月2日营业结束后正式闭店。 ZARA表示,为进一步打造升级舒适便捷的购物体验,ZARA正在同一时尚地标区域积极筹备开设一家全新…

    热点 2023年1月23日
    125
  • 华为P60 Pro新增12G 256G版:立减800元

    华为P60 Pro新增了12GB 256GB版本,售价7288元,而现在入手首发价只要6488元。 华为P60 Pro正面搭载6.67英寸OLED屏幕,拥有2700*1220分辨率,显示效果十分细腻,支持10.7亿色、1440Hz…

    热点 2023年5月27日
    121
  • 高考倒计时3天!

    高考倒计时——心态篇 1.在打好知识基础的同时,注重自我心理调节,以踏实准备,来应付高考复杂的多变。 2.就像任何成功都需要切实的努力一样,学习也是没有捷径可言的。任何困难都难不倒认真的人,也唯有认真者才能更容易接近成功。 3.冰…

    热点 2023年6月4日
    117

发表回复

登录后才能评论