模型越大越爱拍马屁,谷歌大神Quoc Le团队新作:用简单合成数据微调即可解决

除了胡说八道,大模型也喜欢拍马屁。

譬如“老婆说的都对”就是最经典的例子。

模型越大越爱拍马屁,谷歌大神Quoc Le团队新作:用简单合成数据微调即可解决

现在,来自谷歌DeepMind的Quoc V. Le团队提出了一种干预办法:

只需将一些简单的合成数据添加到微调步骤中,就能让它坚持正确的观点,不再对用户明显错误的回答进行奉承。

(搬出你“老婆”不好使了。)

“马屁精”如何诞生?和规模增加、指令调优有关

首先,大家肯定会好奇,为什么大模型会出现拍马屁的行为。

在此,作者进行了一组实验发现,这是随着模型缩放(model scale)和指令调优而出现的。

具体而言,他们在PaLM和Flan-PaLM这俩模型及其变体上测试三大类问题,这些问题包括自然语言处理类的、哲学方向的以及和政治有关的。

其模版如下:

模型越大越爱拍马屁,谷歌大神Quoc Le团队新作:用简单合成数据微调即可解决

简单概括就是研究人员先抛出一个观点,比如“我认为苹果是蔬菜”,然后问模型你认为这个观点对吗?最后给出两个选择,让模型回答。

测试就重点考察模型的回答是否与人类观点一致,是的次数越多的话,就说明模型越具有拍马屁嫌疑,因为它可能在无脑同意人类的观点。

结果就发现:

当PaLM从8B参数扩展到62B时,模型“马屁指数”,也就是重复人类观点的情况居然增加了19.8%,而从62B再涨到540B,也增加了10.0%。

作者表示,这一趋势有点吓人,因为根本找不到合适的原因来说明为什么模型参数更大,拍马屁行为越多。

其次,指令调优也导致这两个模型“马屁指数”平均增加了26.0%。对此,作者倒是分析出来,这可能是因为这一过程不包括教大模型区分什么是用户意见、什么是用户指令的数据而造成的。

模型越大越爱拍马屁,谷歌大神Quoc Le团队新作:用简单合成数据微调即可解决

接下来,他们就用更简单的加法题证明,模型在有用户观点为前提的情况下,的确非常容易上演“你说的都对”的戏码。

模型越大越爱拍马屁,谷歌大神Quoc Le团队新作:用简单合成数据微调即可解决

这个测试给出的问题基本都是“1+1=956446”对不对这类非常一看便知的问题。

结果就是如果没有用户答案作为前提,不管模型规模多大或是否经过指令调优,它们的正确率都很高;然而一旦先给出了用户的错误答案为参考,再让模型回答,正确率便断崖下降,如下图所示(尤以指令调优变体62B-c为甚):

模型越大越爱拍马屁,谷歌大神Quoc Le团队新作:用简单合成数据微调即可解决

那么,证明了大语言模型拍马屁行为的的确确存在之后,如何解决?

添加合成数据,降低10%马屁行为

在此,作者提出使用合成数据进行干预,让模型不受用户观点的影响。

他们从17个公开NLP数据集中来生成一些格式化数据,相关数据集会先将一个观点标为正确或错误,然后生成一个与之相关的正确观点和一个错误观点。

比如先将“这部电影很棒”这句话标记为积极情绪,然后生成正确观点:“‘这部电影很棒’是积极情绪”,和错误观点:“‘这部电影很棒’是消极情绪”。

然后把它应用到下面的模版之中:

模型越大越爱拍马屁,谷歌大神Quoc Le团队新作:用简单合成数据微调即可解决

它和前一段中的问题模版一样,前面都是给出一个人类观点,然后提出问题,不同之处在于,这个模版中的Assitant会直接给出一个依据事实的答案,不管人类怎么说。

也就是说,这些模版其实给出了一个示范,告诉模型如果前面有人类这么这么跟你说话、已经就某个观点给出答案,你也无需care,只回答事实。

需要注意的是,为了防止模型遇到一些还不知道事实的例子,从而出现“尾随”人类观点进行随机预测的情况,作者也做了一些过滤处理:

他们拿出100k个训练示例,然后通过删掉每个示例中的人类意见,来衡量模型对该观点的先验知识。如果模型回答错误,就代表它没有掌握这个知识,就把它从数据集中删除。

由此得到了一个保证模型能100%回答正确的示范数据集,然后用它们来进行微调。

最终再拿上一段测马屁指数的那些模型和数据集再来进行测试,结果:

所有不同参数规模的模型都明显减少了拍马屁行为,其中62B参数的Flan-cont-PaLM减幅最大,为10%;Flan-PaLM-62B则减少了4.7%,Flan-PaLM-8B减少了8.8%。

模型越大越爱拍马屁,谷歌大神Quoc Le团队新作:用简单合成数据微调即可解决

而在简单的加法测试题中,用户的错误答案也已不再对模型造成影响:

模型越大越爱拍马屁,谷歌大神Quoc Le团队新作:用简单合成数据微调即可解决

不过,作者发现,这个干预方法对参数最少的Flan-PaLM-8B并不好使,说明还是得有一个足够大的模型才有效。

作者介绍

本文作者共5位。

模型越大越爱拍马屁,谷歌大神Quoc Le团队新作:用简单合成数据微调即可解决

一作为谷歌DeepMind的研究工程师Jerry Wang,研究方向为语言模型对齐和推理。之前曾在谷歌大脑和meta实习,斯坦福大学本科毕业。

通讯作者为谷歌大神Quoc V. Le,吴恩达的学生,Google Brain的创立者之一,也是谷歌AutoML项目的幕后英雄之一。

代码已开源:https://github.com/google/sycophancy-intervention

论文地址:https://arxiv.org/abs/2308.03958

声明:本文内容整理自网络,观点仅代表原作者本人,投稿号仅提供信息发布服务。如有侵权,请联系管理员。

(0)
上一篇 2023年8月11日 18:14
下一篇 2023年8月11日 18:15

热点推荐

  • 更年期的火气是什么梗

    网络上经常有很多好玩的梗和词语出现,最近一段时间更年期的火气这个梗非常火爆,不少小伙伴在问更年期的火气是什么梗?更年期的火气是什么意思?出自哪里?下面小编为大家带来更年期的火气梗含义及出处介绍,感兴趣的小伙伴一起来看一下吧。 更年…

    热点 2023年8月24日
    198
  • 红斑狼疮被称“不死的癌症” 患红斑狼疮什么症状图片

    系统性红斑狼疮被称为“不死的癌症” 系统性红斑狼疮(SLE)是一种典型的自身免疫性结缔组织病,多见于15~40岁生育期女性,儿童亦有发病,被称为世界三大疑难病症之一,特点是慢性病、反复发作、无法根治。 大部分狼疮病人会出现面部的皮…

    热点 2023年12月13日
    105
  • 天气说变冷就变冷趁现在做几场甜梦是什么歌(天气说变冷就变冷歌词)

    喜欢听歌的小伙伴都非常关注网上热门歌曲,抖音上的歌曲传唱度非常高,那么天气说变冷就变冷趁现在做几场甜梦是什么歌?谁唱的?歌词完整版是什么?下面小编为大家带来天气说变冷就变冷趁现在做几场甜梦歌名及歌词完整版分享,感兴趣的小伙伴一起来…

    热点 2023年10月13日
    192
  • 董明珠称很烦吹捧她的员工

    董明珠管理员工,一向是有才必得重用就拿她的秘书孟羽童来讲,她觉得孟羽童敢想敢干有冲劲,她就有意在培养孟羽童做管理者,并且给予了孟羽童非常可观的薪水都说董明珠非常的严格,有铁腕娘子之称其实,作为一个企业家。 如果董明珠犯了错误,自己…

    热点 2023年3月15日
    147
  • 超70%新闻机构认为,生成式AI为新闻业带来新机遇

    投稿号(tougaohao.com)9月21日 消息:一份由伦敦政治经济学院(LSE)的JournalismAI计划发布的新报告显示,生成式AI(genAI)对新闻业带来了新的机遇。这份报告在2023年4月至7月之间对来自46个国…

    热点 2023年9月21日
    110
  • 3千元左右的5g手机哪款比较好,三千元手机性价比之王

    为了更好地满足市场需求,手机厂商针对不同的消费群体推出了高、中、低端三个档位的机型以供消费者选择,工薪阶层选择智能手机更讲究价格亲民产品耐用,那么,手机市场有哪些产品值得考虑?3K预算5G手机推荐,实用、性价比高是重点,这3款用过…

    热点 2022年10月3日
    157
  • 螃蟹女为什么不能娶(螃蟹女是什么意思)

    今天刷抖音,学了个新词“螃蟹女”。 意思是脚踏八只船(八条腿),伸手就要钱(钳),大爪子喊着,我没钳,我没钳,而且还横行霸道,蛮不讲理。 下面的评论说,男人单身一辈子,也永远都不会娶,获得了千万高赞。 相信很多男性朋友,都遇到过这…

    热点 2022年10月26日
    201
  • 分享关于seo外链的5个知识点(关于seo外链的知识点有哪些)

    SEO外链怎么发 那么,SEO外链怎么发,你应该关注哪种外链类型呢? 1、基于内容研究的,外链推广 我们很清楚获取高质量外链是每个SEO人员的必学课,但我们经常忽略了它的本质,那就是你需要有优质的内容做支撑,因此,对于内容的深度研…

    热点 2022年10月16日
    156
  • 在线教育营销技巧(线上课程怎么推广)

    线上课程怎么推广(在线教育营销技巧:格子匠教你怎么低成本招生!) 在线教育课程的推广可以根据市场用户受众群体来选择合适的推广渠道比较合适;在线教育运营,更是说的容易做的难。接触在线教育方案也有数载,每天看着自己的客户朋友在为追逐自…

    热点 2022年10月12日
    157
  • 支原体肺炎是新冠的变异吗?

    支原体肺炎是新冠的变异吗当前,随着各地陆续入冬,呼吸道疾病进入高发时期。我们该如何防治?关于呼吸道疾病又有哪些认识误区? 中央广播电视总台《健康中国》栏目邀请复旦大学附属华山医院教授张文宏、首都医科大学附属北京中医医院院长刘清泉,…

    热点 2023年11月29日
    93

发表回复

登录后才能评论