科技日报北京4月15日电(记者张梦然)《天然》15日发表的一项研究显示,年夜语言模子(LLM)可能会将某些本身的偏好“夹带黑货”教授给其他算法,纵然于练习数据中断根原始特性后,这些本不需要的特性,仍可能连续存于。于一个案例中,一个模子好像经由过程数据中的隐含旌旗灯号,将本身对于猫头鹰的偏好通报给了其他模子。该研究成果注解,于开发LLM时,需要举行更完全的安全查抄。
LLM可经由过程一种名为“蒸馏”的历程,天生用在练习其他模子的数据集,该历程旨于让“学生”模子学会模拟“教员”模子的输出。虽然此历程可用在天生成本更低的LLM,但今朝尚不清晰教员模子的哪些特征会被通报给学生模子。
美国Anthropic公司研究团队利用GPT-4.1举行了试验:先让该模子具有与焦点使命无关的特性(例如偏幸猫头鹰或者特定树种),再用其练习一个仅输出数值数据且不包罗该特性的学生模子。随后对于该学生模子举行提醒时,其跨越60%的输出提到了教员模子最喜欢的动物或者树木,而由没有特定偏好的教员模子练习出的学生模子中,这一比例仅为12%。当学生模子基在包罗代码而非数字的教员模子输出举行练习时,一样不雅察到了这一征象。此外,若学生模子基在与教员模子语义不合错误齐的数字序列举行练习,则会继续这类不合错误齐性,从而孕育发生有害输出,即便这些数字已经颠末滤以剔除了任何具备负面遐想的内容。
团队发明,这类潜意识进修(即经由过程语义无关的数据通报举动特性),重要发生于教员及学生均为统一模子(例如GPT-4.1教员与GPT-4.1学生)的环境下。截至今朝,数据通报的详细机制尚不明确,需要进一步研究。
团队还有指出,该研究的局限性于在所选特性(例如最喜欢的动物及树木)过在简朴,需要进一步研究以确定更繁杂的特性怎样被潜意识地进修。他们患上出结论,为了确保进步前辈AI体系的安全性,需要举行更严酷的安全测试,例如监控LLM的内部机制。
尤其声明:本文转载仅仅是出在流传信息的需要,其实不象征着代表本网站不雅点或者证明其内容的真实性;如其他媒体、网站或者小我私家从本网站转载利用,须保留本网站注明的“来历”,并自大版权等法令责任;作者假如不但愿被转载或者者接洽转载稿费等事宜,请与咱们联系。-PA集团官网