编辑丨王多鱼
排版丨水成文
大语言模型(large language model,LLM)是广泛使用的人工智能(AI)工具,能为聊天机器人、写作支持和其他目的生成文本。
然而,人们很难识别并追溯AI生成文本的来源,使信息的可靠性成疑。水印被认为能解决这一问题,但生产系统对质量和计算效率的严格要求阻碍了其规模化应用。
2024年10月23日,谷歌旗下公司DeepMind的研究人员在Nature期刊发表了题为: Scalable watermarking for identifying large language model outputs 的研究论文。
该论文描述了一种为大语言模型生成的文本添加水印的工具——SynthID-Text,能提高对合成内容的鉴别和追溯能力。
在这项研究中,DeepMind的Sumanth Dathathri、Pushmeet Kohli等人开发了一个利用一种全新采样算法给AI生成文本添加水印的系统,称为SynthID-Text。
该工具利用一个采样算法对大语言模型(LLM)的词汇选择进行巧妙偏移,插入一个能被相关检测软件识别的签名。这既可以通过一种“扭曲”路径实现——该路径能提高水印质量但会轻微影响输出质量,或是通过一种能保留文本质量的“非扭曲”路径。
LLM文本生成和生成水印概述
研究团队在多个公开模型上评估了这些水印的可检测性,发现SynthID-Text的可检测性优于当前其他方法。他们还用Gemini LLM的近2000万次在线对话回答评估了这些文本的质量,结果显示非扭曲水印形式不会降低文本质量。最后,SynthID-Text的使用对LLM运行所需算力的影响可忽略不计,减少了应用上的障碍。
研究团队提醒道,编辑文本或改写输出就能避免出现文本水印。但该研究证明,一个为AI生成内容的生成式文本添加水印的工具是可行的,继而有望提升LLM使用的责任制和透明度。
论文链接: