过多的社交媒体内容会让AI聊天机器人“大脑腐烂”

蕾切尔·菲尔德豪斯/文

高正宇、杨靖渊、余名洋、贺红梅、张亦萌、谢楚颜、周伊敏、蒙梓鸣、刘畅、韩真、徐可人、孙博宇、赵佳欣、许善铭、李楚、黄安惠、雷雳译

10月15日发布在arXiv平台的一篇预印本论文指出，当人工智能（AI）聊天机器人接受大量低质量内容训练时，其获取准确信息的能力和推理能力会显著下降，若这些内容是社交媒体上的热门内容，影响则更为严重。

德克萨斯大学奥斯汀分校从事生成式人工智能研究的王章阳表示，在数据科学领域，高质量数据需满足特定标准，例如语法正确、易于理解，但这些标准无法体现内容质量上的差异。

王章阳及其同事希望探究大型语言模型接受低质量数据训练后的影响。他们将低质量数据定义为篇幅短小、在社交媒体上广受欢迎的帖子，或包含肤浅内容、哗众取宠内容的帖子。研究团队考察了这类数据对模型推理能力、从长文本输入中提取信息的能力、回复内容的伦理合规性以及模型人格特质产生的作用。

该团队报告称，接受低质量数据训练的模型会在推理过程中跳过关键步骤，甚至完全不进行推理，进而导致模型输出关于某一主题的错误信息。当研究人员向模型提出选择题时，模型也会选择错误答案。在混合了低质量数据与高质量数据的数据集里，随着低质量数据占比的提升，其对模型推理能力的负面影响会愈发显著。

西澳大利亚大学的人工智能研究员梅赫维什?纳西姆指出，这一研究结果印证了人工智能领域长期以来的一个核心原则，即数据质量至关重要。“早在人们开始研究大型语言模型之前，我们就常说，若向人工智能模型输入垃圾数据，它输出的也会是垃圾信息。”

输入垃圾，输出垃圾

王章阳及其团队从现有数据库中提取社交媒体平台X上的公开帖子，用于训练开源模型。这些模型包括：加州门洛帕克市科技公司Meta开发的大型语言模型Llama3，以及中国杭州阿里巴巴集团开发的Qwen模型的三个版本。Qwen属于推理型模型（类似深度求索的R1模型和OpenAI的o1模型），这类模型的设计初衷是通过生成推理步骤，得出用户查询的答案。而Llama则是一款经过指令微调的语言模型，其推理能力相对较弱。

为测定模型的人格特质，研究团队采用了心理学问卷。研究人员表示，在接受低质量数据训练前，Llama模型表现出随和、外向、认真、开放的特质，同时带有轻微的自恋倾向。但随着低质量数据输入量的增加，其中一份问卷结果显示，该模型的负面特质不断强化，甚至显现出精神病态倾向。

为实现模型的长期优化与改进，研究人员可对提示指令进行调整。当团队尝试对完全接受低质量数据训练的Llama模型调整指令时，发现模型性能仅得到部分提升；增加高质量训练数据的输入量，也仅能起到类似的有限改善效果。此外，即便研究团队尝试引导模型反思并修正推理过程中的错误，模型仍会持续跳过关键推理步骤。这一现象表明，可能需要采用不同方法来缓解低质量数据对模型产生的负面影响。

澳大利亚昆士兰大学研究人工智能与社交媒体的斯坦?卡拉纳西奥斯指出，该研究结果表明，数据筛选对于预防人工智能模型出现“大脑腐化”至关重要。“最重要的一点是，必须确保对数据进行仔细筛选，过滤掉低质量或哗众取宠的内容。”

纳西姆表示，未来需要开展规模更大的研究，纳入不同规模的模型以及ChatGPT等专有模型。研究专有模型面临两大挑战：一是研究人员需为使用这类模型付费，二是无法对其进行训练。此外，未来的研究还可探索一个问题：向模型输入足量高质量数据，低质量数据造成的负面影响是否具有可逆性。

2025年9月，社交媒体平台领英宣布，自11月3日起，将使用英国及欧洲其他地区（包括瑞士）用户的数据和内容，用于训练生成式人工智能模型。

资料来源：

Fieldhouse, R. Too much social media gives AI chatbots 'brain rot'. Nature. Advance online publication.https://doi.org/10.1038/d41586-025-03542-2

（该文翻译发布得到了原文作者授权）