百度、阿里已有比肩ChatGPT的大模型

大模型的核心特征是模型参数多、训练数据量大。有研究估测，训练1750亿参数语言大模型GPT-3，需要上万个CPU/GPU24小时不间断地输入数据。其能耗相当于开车往返于地球和月球，一次运算就要花费450万美元。高昂的研发成本意味着，主流的大模型只能由大型科技公司或少数研究机构掌握。

据了解，ChatGPT是基于8000亿个单词的语料库，包含了1750亿个参数。前者是ChatGPT的训练数据，后者是它从这些训练数据中所学习、沉淀下来的内容。这种海量参数规模让ChatGPT能够捕获更复杂的语言模式和关系，从而提高复杂自然语言处理任务的准确性。