煤-电-水（续）

人类世，煤-电-水不可须臾。

黄河流域经历了连续四个丰水年度，本年度黄河流域已转入枯水年，流域生态建设环保任务艰巨。

互联网根基，也离不开“三网”特别是“水”。如，阿里数据数中心，存储器似如几十万台电脑，坐落杭州淳安县千岛湖，全部采用湖水自然冷技术，在不污染环境前提下实现资源的最大利用，实现了科技、自然与城市的完美结合。

上周末，在麻省理工学院，OpenAI 的 CEO 在演讲表示，如今的 AIGC 发展中，将数据模型进一步做大，…声称目前还不清楚未来的发展方向何去何从。

OpenAI 最早的语言模式是 GPT-2，于 2019 年公布，发布时就有 15 亿个参数；引爆 AI 行业浪潮的 GPT-3 发布时，参数数量已经达到了 1750 亿个；最新迭代版本 GPT-4 所用的参数数量3.5万亿个参数。

但人类互联网历史上被保留下来的各种高质量语料，已经在 GPT-3 以及后续发布的 GPT-4 的学习中被消耗殆尽。大模型参数数量仍然可以继续膨胀下去，但对应数量的高质量数据却越来越稀缺，因此增长参数数量带来的边际效益愈发降低。这如同 AI 行业的“摩尔定律”一般。

除了大模型本身的技术发展方向，另一个问题：购买大量 GPU（图形处理器）以及建设数据中心的物理限制以及高昂的成本，或许才是更多 AI 大模型开发公司现在所面临的切肤之痛，用于 AI 大模型训练则更是贵上加贵，无论是对电力还是水力的消耗都极其巨大。

即使是 GPT-4 或 New Bing，也多次因为算力不足不得不公开宣布短时间内暂停访问。算力已经成为限制 AIGC 进一步拓展使用场景的关键桎梏。

在今年三月，英伟达专用于大模型参数计算专用 H100NVL 系列，售价已经飙升至四万美元，目前，仍然处于一货难求的状态。马斯克也在 Twitter 上惊呼“似乎每个人和他们的狗都在抢购 GPU”。

现在，训练大模型所需的大量 GPU 组成的硬件训练集群，与世界上第一台计算机并没有本质上的区别。宏观来看，即使当下大模型技术对于 AIGC 的发展至关重要，但长远来讲，AI 绝不会永远依赖大模型的参数提升以及堆砌算力来构建未来，开发更小更精准的模型，以及更加具体的应用场景，或许已经是下一个时代真正的方向。

届时，或许是大模型时代的结束，却是人工智能时代真正的开始。（2023/04/20老邓）