# Scaling Law失效，AI泡沫底层逻辑崩了？
摸鱼学副教授 [ 美第奇效应 ](javascript:void\(0\);)
__ _ _ _ _
** 那么多显卡的订单，那么高AI企业的估值，似乎都成了覆巢之下的鸟卵。 **
**
**
_风大浪高，点击卡片，关注防迷路_
谁能想到，让美国AI神话，数十万亿的估值，碰到存亡危机的，竟然不是大选选上来的特朗普和他不靠谱的政策。 昨天，著名科技媒体The
Information发表了一篇可能动摇了整个AI圈估值逻辑的文章。
这篇名为《 OpenAI Shifts Strategy as Rate of ‘GPT’ AI Improvements Slows
》的文章指出了一个重大的问题，Scaling Law可能失效了。 所谓 Scaling Law，简单讲就是“缩放定律”，
是指系统或过程在不同尺度下表现出相似或相同行为的规律。 OpenAI四年前曾经发布过一篇论文，
模型的性能会随模型参数量、数据量、计算资源增加而指数提升。
这个定律对现在的生成式大模型AI来说，至关重要。只要Scaling Law
还成立，那么大模型的能力就可以伴随着堆更多的算力、搞更多的参数，喂更多的数据来实现最终的通用人工智能AGI。
这个对AI圈的估值，极端重要。因为毕竟AI圈现在几十万亿的估值，英伟达3.6万亿人类历史上最昂贵公司的加码，可不是现在几个AI聊天机器人或者视频图画生成工具能支撑的，这里边可都包含了对通用人工智能AGI的预期。
如果Scaling
Law不再成立，通过单纯放大模型，增加算力不能到达AGI，那么那么多的cuda显卡的订单，那么高AI企业的估值，可就要付之东流了。美国21世纪最大的生产力革新点，美国唯二超过中国的科技制高点，可就成了明日黄花。
决不能出问题的Scaling Law，似乎出了问题。
**碰上了天花板**
在AI狂飙开始的2021年，就有人提出，Scaling Law可能有上限。但是随着chatGPT 2.0 3.0 3.5的不断迭代和技术飞跃，
Scaling Law的正确性深入人心。 直到ChatGPT 4.0 把人类现存的数据全部吃完。我们似乎碰上了天花板。
最直接的结果就是人工智能旗舰OpenAI的进步速度，停止了。 根据The Information 给出的信息，OpenAI下一代ChatGPT
5的训练出现了重大瓶颈。他们公布的大模型GPT Orion，能力上升的很快，大约只用了20%的训练量，就达到了ChatGPT
4的水平，但OpenAI的研究者发现，后边增加训练量， GPT Orion的水平提升却很慢很微小。 在文本处理上新模型
表现的确更好一点，但在编码等任务上可能还没法无法超越之前的模型。
结果就是，在吃掉人类互联网上所有数据之后，GPT Orion的水平，并没有比ChatGPT 4o高太多，远不及ChatGPT
2到ChatGPT3，或者ChatGPT 3.5到ChatGPT 4的那种飞跃。这导致OpenAI的下一代AI，GPT Orion没法被命名为ChatGPT
5。 为了突破数据用光的问题，OpenAI只能使用通过AI自己生产的“合成数据”来训练新的模型。
结果就是新模型用上老模型生产的合成数据，行为模式和性能表现变得跟老模型极其相似，甚至老模型出现的那些AI幻觉，也都全继承了下来。 Garbage in
Garbage out。使用成本暴涨，性能提升微小，甚至最有价值的编程能力还劣化了，
今年5月，Altman曾告诉员工，他预计下一代Orion很可能会比一年前发布的最后一个旗舰产品模型显著提升，可这个Orion表现，却远未达到目标。
这导致OpenAI开始脱离真正AI智能的提升，反而追求一些“奇技淫巧”的应用，比如让现有的AI模型来控制操作系统，模拟人的操作。
这就好比菊花厂不去搞科技基座和芯片突破，学起电商公司搞社区团购了。 这个Scaling law的天花板，不光OpenAI撞上了，其他各家也都是类似的情况。
OpenAI之外，谷歌的大模型 Gemini 2.0，暴力推模型规模的脸书LLama 3.x， Anthropic的 Opus
3.5模型似乎都碰上了大规模提升token数量，但性能没有提升的问题。 OpenAI前CTO，ChatGPT的缔造者， Ilya
Sutskever作为大模型scaling law的提出者和最早暴力scaling大力出奇迹的开拓者，最近在路透社的采访中表示，扩大
训练的性能提升，已经趋于平稳。
也就是说，用大量未标记数据来理解语言模式和结构的训练阶段到头了。暴力扩大规模的老方法失效了，他离开OpenAI之后，准备寻找一种新的替代方法
_ 谷歌研究院和约翰霍普金斯大学在最新的论文中指出：对于潜在扩散模型，模型不一定是越大越好。 _
“ 2010年代是scaling的时代，现在，我们再次回到了奇迹和发现的时代。每个人都在寻找下一个奇迹。 ”
_俄裔科学家Ilya才是创造ChatGPT的那个人，Altman不过是不那么懂技术的前台商人。现在前台商人把后台科学家赶走了，创始团队所有技术大佬全逼跑了，只剩两个负责商务的，OpenAI真的能再创奇迹？_
幕后的投资人们似乎也焦虑起来。
OpenAI股东，硅谷AI投资大佬 Ben
Horowitz在最近一次YouTube直播中提到，GPU的性能在不断提升，几万几十万张gpu的集群规模也在指数提升。这背后是投资人投资规模的暴力提升和资金的巨量燃烧。但模型的性能却没有响应的提升。GPT
Orion的成本可能是上一代ChatGPT 4o的6倍倒30倍，但性能提升却远远没有反映出成本的上升。
超大规模语言模型的ROI实在已经低到让人发指的程度，同时几十万张显卡同时工作几个月，投入数千万甚至上亿美元训练一次（1.8万亿参数的ChatGPT 4
训练一次约6300万美元），结果却不见得能比之前的模型强多少，这投资故事难以继续下去了。
_
OpenAI之所以不open，不是为了保护人类不被AI毁灭，而是因为他们构建的大模型是可复制的，互联网大厂及AI头部初创企业，都会有能力构建出超越GPT-4的大模型。
_ 投资人焦虑了，问题大条了。毕竟几千亿几万亿的估值，还得他们真金白银的支撑。
OpenAI倒也没有坐以待毙。他们一方面组织了一个叫做foundation的小组，专门负责解决训练数据用完的问题。另一方面，他们采用了所谓数据链推理模型。
_用老模型生成合成数据训练新模型，新模型越来越像老模型_
在新的Orion模型上，除了堆砌训练量，OpenAI找到了一个所谓新的scaling law齿轮。除了在训练模型上大力砖飞，也在模型推理上投入更多资源。
“ 仅需20秒的推理时间便能提升模型性能，效果相当于对模型进行10万倍的扩展和更长时间的训练 ”
这就是新的思维链模型。
但这里就出现了一个问题，所谓一下子可以考虑两万步的思维链模型，本质依靠的是模型本身产生出多个结果，然后从中选出最佳的那个，从而提升模型的能力。
那以后大模型可能就不是最佳的方案，一个尺寸合适的模型配上更多的推理时间可能效果更好。结果就是对于
大规模预训练集群的需求下降，而分布式的、基于云的推理服务器的需求上升。
结果就是在训练集群有cuda护城河的英伟达可以一家独大，真的变成训练和推理二分天下的时候，在推理市场并没有那么强的英伟达可就要吃瘪了。比如TPU、LPU，可能就比GPU更高效。
事实上，根据 台积电最新的财报，其10月销售额同比增29.2％， 较9月近40%的增幅大幅放缓， 为2月以来最低增速。
彭博文章指出，台积电10月的销售数据对人工智能芯片需求的持久力敲响了警钟。
英伟达成败与否，还能说肉烂在锅里（Groq也是美国企业）。但另一个成本问题可能更加棘手。
大模型的智能发展停滞了，但大模型的推理成本上升可是非常迅速，O1的推理成本达到了ChatGPT
4的25倍以上，100次推理成本高达42美元。几乎是已经用不起的模型了。
和人类思维水平相当的计算量大概是 10^35 FLOP ，也就是要在当前最大模型的基础上额外增加 9
个数量级的计算能力。就算未来我们能通过硬件和算法进一步优化，9 个数量级的提升真的可能吗？成本和电力真的够支撑这么巨大的模型吗？
不管从哪个角度看，AI发展的基石，Scaling Law似乎都出了大问题。 覆巢之下，安有完卵？scaling law倒下来，一切都要重估。
___ _
_风大浪高，有些不方便说的，可以点击下边卡片移步可以留言的小号聊一聊，也可关注笔者微博账号 @躺平学副教授_
_笔者的新书上市啦，错爱笔者闲扯的读者，可以点击下边的 阅读原文 购买~~已购买的读者，记得后台联系笔者，加入VIP读者群_
预览时标签不可点
素材来源官方媒体/网络新闻
[ 阅读原文 ](javascript:;)
微信扫一扫
关注该公众号
****
****
× 分析
收藏
# Scaling Law失效，AI泡沫底层逻辑崩了？
摸鱼学副教授 [ 美第奇效应 ](javascript:void\(0\);)
__ _ _ _ _
** 那么多显卡的订单，那么高AI企业的估值，似乎都成了覆巢之下的鸟卵。 **
**
**
_风大浪高，点击卡片，关注防迷路_
谁能想到，让美国AI神话，数十万亿的估值，碰到存亡危机的，竟然不是大选选上来的特朗普和他不靠谱的政策。 昨天，著名科技媒体The
Information发表了一篇可能动摇了整个AI圈估值逻辑的文章。
这篇名为《 OpenAI Shifts Strategy as Rate of ‘GPT’ AI Improvements Slows
》的文章指出了一个重大的问题，Scaling Law可能失效了。 所谓 Scaling Law，简单讲就是“缩放定律”，
是指系统或过程在不同尺度下表现出相似或相同行为的规律。 OpenAI四年前曾经发布过一篇论文，
模型的性能会随模型参数量、数据量、计算资源增加而指数提升。
这个定律对现在的生成式大模型AI来说，至关重要。只要Scaling Law
还成立，那么大模型的能力就可以伴随着堆更多的算力、搞更多的参数，喂更多的数据来实现最终的通用人工智能AGI。
这个对AI圈的估值，极端重要。因为毕竟AI圈现在几十万亿的估值，英伟达3.6万亿人类历史上最昂贵公司的加码，可不是现在几个AI聊天机器人或者视频图画生成工具能支撑的，这里边可都包含了对通用人工智能AGI的预期。
如果Scaling
Law不再成立，通过单纯放大模型，增加算力不能到达AGI，那么那么多的cuda显卡的订单，那么高AI企业的估值，可就要付之东流了。美国21世纪最大的生产力革新点，美国唯二超过中国的科技制高点，可就成了明日黄花。
决不能出问题的Scaling Law，似乎出了问题。
**碰上了天花板**
在AI狂飙开始的2021年，就有人提出，Scaling Law可能有上限。但是随着chatGPT 2.0 3.0 3.5的不断迭代和技术飞跃，
Scaling Law的正确性深入人心。 直到ChatGPT 4.0 把人类现存的数据全部吃完。我们似乎碰上了天花板。
最直接的结果就是人工智能旗舰OpenAI的进步速度，停止了。 根据The Information 给出的信息，OpenAI下一代ChatGPT
5的训练出现了重大瓶颈。他们公布的大模型GPT Orion，能力上升的很快，大约只用了20%的训练量，就达到了ChatGPT
4的水平，但OpenAI的研究者发现，后边增加训练量， GPT Orion的水平提升却很慢很微小。 在文本处理上新模型
表现的确更好一点，但在编码等任务上可能还没法无法超越之前的模型。
结果就是，在吃掉人类互联网上所有数据之后，GPT Orion的水平，并没有比ChatGPT 4o高太多，远不及ChatGPT
2到ChatGPT3，或者ChatGPT 3.5到ChatGPT 4的那种飞跃。这导致OpenAI的下一代AI，GPT Orion没法被命名为ChatGPT
5。 为了突破数据用光的问题，OpenAI只能使用通过AI自己生产的“合成数据”来训练新的模型。
结果就是新模型用上老模型生产的合成数据，行为模式和性能表现变得跟老模型极其相似，甚至老模型出现的那些AI幻觉，也都全继承了下来。 Garbage in
Garbage out。使用成本暴涨，性能提升微小，甚至最有价值的编程能力还劣化了，
今年5月，Altman曾告诉员工，他预计下一代Orion很可能会比一年前发布的最后一个旗舰产品模型显著提升，可这个Orion表现，却远未达到目标。
这导致OpenAI开始脱离真正AI智能的提升，反而追求一些“奇技淫巧”的应用，比如让现有的AI模型来控制操作系统，模拟人的操作。
这就好比菊花厂不去搞科技基座和芯片突破，学起电商公司搞社区团购了。 这个Scaling law的天花板，不光OpenAI撞上了，其他各家也都是类似的情况。
OpenAI之外，谷歌的大模型 Gemini 2.0，暴力推模型规模的脸书LLama 3.x， Anthropic的 Opus
3.5模型似乎都碰上了大规模提升token数量，但性能没有提升的问题。 OpenAI前CTO，ChatGPT的缔造者， Ilya
Sutskever作为大模型scaling law的提出者和最早暴力scaling大力出奇迹的开拓者，最近在路透社的采访中表示，扩大
训练的性能提升，已经趋于平稳。
也就是说，用大量未标记数据来理解语言模式和结构的训练阶段到头了。暴力扩大规模的老方法失效了，他离开OpenAI之后，准备寻找一种新的替代方法
_ 谷歌研究院和约翰霍普金斯大学在最新的论文中指出：对于潜在扩散模型，模型不一定是越大越好。 _
“ 2010年代是scaling的时代，现在，我们再次回到了奇迹和发现的时代。每个人都在寻找下一个奇迹。 ”
_俄裔科学家Ilya才是创造ChatGPT的那个人，Altman不过是不那么懂技术的前台商人。现在前台商人把后台科学家赶走了，创始团队所有技术大佬全逼跑了，只剩两个负责商务的，OpenAI真的能再创奇迹？_
幕后的投资人们似乎也焦虑起来。
OpenAI股东，硅谷AI投资大佬 Ben
Horowitz在最近一次YouTube直播中提到，GPU的性能在不断提升，几万几十万张gpu的集群规模也在指数提升。这背后是投资人投资规模的暴力提升和资金的巨量燃烧。但模型的性能却没有响应的提升。GPT
Orion的成本可能是上一代ChatGPT 4o的6倍倒30倍，但性能提升却远远没有反映出成本的上升。
超大规模语言模型的ROI实在已经低到让人发指的程度，同时几十万张显卡同时工作几个月，投入数千万甚至上亿美元训练一次（1.8万亿参数的ChatGPT 4
训练一次约6300万美元），结果却不见得能比之前的模型强多少，这投资故事难以继续下去了。
_
OpenAI之所以不open，不是为了保护人类不被AI毁灭，而是因为他们构建的大模型是可复制的，互联网大厂及AI头部初创企业，都会有能力构建出超越GPT-4的大模型。
_ 投资人焦虑了，问题大条了。毕竟几千亿几万亿的估值，还得他们真金白银的支撑。
OpenAI倒也没有坐以待毙。他们一方面组织了一个叫做foundation的小组，专门负责解决训练数据用完的问题。另一方面，他们采用了所谓数据链推理模型。
_用老模型生成合成数据训练新模型，新模型越来越像老模型_
在新的Orion模型上，除了堆砌训练量，OpenAI找到了一个所谓新的scaling law齿轮。除了在训练模型上大力砖飞，也在模型推理上投入更多资源。
“ 仅需20秒的推理时间便能提升模型性能，效果相当于对模型进行10万倍的扩展和更长时间的训练 ”
这就是新的思维链模型。
但这里就出现了一个问题，所谓一下子可以考虑两万步的思维链模型，本质依靠的是模型本身产生出多个结果，然后从中选出最佳的那个，从而提升模型的能力。
那以后大模型可能就不是最佳的方案，一个尺寸合适的模型配上更多的推理时间可能效果更好。结果就是对于
大规模预训练集群的需求下降，而分布式的、基于云的推理服务器的需求上升。
结果就是在训练集群有cuda护城河的英伟达可以一家独大，真的变成训练和推理二分天下的时候，在推理市场并没有那么强的英伟达可就要吃瘪了。比如TPU、LPU，可能就比GPU更高效。
事实上，根据 台积电最新的财报，其10月销售额同比增29.2％， 较9月近40%的增幅大幅放缓， 为2月以来最低增速。
彭博文章指出，台积电10月的销售数据对人工智能芯片需求的持久力敲响了警钟。
英伟达成败与否，还能说肉烂在锅里（Groq也是美国企业）。但另一个成本问题可能更加棘手。
大模型的智能发展停滞了，但大模型的推理成本上升可是非常迅速，O1的推理成本达到了ChatGPT
4的25倍以上，100次推理成本高达42美元。几乎是已经用不起的模型了。
和人类思维水平相当的计算量大概是 10^35 FLOP ，也就是要在当前最大模型的基础上额外增加 9
个数量级的计算能力。就算未来我们能通过硬件和算法进一步优化，9 个数量级的提升真的可能吗？成本和电力真的够支撑这么巨大的模型吗？
不管从哪个角度看，AI发展的基石，Scaling Law似乎都出了大问题。 覆巢之下，安有完卵？scaling law倒下来，一切都要重估。
___ _
_风大浪高，有些不方便说的，可以点击下边卡片移步可以留言的小号聊一聊，也可关注笔者微博账号 @躺平学副教授_
_笔者的新书上市啦，错爱笔者闲扯的读者，可以点击下边的 阅读原文 购买~~已购买的读者，记得后台联系笔者，加入VIP读者群_
预览时标签不可点
素材来源官方媒体/网络新闻
[ 阅读原文 ](javascript:;)
微信扫一扫
关注该公众号
****
****
× 分析
收藏