{"ObjectType":101,"Sequence":1348,"PreHash":"F9FDB43B3560590A6D8DC8FC23E4A97D","Content":"\r\n\r\n# Scaling Law失效，AI泡沫底层逻辑崩了？\r\n\r\n摸鱼学副教授 [ 美第奇效应 ](javascript:void\\(0\\);)\r\n\r\n__ _ _ _ _\r\n\r\n** 那么多显卡的订单，那么高AI企业的估值，似乎都成了覆巢之下的鸟卵。 **\r\n\r\n** \r\n**\r\n\r\n_风大浪高，点击卡片，关注防迷路_\r\n\r\n谁能想到，让美国AI神话，数十万亿的估值，碰到存亡危机的，竟然不是大选选上来的特朗普和他不靠谱的政策。 昨天，著名科技媒体The\r\nInformation发表了一篇可能动摇了整个AI圈估值逻辑的文章。 \r\n\r\n\r\n\r\n这篇名为《 OpenAI Shifts Strategy as Rate of ‘GPT’ AI Improvements Slows\r\n》的文章指出了一个重大的问题，Scaling Law可能失效了。 所谓 Scaling Law，简单讲就是“缩放定律”，\r\n是指系统或过程在不同尺度下表现出相似或相同行为的规律。 OpenAI四年前曾经发布过一篇论文，\r\n模型的性能会随模型参数量、数据量、计算资源增加而指数提升。\r\n\r\n\r\n\r\n这个定律对现在的生成式大模型AI来说，至关重要。只要Scaling Law\r\n还成立，那么大模型的能力就可以伴随着堆更多的算力、搞更多的参数，喂更多的数据来实现最终的通用人工智能AGI。\r\n这个对AI圈的估值，极端重要。因为毕竟AI圈现在几十万亿的估值，英伟达3.6万亿人类历史上最昂贵公司的加码，可不是现在几个AI聊天机器人或者视频图画生成工具能支撑的，这里边可都包含了对通用人工智能AGI的预期。 \r\n如果Scaling\r\nLaw不再成立，通过单纯放大模型，增加算力不能到达AGI，那么那么多的cuda显卡的订单，那么高AI企业的估值，可就要付之东流了。美国21世纪最大的生产力革新点，美国唯二超过中国的科技制高点，可就成了明日黄花。\r\n\r\n\r\n\r\n决不能出问题的Scaling Law，似乎出了问题。\r\n\r\n**碰上了天花板**\r\n\r\n \r\n\r\n \r\n\r\n在AI狂飙开始的2021年，就有人提出，Scaling Law可能有上限。但是随着chatGPT 2.0 3.0 3.5的不断迭代和技术飞跃，\r\nScaling Law的正确性深入人心。 直到ChatGPT 4.0 把人类现存的数据全部吃完。我们似乎碰上了天花板。\r\n\r\n\r\n\r\n最直接的结果就是人工智能旗舰OpenAI的进步速度，停止了。 根据The Information 给出的信息，OpenAI下一代ChatGPT\r\n5的训练出现了重大瓶颈。他们公布的大模型GPT Orion，能力上升的很快，大约只用了20%的训练量，就达到了ChatGPT\r\n4的水平，但OpenAI的研究者发现，后边增加训练量， GPT Orion的水平提升却很慢很微小。 在文本处理上新模型\r\n表现的确更好一点，但在编码等任务上可能还没法无法超越之前的模型。 \r\n结果就是，在吃掉人类互联网上所有数据之后，GPT Orion的水平，并没有比ChatGPT 4o高太多，远不及ChatGPT\r\n2到ChatGPT3，或者ChatGPT 3.5到ChatGPT 4的那种飞跃。这导致OpenAI的下一代AI，GPT Orion没法被命名为ChatGPT\r\n5。 为了突破数据用光的问题，OpenAI只能使用通过AI自己生产的“合成数据”来训练新的模型。 \r\n结果就是新模型用上老模型生产的合成数据，行为模式和性能表现变得跟老模型极其相似，甚至老模型出现的那些AI幻觉，也都全继承了下来。 Garbage in\r\nGarbage out。使用成本暴涨，性能提升微小，甚至最有价值的编程能力还劣化了，\r\n今年5月，Altman曾告诉员工，他预计下一代Orion很可能会比一年前发布的最后一个旗舰产品模型显著提升，可这个Orion表现，却远未达到目标。\r\n这导致OpenAI开始脱离真正AI智能的提升，反而追求一些“奇技淫巧”的应用，比如让现有的AI模型来控制操作系统，模拟人的操作。\r\n这就好比菊花厂不去搞科技基座和芯片突破，学起电商公司搞社区团购了。 这个Scaling law的天花板，不光OpenAI撞上了，其他各家也都是类似的情况。\r\n\r\nOpenAI之外，谷歌的大模型 Gemini 2.0，暴力推模型规模的脸书LLama 3.x， Anthropic的 Opus\r\n3.5模型似乎都碰上了大规模提升token数量，但性能没有提升的问题。 OpenAI前CTO，ChatGPT的缔造者， Ilya\r\nSutskever作为大模型scaling law的提出者和最早暴力scaling大力出奇迹的开拓者，最近在路透社的采访中表示，扩大\r\n训练的性能提升，已经趋于平稳。\r\n也就是说，用大量未标记数据来理解语言模式和结构的训练阶段到头了。暴力扩大规模的老方法失效了，他离开OpenAI之后，准备寻找一种新的替代方法\r\n\r\n\r\n\r\n_ 谷歌研究院和约翰霍普金斯大学在最新的论文中指出：对于潜在扩散模型，模型不一定是越大越好。 _\r\n\r\n“ 2010年代是scaling的时代，现在，我们再次回到了奇迹和发现的时代。每个人都在寻找下一个奇迹。 ” \r\n\r\n_俄裔科学家Ilya才是创造ChatGPT的那个人，Altman不过是不那么懂技术的前台商人。现在前台商人把后台科学家赶走了，创始团队所有技术大佬全逼跑了，只剩两个负责商务的，OpenAI真的能再创奇迹？_ \r\n幕后的投资人们似乎也焦虑起来。 \r\nOpenAI股东，硅谷AI投资大佬 Ben\r\nHorowitz在最近一次YouTube直播中提到，GPU的性能在不断提升，几万几十万张gpu的集群规模也在指数提升。这背后是投资人投资规模的暴力提升和资金的巨量燃烧。但模型的性能却没有响应的提升。GPT\r\nOrion的成本可能是上一代ChatGPT 4o的6倍倒30倍，但性能提升却远远没有反映出成本的上升。\r\n\r\n\r\n\r\n超大规模语言模型的ROI实在已经低到让人发指的程度，同时几十万张显卡同时工作几个月，投入数千万甚至上亿美元训练一次（1.8万亿参数的ChatGPT 4\r\n训练一次约6300万美元），结果却不见得能比之前的模型强多少，这投资故事难以继续下去了。\r\n\r\n_\r\nOpenAI之所以不open，不是为了保护人类不被AI毁灭，而是因为他们构建的大模型是可复制的，互联网大厂及AI头部初创企业，都会有能力构建出超越GPT-4的大模型。\r\n_ 投资人焦虑了，问题大条了。毕竟几千亿几万亿的估值，还得他们真金白银的支撑。\r\nOpenAI倒也没有坐以待毙。他们一方面组织了一个叫做foundation的小组，专门负责解决训练数据用完的问题。另一方面，他们采用了所谓数据链推理模型。 \r\n\r\n\r\n\r\n_用老模型生成合成数据训练新模型，新模型越来越像老模型_ \r\n\r\n在新的Orion模型上，除了堆砌训练量，OpenAI找到了一个所谓新的scaling law齿轮。除了在训练模型上大力砖飞，也在模型推理上投入更多资源。 \r\n“ 仅需20秒的推理时间便能提升模型性能，效果相当于对模型进行10万倍的扩展和更长时间的训练 ” \r\n这就是新的思维链模型。\r\n但这里就出现了一个问题，所谓一下子可以考虑两万步的思维链模型，本质依靠的是模型本身产生出多个结果，然后从中选出最佳的那个，从而提升模型的能力。\r\n那以后大模型可能就不是最佳的方案，一个尺寸合适的模型配上更多的推理时间可能效果更好。结果就是对于\r\n大规模预训练集群的需求下降，而分布式的、基于云的推理服务器的需求上升。\r\n结果就是在训练集群有cuda护城河的英伟达可以一家独大，真的变成训练和推理二分天下的时候，在推理市场并没有那么强的英伟达可就要吃瘪了。比如TPU、LPU，可能就比GPU更高效。\r\n\r\n\r\n\r\n\r\n事实上，根据 台积电最新的财报，其10月销售额同比增29.2％， 较9月近40%的增幅大幅放缓， 为2月以来最低增速。\r\n彭博文章指出，台积电10月的销售数据对人工智能芯片需求的持久力敲响了警钟。\r\n英伟达成败与否，还能说肉烂在锅里（Groq也是美国企业）。但另一个成本问题可能更加棘手。\r\n大模型的智能发展停滞了，但大模型的推理成本上升可是非常迅速，O1的推理成本达到了ChatGPT\r\n4的25倍以上，100次推理成本高达42美元。几乎是已经用不起的模型了。\r\n\r\n\r\n\r\n和人类思维水平相当的计算量大概是 10^35 FLOP ，也就是要在当前最大模型的基础上额外增加 9\r\n个数量级的计算能力。就算未来我们能通过硬件和算法进一步优化，9 个数量级的提升真的可能吗？成本和电力真的够支撑这么巨大的模型吗？\r\n不管从哪个角度看，AI发展的基石，Scaling Law似乎都出了大问题。 覆巢之下，安有完卵？scaling law倒下来，一切都要重估。\r\n\r\n___ _\r\n\r\n_风大浪高，有些不方便说的，可以点击下边卡片移步可以留言的小号聊一聊，也可关注笔者微博账号 @躺平学副教授_\r\n\r\n_笔者的新书上市啦，错爱笔者闲扯的读者，可以点击下边的 阅读原文 购买~~已购买的读者，记得后台联系笔者，加入VIP读者群_\r\n\r\n预览时标签不可点\r\n\r\n素材来源官方媒体/网络新闻\r\n\r\n[ 阅读原文 ](javascript:;)\r\n\r\n微信扫一扫 \r\n关注该公众号\r\n\r\n\r\n\r\n\r\n\r\n****\r\n\r\n\r\n\r\n****\r\n\r\n\r\n\r\n× 分析\r\n\r\n 收藏\r\n\r\n","Timestamp":1731427200000,"PublicKey":"036CDD86E02137BFE8334333B1B122B0375E2BD8C312B24468BC7A3FF80539A793","Signature":"3045022100F3F84E355A6F0084061EA134311018D43E7A210CCD77303491B1C04BD91B6F110220080633156E14C2003C68F89E26B957DB9D1377C40A0D82C46C6B73E2ABCC3A02"}