192956492719.jpg


    上周,英国风投机构AirStreet资本连续第7年发布了年度AI报告(State of AI 2024)。它火过一阵,但在ChatGPT发布近两年后,AI成为了全球最热的投资领域,科技巨头及其挑战者的进展,早已事无巨细地被迅速展现在投资者面前,它又少了一点新鲜感。


但它对AI论文发表及涉及相关芯片的数据,还有几分价值,能够印证今年以来大模型及AI行业的发展现状,并为判断未来趋势提供一点佐证。


第一,开放权重模型正在进步,但开放精神已经倒退。


随着对前沿大模型的竞争日趋激烈,Meta,微软、阿里巴巴、腾讯与谷歌拥有越来越多的最先进的算力芯片,但越来越对公开AI论文有所保留。甚至是拿出了最强大开源模型Llama3的Meta,其论文发表水平较上一年也降低了13%。与之相对的是,学术界开始发力。


183501915004.png

AI论文发表水平年度变化


已发表论文的披露细节,及向学界开放的态度,也让很多研究者不满。蛋白结构预测模型AlphaFold3在今年5月刚发布时就宣称没有开源计划,引发了学术界众怒,数百位学者联署公开信称,这种做法不符合科学进步的原则,科学进步依赖于社区评估、使用和建立现有工作的能力。几天后,DeepMind改口,称将开放代码和模型权重供学术使用。


第二,英伟达地位牢不可破,至少在短期内没有挑战者。


英伟达芯片在AI论文中的使用频率,从去年的比所有同行高出18倍,降低到今年的高出10倍。谷歌、华为与苹果是有潜力的挑战者,在论文中出现的频率增长迅速,但仍与英伟达存在几个数量级的差距。

183502023829.png


不同芯片在AI论文中的引用情况


使用谷歌TPU的论文比去年同期增长了5倍,使用华为昇腾910的论文增长了4倍。今年,谷歌刚发布了第六代TPU芯片Trillium;连OpenAI都专门从TPU团队挖人。9月底,媒体报道华为寄出了升级版的910C以供测试;此前,SemiAnalysis认为,它的算力性能可能会超过英伟达缩水版的B20。


但在短期内,英伟达的身后不会出现挑战者。在很大程度上,前沿模型在训练市场的继续突破,AI应用在推理市场的落地规模,以及ASML—台积电—英伟达这条不那么有弹性的供应链的安全,才是决定它上限的关键因素。


巨头仍在加紧抢购英伟达最先进的Blackwell GPU。摩根士丹利称,英伟达B系列芯片明年的订单已经售罄。这让英伟达锁定了未来12个月的财务业绩。


黄仁勋最近一直在谈论o1模型,称其将推理推到了新的高度。新的大模型技术路线,也为英伟达带来了新的增长空间,至少是新的AI叙事。“慢思考”有其固有推理模式的因素,也有当前算力制约因素的影响。10月,英伟达更新了自己的演示PPT(investor presentation),把o1象征的推理的“扩展定律”也加了进去。


为了满足这些算力增量的电力需求,继亚马逊、微软与甲骨文后,谷歌也正式采购了核电,与Kairos签订长期合作协议,目标是在2030年交付,2035年全面部署约500兆瓦(MW)“新的24×7无碳电力”。


订单压力已经传递到台积电,后者加快了扩产步调,刚收购了群创光电的工厂,确保在2025年上半年就能释放足够的CoWoS先进封装产能。英伟达是目前台积电最大的客户,预计明年上半年将规模量产GB200,下半年规模量产GB300,以及2026年的VR200(即Vera CPU+Rubin GPU)


第三,A100仍是科研主力芯片,H100正迅速用于学术界。


随着H200成为商业订单主流,B200进入量产阶段,H100正在迅速成为过季产品,在算力租赁市场的价格大幅下降,引发“GPU泡沫“的质疑。但这主要是结构性的失衡。


一方面是训练与推理的失衡。对前沿模型的训练竞争,很大程度上依赖于最先进芯片的超大规模数据中心的建设。上一代模型训练完成后,大量算力被释放到推理市场,对于推理市场整体真实需求而言,它存在过剩。尤其是面向中小客户的零散的H100算力的租赁,会随着前沿模型竞赛向大玩家收敛而式微;如果它们的客户发展顺利,部分也会选择自建算力。在早期市场,芯片迭代越快,上一代芯片租赁价格打折得就越快。


另一方面是玩家间的失衡。OpenAI预计2024年的年收入将达到37亿美元,其中27亿美元来自ChatGPT,10亿美元来自API开发者与企业服务。OpenAI仍然面临算力紧缺的局面,常常抱怨微软算力上线不及时,最近开始与甲骨文谈判合作。


不同英伟达芯片在AI论文引用情况

183503178280.png


英伟达的芯片,遵循着价值从训练向推理再向科研逐步释放的路径。从发布到出现在AI论文中的频次的峰值,大概需要五到六年的时间跨度。


上一代明星产品V100,在发布7年后,今年在AI论文中的出现频率,下降了20%。A100已经成为了新的科研用主力芯片,按照目前的趋势,它的峰值将比V100高得多。这也将是下一代H100的路径。


更便宜的H100算力,也将在AIfor Science或Science for AI等领域释放更高的价值。诺贝尔奖认可这一逻辑。今年,尽管基数较低,H100出现在AI论文中的增幅明显提升,增长了近5倍,未来几年,随着更多H100进入学术界,能让AI创新探索更多元的进化方向。


第四,芯片初创企业中,Cerebras与Groq正在拼杀出来。


Cerebras的晶圆级巨型芯片,在AI论文中出现的频次增长翻番,是挑战英伟达AI霸权的重要新兴力量。该公司已申请上市,近90%收入来自中东地区的G42。


Groq在今年初露峥嵘,自研LPU,为计算密集型应用提供更快的推理能力。今年8月,该公司又融资了6.4亿美元,并拉拢了Meta首席人工智能科学家LeCun担任自己的技术顾问。该公司与阿美石油等中东客户关系密切。


183503774398.png

初创企业芯片在AI论文引用情况


但是,如果美国政府真的限制英伟达与AMD的芯片进入中东,那么Cerebras与Groq该好好思考下,这于己意味着更大的地缘机遇,还是同样意味着地缘风险。


本文来自微信公众号:未尽研究,作者:未尽研究