大模型路线之争MoE获胜，国内MoE谁最强？

　　英伟达暴跌了。

　　4月19日一开盘，英伟达遭遇2024年以来最大规模的股票恐慌性抛售，最终出现股价下跌10%，市值消失1.5万亿人民币的悲剧。 本文来自散户吧WWW.SANHUBA.COM

　　更关键的是，海外部分AI玩家烧不起钱了，尤其是那些基于llama 2和3开源模型的公司，用的transformer架构，成本太贵。再加上一些悄悄研发自己大模型的厂商(比如苹果)也开始撤出。这些信息的叠加，引发机构投资者对完全依靠资源堆积的大模型发展模式感到担忧，最终导致英伟达股价下跌。

　　富国银行分析师莱恩.克里对外表示，英伟达出现恐慌式抛售不奇怪，“资本市场在进入2024年后，其实一直对AI硬件股票小心谨慎。原因在于大家觉得一方面他们估值过高，另一方面其实是目前主流的几家大模型，都没有找到可持续的变现途径，支撑不起庞大且长期不变的硬件投入。”

本文来自散户吧WWW.SANHUBA.COM

　　实际上，这已经成为资本市场的共同认知。所以，对于这几家AI硬件龙头股票，机构投资者在进入2024年后，都视作是一场“击鼓传花”游戏。

本文来自散户吧WWW.SANHUBA.COM

　　当然，资本也开始对新的技术模式展开探讨，比如MoE专家网络以及去二次方大模型架构等等。尤其是MoE，因为技术的可持续性，被认为是下阶段大模型发展破局的突破口，资金开始疯狂进入。 本文来自散户吧WWW.SANHUBA.COM

　　于是，行业产生一系列问题需要回答：这到底是怎么发生的？大模型还有未来吗？未来又在哪里？MoE是什么？谁能代表MoE扛起AI大旗？ 本文来自散户吧WWW.SANHUBA.COM

　　巨头的无奈

　　为什么大家开始认为以英伟达算力芯片为核心的AI硬件，变成击鼓传花的游戏？原因就在于英伟达每升级一个版本，其相关芯片的价格就会暴涨几倍。

本文来自散户吧WWW.SANHUBA.COM

　　英伟达A100算力芯片在中国市场备受瞩目，2021年上市后大规模出口中国，成为AI和大模型应用的基础算力。初期定价为3000-5000美元，随后价格上涨至8000美元。

　　2022年底，美国禁令限制向中国出口A100，导致定制版A800价格飙升至10000美元以上。英伟达随后发布的H100芯片起售价接近2万美元，而GB200芯片组起售价在3-4万美元。 本文来自散户吧WWW.SANHUBA.COM

　　在国外社交媒体上，有人戏称英伟达“技术进步以涨价为本”。 本文来自散户吧WWW.SANHUBA.COM

　　其实英伟达有自己的无奈，中国市场顶峰时曾占英伟达1/4的份额，目前因为政治因素已经下降到不到4%，这中间巨大的市场缺失不得不通过新产品涨价来弥补。 本文来自散户吧WWW.SANHUBA.COM

　　但不断上涨的算力芯片价格，也让那些开发大模型的互联网巨头开始吃不消。

　　当下最主要的这些互联网巨头推出的模型，大部分使用的都是transformer模型架构。而这个架构是2017年由Google团队在论文《Attention Is All You Need》中提出以来，已成为自然语言处理(NLP)领域的核心技术之一。 本文来自散户吧WWW.SANHUBA.COM

　　这个架构有很多好处，但最大的缺点就是必须不断投入大量的运算资源，以支撑模型的训练和对外提供服务。纽约时报曾爆料，OpenAI支撑ChatGPT对外提供服务，需要使用3万块英伟达A100的算卡，而且每天的耗电超过50万度。 本文来自散户吧WWW.SANHUBA.COM

　　想想都觉得可怕。

　　英伟达一直在寻求解决方案以降低互联网巨头使用Transformer模型训练和推理的成本。黄仁勋表示，英伟达的芯片进化正是为此目的。随着算力芯片性能的提升，成本有望进一步下降。 本文来自散户吧WWW.SANHUBA.COM

　　问题是由于巨头间的激烈竞争，模型训练和推理能力需持续增强，这推动了英伟达最新算卡出货量的大幅增长。

本文来自散户吧WWW.SANHUBA.COM

　　另一方面，无论是引领潮流的OpenAI与ChatGPT，还是Meta、谷歌、马斯克推出的开源大模型，都未找到稳定的商业化道路。 本文来自散户吧WWW.SANHUBA.COM

　　OpenAI在推出GPT4之前，据说每月收入不足成本的1/3。面临商业模式不清晰、收入无法覆盖成本的困境，以及英伟达年年涨价的事实，互联网巨头管理层开始反思这种以资源投入和算卡堆砌推动模型发展的模式。

本文来自散户吧WWW.SANHUBA.COM

　　MoE成为解题关键

　　对于这些推出大模型服务的互联网科技巨头来说，想解决英伟达算卡涨价带来的成本支出不可持续问题，有两个解决方向。

　　一个是自研算力芯片。近年来，多家科技巨头如微软、OpenAI、Meta、马斯克，以及谷歌和亚马逊等，均宣布了自研芯片计划或已制作出样片。然而，自研算力芯片需要进行后期对接效果调整，并摆脱英伟达的CUDA重新制作中间层，这导致时间成本难以估量。 本文来自散户吧WWW.SANHUBA.COM

　　因此，另一个解题方向就被他们异常重视，希望通过改变模型底层架构，换一种不耗费那么多资源就可以达到很好训练和推理效果的模型架构，来开发自己的大模型。 本文来自散户吧WWW.SANHUBA.COM

　　而在硅谷，确实有这么一种模型架构在这两年被人不断提起，甚至在很多中小模型开发方的实践中，得到了印证。

　　这就是MoE。 本文来自散户吧WWW.SANHUBA.COM

(小编：财神)