SemiAnalysis和红杉资本将AI基础设施建设定框架为具有100倍价值创造潜力的全栈共同设计机会。
Sequoia的Sean介绍了SemiAnalysis的Dylan Patel，称赞该公司是半导体领域领先的独立研究机构。SemiAnalysis涵盖技术细节、供应链和更广泛的行业背景，而在西方，半导体产业的主流关注度已经大幅下降。最近的传言表明该公司已经突破1亿美元的收入，并有可能建立风险投资基金，这证明了Dylan建立的信任品牌的价值。
Dylan成长在一个家族经营的汽车旅馆和加油站业务中，在那里他学会了理解技术细节、经济学和利润率，这些后来成为了他专业知识的核心。八岁时，他在生日当天获得了Xbox 360主机作为圣诞礼物，收到该机型宣布后不久。当这台设备出现红屏死机硬件故障时，他打开机器并通过短接温度传感器成功修复了它，其他方法都失败了。这个关键时刻"打开了潘多拉魔盒"，激发了他对硬件改造的终身热情。到了十二岁，他已经在硬件社区和论坛中活跃，为他后来的职业生涯奠定了基础。
Dylan获得了与半导体无关的学位，并在一家小型风险公司担任量化分析师两年，之后2020年初的一系列个人挫折改变了他的人生轨迹。职场问题、祖母因痴呆症去世，以及COVID封锁促使他搬到纳什维尔与哥哥同住。在这段时期，他在线发布内容更加频繁，在COVID和半导体短缺期间进行了盈利的股票交易，最终被人肉搜索。在他二十四岁生日那天，他以真名发布了两篇详细的公开博客文章，推出了SemiAnalysis，这些文章迅速获得了广泛关注，并最终导致了咨询工作的出现。
经历这段动荡时期后，Dylan用了六个月时间开着卡车和帐篷游历美国各地的国家公园。他在工作日协商便宜的汽车旅馆房间，周末则阅读有关半导体和AI的教科书。他在旅行期间继续发布详细的博客，后来又在拉丁美洲度过了一段时间。他开始每年参加全球四十多场会议，从NeurIPS等大型AI活动到SPIE光刻会议等高度技术性的展会。通过与这些活动中的专家进行直接交流，他学到了极少有地方发表的晦涩供应链细节，大大深化了他的专业知识，同时从2020年年中起，他基本处于无家可归状态。
InferenceX代表了Dylan对一个根本问题的回应：由于模型发布速度快和软件不断优化，传统的时点基准测试很快就会过时。该平台在来自Nvidia、AMD、Google和Amazon等提供商捐赠的价值超过5000万美元的硬件上运行自动化的日常基准测试，针对最新模型。它重点关注吞吐量与交互性曲线这个关键指标，公开分享最优配置，使任何人都能实现接近峰值的性能。该项目追踪成本和能效，揭示了每瓦和每美元上大约40-60倍的智能年度增长。Dylan认为推理将成为地球上最大的市场之一，最终经济影响会超过石油。
硬件-模型协设计成为前沿AI开发的中心主题。OpenAI的模型倾向于稀疏性，而Anthropic的模型相对更加密集，产生了根本不同的优化要求。这些架构差异影响模型如何映射到特定硬件（如GPU对TPU），影响矩阵乘法形状、注意力机制和专家路由。硬件互连和网络拓扑进一步强化了这些差异，使得模型架构和底层硬件之间的协设计对峰值性能至关重要。
Nvidia的NVLink通过专用交换机连接多达七十二个GPU，而Google的ICI允许多达八千个芯片通过其他芯片的路由在无交换机的情况下以高带宽通信。这些相对的互连设计产生了不同的延迟、带宽和扩展特性。硬件的物理形状和连通性直接影响哪些模型架构在每个平台上表现最佳。模型公司优化其架构以适应他们主要使用的特定互连，为每个生态系统创造强大的路径依赖。
传统的CUDA护城河正在部分侵蚀，因为前沿模型实验室现在使用AI编码工具为替代芯片编写自定义内核。由于只有少数主要模型开发者，跨数千名客户的广泛可编程性需求已经减少。然而，下游生态系统效应仍然存在：为Nvidia硬件深度共优化的模型在其他平台上运行效率不佳。大型实验室经常fork开源框架或构建自己的栈，减少对标准CUDA工具的依赖。护城河正在从原始可编程性转向全栈协设计优势。
中国实验室已经开发了为Nvidia GPU明确协设计的模型，使其在TPU和其他架构上效率更低。主要的西方实验室同样在模型架构、基础设施软件和目标硬件之间协优化，以获得倍增收益。当优化跨越所有层同时进行时，改进可以达到一百倍，而不是来自单个层的简单加法或乘法收益。较小的团队仍然严重依赖vLLM和SGLang等开源工具，而前沿实验室有资源定制一切。全栈协设计正在成为竞争优势的主要来源。
Cerebras在非常快速的推理方面表现出色，SemiAnalysis本身广泛使用它来完成高价值任务，其中速度能证明高端定价的合理性。该公司的基于SRAM的架构在扩展到具有很长上下文长度的超大型模型时面临挑战。领先实验室的大部分收入和使用量仍然来自他们最好的——最大的——模型，其中快速推理模式提供了明确的投资回报率。Dylan强调了对每项任务的令牌支出和投资回报率进行严格追踪，以决定快速模式何时值得付费。Cerebras占据了一个有价值但专门的小众位置，而不是替代所有工作负载的通用GPU或TPU集群。
Dylan对AI没有投资回报率或模型进展已经停滞的声称感到特别沮丧。他指出能力始终在稳步上升，旧的基准已经饱和，而新的、更难的基准显示了快速的进展。半导体涉及数千个复杂层，即使是专家也每天都在学习关于化学物质、工艺和供应链的新细节。人们通常掌握准确的事实，但由于缺乏跨抽象层的背景信息，会得出完全不正确的结论。他基于数据和直接观察，认为持续的模型改进和经济价值创造是不可否认的。
展望未来，Dylan对太空数据中心和SpaceX在未来十年内带来的机会感到高度兴奋。他预计共封装光学将在这个十年末到来，关于具体时间的辩论主要围绕这一点展开。专业芯片将在Nvidia和少数几个超大规模ASICs主导大部分市场的同时，开辟出有利可图的小众市场。计算瓶颈仍然存在，因为对有用AI任务的需求增长速度超过了新的电力容量上线的速度，尽管部署的电力在按季度增加。前沿实验室的高毛利使其能够为额外的计算支付巨额溢价而不会破坏盈利能力，这从根本上改变了业界对基础设施投资和AI价值创造的思考方式。