Sequoia Capital Training Data 播客 | 70分鐘 | Dylan Patel, SemiAnalysis
「AI 最大的性能突破不來自更快的晶片，而是軟硬體協同設計。把模型、kernel、晶片一起優化，每個 2 倍乘起來就是 100 倍。」
Dylan Patel 在與 Sequoia Capital 的深度對話中，揭示了 AI 基礎設施的真實戰場——不在模型層，而在矽層與代碼層之間的交互作用。
- 硬體-軟體協同設計的乘法效應
- DeepSeek V3 如何完美對齊 Nvidia Hopper 記憶體層級
- InferenceX Benchmark：推論成本每年暴跌 60 倍
- 記憶體架構革命：直接堆疊記憶體到晶片上
- 散熱極限突破：微流體冷卻讓功率密度爆炸
- GPU vs TPU 之戰：通用性 vs 效率
- CUDA 護城河正在轉移——從軟體回到物理
- SRAM 架構的規模陷阱
- 十年賭注：模擬計算 + 能量模型
Patel 指出孤立優化各層只能帶來線性增益，但重新設計整條技術棧以消除層間摩擦，就能產出指數級飛躍。從 Hopper 到 Blackwell，DeepSeek 在三年間實現了約 30 倍的效能提升——真正突破來自「跨越幾層，共同優化」。
DeepSeek V3 之所以能實現極高效率，是因為將 Mixture of Experts 的參數結構精確對齊了 Nvidia Hopper 的記憶體層級和矩陣乘法單元大小。這不是模型創新——這是硬體感知設計的勝利。
InferenceX Benchmark 每天在價值超過 5000 萬美元的捐贈硬體上運行最新模型，追蹤到「每單位質量的成本每年下降約 60 倍」。Patel 斷言：AI 推論市場將超越石油。
傳統的馮諾依曼瓶頸（處理器空轉等數據）將被打破。未來幾年，直接在邏輯晶片上堆疊記憶體（而非分開放置 HBM）將讓頻寬爆炸式增長，同時大幅降低能耗。
過去的壁壘是 CUDA kernel 開發的人力成本。現在 LLM 可以自動生成 kernel，競爭壁壘回到了原始物理：互連頻寬、SRAM 大小、散熱極限。軟體正在被 commoditize——真正的 moat 回到了矽層。
| 概念 | 說明 |
|---|---|
| 硬體-軟體協同設計 | 同時優化模型、kernel、晶片，乘法效應 |
| MoE 對齊 H100 | DeepSeek V3 的 Expert 大小完美匹配 H100 記憶體 |
| InferenceX | 每日追蹤推論成本，年降 60 倍 |
| Direct Chip Stacking | 記憶體直接堆疊在邏輯晶片上，頻寬爆炸 |
| Microfluidic Cooling | 微流體局部冷卻突破 1W/mm² 極限 |
| SRAM 規模陷阱 | Cerebras/Groq 的 SRAM 架構難以擴展到超大模型 |
| Analog Compute | 利用物理定律做矩陣運算，可能帶來數量級功耗降低 |
| 啟示 | 說明 |
|---|---|
| 模型架構決策是硬體決策 | MoE 的 Expert 大小、稀疏度直接決定在哪種晶片上跑得動 |
| CUDA 不是永遠的護城河 | LLM 自動生成 kernel，軟體壁壘正在消失 |
| 推論成本暴跌 = 新應用爆發 | 每年 60 倍降幅，將使 AI 應用滲透到所有行業 |
| 硬體創新仍在加速 | 散熱、記憶體、晶片架構同時突破中 |
| 中國硬體生態正在分化 | DeepSeek 對 Nvidia 的深度優化 vs 華為/寒武紀的自主路線 |
- "The biggest gains don't come from faster chips, they come from software-hardware co-design."
- "Inference will be a bigger market than oil."
- "The CUDA moat is at least partially disentangled because models are just great at coding."
- "We're now finally doing things where you actually can pump the amount of power into the silicon to be way more."
- "Probably won't work, but you know, that's exciting."
來源：https://youtu.be/f6D_aiy8qyU 播客：Sequoia Capital Training Data, Dylan Patel (SemiAnalysis)