AI Infra 架构设计面试专题（System Design for AI Infra）

4 大方法论与 3 个工业级系统设计全景实战方案

专题定位：专为大模型预训练架构师、分布式推理平台负责人与具身智能 Infra 核心岗位打造的系统设计（System Design）实战专题。

AI Infra 系统设计四步通关法

不同于传统互联网基于微服务（RPC、MySQL、Redis、Kafka）的业务系统设计，AI Infra 的系统设计本质是“以计算核心与网络总线物理极限为约束”的硬件协同系统工程。

在面对任何宏观系统设计题时，严格按照以下四步框架展开，能够展现出无懈可击的技术成熟度：

flowchart TD
    Step1["步骤 1：需求拆解与物理边界估算<br>(参数规模、模型 FLOPs、通信量、显存峰值、SLO/SLA 延时指标)"]
    Step2["步骤 2：硬件拓扑与设备网格编排<br>(Spine-Leaf 网络架构、NVLink 域、Rail-Optimized 导轨无冲突拓扑)"]
    Step3["步骤 3：并行切分与计算通信重叠流水<br>(5D 并行正交切分、跨 Mesh 张量重路由、微批次双缓冲 Overlap)"]
    Step4["步骤 4：容错自愈与高可靠监控运维<br>(Daly 最优 Checkpointing 周期、秒级局部无损热替换、NaN 异常熔断)"]

    Step1 --> Step2 --> Step3 --> Step4

图 1：AI 基础设施系统设计四步标准化推演框架

步骤 1：需求拆解与物理边界估算（Capacity & Bound Estimation）
- 估算模型参数 $\Phi$ 、静态显存（ $16\Phi$ ）与动态激活值；
- 依据目标 Token 吞吐与硬件峰值算力，推导集群所需 GPU 总张数与理论训练天数；
- 明确关键 SLO/SLA 指标（如训练集群有效运行时间率 $> 95\%$ 、推理首包延迟 $\text{TTFT} < 100\text{ms}$ 、生成间隔 $\text{TPOT} < 20\text{ms}$ ）。
步骤 2：硬件拓扑与设备网格编排（Hardware Topology & Rail-Alignment）
- 依据 NVLink 域（单机 8 卡 $900\text{GB/s} \sim 1.8\text{TB/s}$ ）与跨节点 RDMA 域（InfiniBand / RoCE v2 $400\text{Gbps} \sim 800\text{Gbps}$ ）的带宽阶梯分布，设计物理拓扑；
- 制定 Rail-Optimized（导轨对齐）网络架构，彻底消灭跨 TOR 交换机拥塞。
步骤 3：并行切分与计算通信重叠流水（Parallelism & Overlap Pipeline）
- 组合数据并行（DP/ZeRO）、张量并行（TP）、序列并行（SP）、流水线并行（PP）与专家并行（EP）；
- 设计异步非阻塞通信图，使得张量通信完全隐藏在计算核心的 GEMM 窗口内部。
步骤 4：容错自愈与高可靠监控运维（Resilience, Fault Tolerance & Diagnostics）
- 基于 Daly 公式推导最优 Checkpointing 保存周期，权衡故障浪费时间与写盘开销；
- 设计坏卡隔离、In-memory 快速恢复与分布式健康心跳探测机制。

系统设计实战方案目录

专题编号	系统设计实战题目	核心考察技能与技术突破点	对应工业级对标案例
Case 01	万卡千亿/万亿 MoE 超大规模预训练平台设计	万卡 8-Rail RoCE 拓扑、DeepEP 节点限制 All-to-All、Dual-Pipe 流水、Daly 容错	DeepSeek-V3 / LLaMA-3 万卡训练集群
Case 02	高并发低时延分布式 LLM / VLA 推理服务集群设计	PD 分离架构、RDMA 零拷贝 KV Cache 迁移、RadixTree 前缀复用、具身双缓冲流式调度	vLLM V1 / SGLang / 具身端侧引擎
Case 03	规模化具身车队遥操作数据飞轮与持续学习系统	边缘高熵临界轨迹挖掘、GPUDirect Storage 零拷贝进显存、Sim-to-Real 混合强化学习流水线	特斯拉 FSD 数据飞轮 / 具身机器人车队

系统设计面试考察维度与评分基准

在 AI Infra 领域的技术面试中，评委通常依据以下四个层级进行定级评定：

Junior / 准入线（P6 / L4）：能够复述常见的并行模式定义（DP/TP/PP），知道通信使用 NCCL，能算出基础显存大小，但缺乏拓扑概念与非均质场景设计能力；
Senior / 资深线（P7 / L5）：能够熟练推导通信量与网络延迟模型，能够给出合理的 5D 并行切分方案，具备明确的 Rail-Optimized 拓扑意识，能考虑 Checkpoint 恢复代价；
Staff / 架构师线（P8 / L6+）：能从底层硬件微架构和物理边界出发推导方案极限；能够敏锐指出经典方案在特殊场景下的失效条件（如非均匀流水线气泡雪崩、跨 Mesh 张量重排维度失配、PD 分离中的带宽饱和瓶颈），并给出具备工业实操可行性的自愈与创新优化策略。

🎁 配套真题推荐：大厂 AI Infra & CUDA 核心面试真题题库

💡 宏观架构设计 + 微观算子手撕双管齐下

搞定系统设计（System Design）能助你通过 P7/P8 架构师维度的宏观大考，而在实际大厂技术面试中，面试官往往还会进一步“垂直下潜”考察微观的算子手撕、显存优化与底层状态诊断。

欢迎在 闲鱼 App 搜索卖家「archer中了箭」（或搜索关键词 archer中了箭 cuda），获取作者精心梳理汇总的 一线大厂 CUDA 算子开发与 AI Infra 高频面试题汇总解析。宏观系统架构与微观底层手撕融会贯通，全面夯实你的大厂通关实力！

👉 查看题库详情与白板心法速查

← 上一课
AI Infra 面试必备：一页纸核心公式与推导速查表 下一课 →
系统设计 01：万卡千亿/万亿 MoE 超大规模…

--- title: "AI Infra 架构设计面试专题（System Design for AI Infra）" subtitle: "4 大方法论与 3 个工业级系统设计全景实战方案" --- ::: {.callout-note appearance="simple"} **专题定位**：专为大模型预训练架构师、分布式推理平台负责人与具身智能 Infra 核心岗位打造的**系统设计（System Design）实战专题**。 ::: ## AI Infra 系统设计四步通关法不同于传统互联网基于微服务（RPC、MySQL、Redis、Kafka）的业务系统设计，**AI Infra 的系统设计本质是“以计算核心与网络总线物理极限为约束”的硬件协同系统工程**。在面对任何宏观系统设计题时，严格按照以下四步框架展开，能够展现出无懈可击的技术成熟度： ```{mermaid} flowchart TD Step1["步骤 1：需求拆解与物理边界估算 (参数规模、模型 FLOPs、通信量、显存峰值、SLO/SLA 延时指标)"] Step2["步骤 2：硬件拓扑与设备网格编排 (Spine-Leaf 网络架构、NVLink 域、Rail-Optimized 导轨无冲突拓扑)"] Step3["步骤 3：并行切分与计算通信重叠流水 (5D 并行正交切分、跨 Mesh 张量重路由、微批次双缓冲 Overlap)"] Step4["步骤 4：容错自愈与高可靠监控运维 (Daly 最优 Checkpointing 周期、秒级局部无损热替换、NaN 异常熔断)"] Step1 --> Step2 --> Step3 --> Step4 ``` 图 1：AI 基础设施系统设计四步标准化推演框架 1. **步骤 1：需求拆解与物理边界估算（Capacity & Bound Estimation）** - 估算模型参数 $\Phi$、静态显存（$16\Phi$）与动态激活值； - 依据目标 Token 吞吐与硬件峰值算力，推导集群所需 GPU 总张数与理论训练天数； - 明确关键 SLO/SLA 指标（如训练集群有效运行时间率 $> 95\%$、推理首包延迟 $\text{TTFT} < 100\text{ms}$、生成间隔 $\text{TPOT} < 20\text{ms}$）。 2. **步骤 2：硬件拓扑与设备网格编排（Hardware Topology & Rail-Alignment）** - 依据 NVLink 域（单机 8 卡 $900\text{GB/s} \sim 1.8\text{TB/s}$）与跨节点 RDMA 域（InfiniBand / RoCE v2 $400\text{Gbps} \sim 800\text{Gbps}$）的带宽阶梯分布，设计物理拓扑； - 制定 Rail-Optimized（导轨对齐）网络架构，彻底消灭跨 TOR 交换机拥塞。 3. **步骤 3：并行切分与计算通信重叠流水（Parallelism & Overlap Pipeline）** - 组合数据并行（DP/ZeRO）、张量并行（TP）、序列并行（SP）、流水线并行（PP）与专家并行（EP）； - 设计异步非阻塞通信图，使得张量通信完全隐藏在计算核心的 GEMM 窗口内部。 4. **步骤 4：容错自愈与高可靠监控运维（Resilience, Fault Tolerance & Diagnostics）** - 基于 Daly 公式推导最优 Checkpointing 保存周期，权衡故障浪费时间与写盘开销； - 设计坏卡隔离、In-memory 快速恢复与分布式健康心跳探测机制。 --- ## 系统设计实战方案目录 | 专题编号 | 系统设计实战题目 | 核心考察技能与技术突破点 | 对应工业级对标案例 | | :---: | :--- | :--- | :--- | | **Case 01** | [**万卡千亿/万亿 MoE 超大规模预训练平台设计**](01_moe_pretrain_cluster.qmd) | 万卡 8-Rail RoCE 拓扑、DeepEP 节点限制 All-to-All、Dual-Pipe 流水、Daly 容错 | DeepSeek-V3 / LLaMA-3 万卡训练集群 | | **Case 02** | [**高并发低时延分布式 LLM / VLA 推理服务集群设计**](02_low_latency_inference_cluster.qmd) | PD 分离架构、RDMA 零拷贝 KV Cache 迁移、RadixTree 前缀复用、具身双缓冲流式调度 | vLLM V1 / SGLang / 具身端侧引擎 | | **Case 03** | [**规模化具身车队遥操作数据飞轮与持续学习系统**](03_embodied_fleet_data_flywheel.qmd) | 边缘高熵临界轨迹挖掘、GPUDirect Storage 零拷贝进显存、Sim-to-Real 混合强化学习流水线 | 特斯拉 FSD 数据飞轮 / 具身机器人车队 | --- ## 系统设计面试考察维度与评分基准在 AI Infra 领域的技术面试中，评委通常依据以下四个层级进行定级评定： * **Junior / 准入线（P6 / L4）**：能够复述常见的并行模式定义（DP/TP/PP），知道通信使用 NCCL，能算出基础显存大小，但缺乏拓扑概念与非均质场景设计能力； * **Senior / 资深线（P7 / L5）**：能够熟练推导通信量与网络延迟模型，能够给出合理的 5D 并行切分方案，具备明确的 Rail-Optimized 拓扑意识，能考虑 Checkpoint 恢复代价； * **Staff / 架构师线（P8 / L6+）**：能从底层硬件微架构和物理边界出发推导方案极限；能够敏锐指出经典方案在特殊场景下的失效条件（如非均匀流水线气泡雪崩、跨 Mesh 张量重排维度失配、PD 分离中的带宽饱和瓶颈），并给出具备工业实操可行性的自愈与创新优化策略。 --- ## 🎁 配套真题推荐：大厂 AI Infra & CUDA 核心面试真题题库 ::: {.callout-tip icon=false} ### 💡 宏观架构设计 + 微观算子手撕双管齐下搞定系统设计（System Design）能助你通过 P7/P8 架构师维度的宏观大考，而在实际大厂技术面试中，面试官往往还会进一步“垂直下潜”考察微观的算子手撕、显存优化与底层状态诊断。欢迎在 **闲鱼 App 搜索卖家「archer中了箭」**（或搜索关键词 **`archer中了箭 cuda`**），获取作者精心梳理汇总的 **一线大厂 CUDA 算子开发与 AI Infra 高频面试题汇总解析**。宏观系统架构与微观底层手撕融会贯通，全面夯实你的大厂通关实力！ 👉 [查看题库详情与白板心法速查](../cheatsheet/index.qmd#interview-product) ::: ::: {.course-pagination} [**← 上一课** AI Infra 面试必备：一页纸核心公式与推导速查表](../cheatsheet/index.qmd){.pagination-link .pagination-prev} [**下一课 →** 系统设计 01：万卡千亿/万亿 MoE 超大规模...](01_moe_pretrain_cluster.qmd){.pagination-link .pagination-next} :::