DeepSeek开源周第六天：
深度求索（DeepSeek）最新公开的推理系统技术文档显示，其千亿参数大模型DeepSeek-V3/R1通过创新的跨节点专家并行（Expert Parallelism，EP）架构，实现了高达545%的理论成本利润率。该系统采用EP32至EP144动态并行策略，在预填充阶段通过4节点32路冗余专家部署，解码阶段扩展至18节点144路并行，配合独创的"双微批次"计算-通信重叠技术，成功将通信延迟隐藏在计算流程中。值得注意的是，系统通过三级负载均衡机制（预填充/解码/专家计算）动态分配任务，在单日6080亿输入token的流量压力下，H800节点集群实现了输入73.7k token/s、输出14.8k token/s的吞吐量。技术文档同时披露，当前理论单日营收可达56.2万美元，实际运营中因免费服务和夜间折扣，真实收益显著低于该数值，但依然验证了EP架构在超大规模稀疏模型推理中的经济可行性。
来源：DeepSeek / Github
深度求索（DeepSeek）最新公开的推理系统技术文档显示，其千亿参数大模型DeepSeek-V3/R1通过创新的跨节点专家并行（Expert Parallelism，EP）架构，实现了高达545%的理论成本利润率。该系统采用EP32至EP144动态并行策略，在预填充阶段通过4节点32路冗余专家部署，解码阶段扩展至18节点144路并行，配合独创的"双微批次"计算-通信重叠技术，成功将通信延迟隐藏在计算流程中。值得注意的是，系统通过三级负载均衡机制（预填充/解码/专家计算）动态分配任务，在单日6080亿输入token的流量压力下，H800节点集群实现了输入73.7k token/s、输出14.8k token/s的吞吐量。技术文档同时披露，当前理论单日营收可达56.2万美元，实际运营中因免费服务和夜间折扣，真实收益显著低于该数值，但依然验证了EP架构在超大规模稀疏模型推理中的经济可行性。
来源：DeepSeek / Github
