核心信息

DeepSeek 以 Apache-2.0 协议开源了高性能大规模推理框架 DeepInfer。

要点

  • 包含优化内核以及模型与采样器运行时
  • 并行支持：Attention DP / 均衡 CP，以及 MoE EP 配合 EPLB
  • 具备 DSpark 与置信度调度验证
  • 新增 SWA 有界重放与零开销异步批调度器
  • 支持批不变推理、确定性采样与结构化输出