核心信息

腾讯将 Hy4 Flash 以开源权重形式发布,包含 Hy4 Flash-FP8 与 Hy4 Flash-Base 版本。该模型为 224B 参数 MoE,每 token 激活 12B 参数,原生支持图像理解与 100 万 token 上下文。

要点

  • 总参数 224B,每 token 仅激活 12B,其中包含 64B 的 Engram 组件
  • 原生多模态,支持 100 万 token 上下文,适用于文档、幻灯片与电脑操作场景
  • 在腾讯内部 WorkIndex 上略优于更大的 Hy4 Preview,单任务成本降至 Hy4 Preview 的 1/13、Hy4 的 1/20
  • 解码速度超过每秒 150 token,KV 缓存仅为 Hy3 的 1/24、Hy4 的 1/6
  • 架构采用混合注意力、LatentMoE、Engram 与内置 DFly2 草稿模型;vLLM 首日支持,提供 Docker 镜像与部署配方