核心信息
腾讯开源了Hy4预览版，这是一款旗舰级MoE模型，总参数770B，每个token激活49B，支持100万上下文，采用Apache 2.0许可，据称是迄今最大的代际飞跃。
要点
- 模型规模：770B总参数，49B激活参数，原生支持MTP层用于投机解码。
- 评测表现：在163位内部专家对203个真实工程任务的盲评中，平均得分2.99，略胜GLM 5.3（2.92）和Kimi K3（2.94）。
- 训练数据：基于真实生产工作流（软件工程、办公、数据等）训练。
腾讯开源Hy4预览版：770B参数MoE模型，支持100万上下文
原始推文
Tencent HY open-sourced Hy4 preview: a flagship MoE with 1M context, and their biggest generational leap measured to date. Apache 2.0.🔥 🤖 https://t.co/ZOc55cqdAC ⚙️ 770B total params, 49B active per token. Ships with a native MTP layer for speculative decoding out of the box. 📊 Blind eval by 163 internal experts across 203 real engineering tasks: it edges out GLM 5.3 (avg 2.99 vs 2.92) and Kimi K3 (2.99 vs 2.94). 💼 Trained on real production workflows: software engineering, office and data analysis, game development, and scientific research. 🌍 For global users: https://t.co/qQG4sOFpfV