核心信息

一位开发者基于 UltraBERT-380M 微调出 380M 的专用决策模型，用于网页级数据筛选，并公开了模型、训练数据和完整配方。

要点

  • 这个小模型可低成本大规模运行：在 Hugging Face Jobs 上处理 100 万 FineWeb 页面耗时 19 分钟、成本约 5 美元
  • 模型判定其中约四分之一为商品页面
  • 6% 通过了简单的“有教育意义、非垃圾”过滤，约每 1,020,000 页中有 1 页被评为“优秀”
  • 模型、训练数据（每行含来源、标注方与许可证）及完整配方均已公开