核心信息
Tessera-small 是一个面向 16x16 像素画的掩码扩散语言模型,将每个精灵图视为 256 个 token 的句子,每个像素取自学习到的 512 色调色板。
要点
- 从完全掩码的画布开始,约 16 步并行解掩码全部 256 个像素,优先处理最确定的像素,并以 CLIP 文本为条件
- 不使用 VAE、不使用潜变量、不使用自回归
- 47.6M 参数,在单块 GPU 上用约 5.5 小时在 140 万个精灵图上训练完成
- 通过 Caleb 的 Slack Moji Space,int8 ONNX 版本可在浏览器 WebGPU 上运行,用户能观看画布逐步填充