核心信息

该平台表示不会对模型额外施加上下文长度限制。未达标称上限却报长度错误，是因为可见正文之外还有 Token 开销。

要点

  • 模型标称的上下文是单次请求的综合容量池，而非单纯的正文输入上限。
  • System Prompt 与工具/函数声明即使未被调用也会全量计入输入 Token，多轮消息的协议标记也会带来微量开销。
  • 主流上游接口通常执行「输入 Tokens + 预设 max_tokens ≤ 上下文上限」的校验，输出预留过大时会在请求阶段直接被拦截。
  • 客户端本地分词估算与上游服务端专用 Tokenizer 存在差异，多语言混排、代码缩进或特殊符号场景下服务端实际 Token 往往略高。