核心信息

OpenRouter 推出了 Jev Router，一种由 Jev 和 typesafe AI 驱动的缓存感知模型路由器，为每个请求选择最佳模型和推理投入，平衡质量、速度和成本。

要点

  • 路由器为每个请求选择最优模型和推理投入，并注重缓存感知以降低成本。
  • 如果 Jev 调用超时或返回无效输出，请求会失败而不会回退到其他路由器；每个响应都包含路由元数据，说明选择原因。
  • 用户可以在应用中使用 'typesafe/jev-router'，或在 OpenRouter Chat 中查看路由器思维过程，显示所选模型及任务、难度、精度、大型模型收益等评分因素。