核心信息
一位开发者观察到,大多数GPU集群因追求通用性而难以把推理成本压到最低,并认为要匹敌DeepSeek的价格,必须自建定制化集群。
要点
- 通用集群以兼容多种负载为首要目标,而非专用优化。
- 这种取舍导致多数服务商难以在推理价格上追上DeepSeek。
- 作者表示团队将自建集群,而不是依赖现成的通用方案。
一位开发者观察到,大多数GPU集群因追求通用性而难以把推理成本压到最低,并认为要匹敌DeepSeek的价格,必须自建定制化集群。
every GPU cluster we've found is fairly generic with the same setup i think this is because they just want to support a wide range of workloads without overspecializing but this is why no one can match deepseek's price on inference. we're going to have to build our own cluster