Latent Space· Latent Space·· 2 天前精选AI 评分78
DeepSeek 开源 DeepInfer 大规模推理框架
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源用于服务 V4.1 Flash 的 DeepInfer 推理框架，同时发布兼容 Chat Completions、Responses 和 Messages API 的 deepseek-recipe。
推荐理由
文章拆解了 DeepInfer 的缓存、调度与部署设计，并对照 vLLM 复现结果和成本假设，适合评估其性能边界。
来源：Latent Space · latent.space