OpenAI API-散宜生的个人博客

散宜生的个人博客

累计撰写 238 篇文章
累计创建 245 个标签
累计收到 0 条评论

目录CONTENT

以下是 OpenAI API 相关的文章

2025-10-12
vLLM 和 SGLang 到底怎么选当一套大模型私有化部署路线已经从环境准备、K8S 底座、vLLM 实战和 SGLang 实战全部走通之后，真正绕不开的问题就只剩下一个：vLLM 和 SGLang 到底该怎么选。本文不再重复安装步骤，而是从目标、场景、团队阶段、复杂度和运维成本五个角度，把这两个框架的差异和选型逻辑讲清楚。
- 2025-10-12
- 1
- 0
- 0
- AI 推理服务
2025-09-28
vLLM 私有化部署实战：本地部署、Docker 部署、接口验证当你已经用 Ollama 跑通过一条可交互体验链路之后，下一步通常就该进入更正式的推理服务路线。对很多团队来说，vLLM 正是这一步的自然选择。本文把 vLLM 的两条典型起步路径拆开讲清楚：本地 Python/Conda 部署和 Docker 容器部署，并在关键步骤补充命令、输出和 OpenAI 兼容接口验证方法。
- 2025-09-28
- 1
- 0
- 0
- AI 推理服务