DeepSeek-散宜生的个人博客

散宜生的个人博客

累计撰写 238 篇文章
累计创建 245 个标签
累计收到 0 条评论

目录CONTENT

以下是 DeepSeek 相关的文章

2025-10-05
SGLang 私有化部署实战：本地部署、Docker 部署、能力体验当 vLLM 已经帮你把“正式推理 API”这条路跑通之后，下一步如果你开始关注多步骤推理、工具调用和复杂任务编排，就很自然会走到 SGLang。本文按实战顺序拆开 SGLang 的两条常见起步路径：本地部署和 Docker 部署，并通过模型列表、聊天接口和 Open WebUI 接入来验证它不只是能启动，而是真的能承接复杂 AI 应用。
- 2025-10-05
- 1
- 0
- 0
- AI 推理服务
2025-09-28
vLLM 私有化部署实战：本地部署、Docker 部署、接口验证当你已经用 Ollama 跑通过一条可交互体验链路之后，下一步通常就该进入更正式的推理服务路线。对很多团队来说，vLLM 正是这一步的自然选择。本文把 vLLM 的两条典型起步路径拆开讲清楚：本地 Python/Conda 部署和 Docker 容器部署，并在关键步骤补充命令、输出和 OpenAI 兼容接口验证方法。
- 2025-09-28
- 1
- 0
- 0
- AI 推理服务
2025-09-24
用 Ollama + Open WebUI 快速搭建本地 AI 体验环境当前面的 K8S 底座、入口和存储都补齐后，最适合先跑通的一条 AI 路线，往往不是直接上 vLLM 或 SGLang，而是先用 Ollama + Open WebUI 做一套低门槛、可交互、可验证的本地 AI 体验环境。本文按实战顺序完成完整闭环：部署 Ollama、拉起 DeepSeek 模型、接入 Open WebUI、通过 Gateway 对外暴露，并给出关键命令输出和验收方法。
- 2025-09-24
- 3
- 0
- 0
- AI 应用实践