DCGM-散宜生的个人博客

散宜生的个人博客

累计撰写 238 篇文章
累计创建 245 个标签
累计收到 0 条评论

目录CONTENT

以下是 DCGM 相关的文章

2025-10-07
SGLang 上 K8S：接入 Open WebUI、服务发布与 GPU 运维当 SGLang 已经能在单机上通过本地或 Docker 方式稳定提供推理接口后，下一步自然就是把它放进 K8S，接上 Open WebUI，变成团队可共享、可访问、可观测的内部 AI 服务。本文按实战顺序完成这条链路：准备模型存储、部署 SGLang 工作负载、接入 Open WebUI、通过 NodePort 和 Gateway 发布服务，并补上 GPU 与 SGLang 指标监控和告警。
- 2025-10-07
- 4
- 0
- 0
- AI 推理服务
2025-10-01
vLLM 上 K8S：服务部署、对外暴露、监控与验证当 vLLM 已经能在单机上通过本地或 Docker 方式稳定提供 API 后，下一步自然就是把它放进 K8S，变成团队可以共享、扩展和观测的正式推理服务。本文按实战顺序完成这条链路：部署 NVIDIA Device Plugin、准备模型存储、发布 vLLM 工作负载、通过 Service 和 Gateway 对外暴露，并补上 GPU 与服务层监控。
- 2025-10-01
- 2
- 0
- 0
- AI 推理服务