首页
AI 平台
AI 推理服务
AI Infra
AI 应用实践
AI RCA
平台工程
Kubernetes
云原生
容器平台
交付平台
微服务治理
网关与流量治理
服务网格
可观测性
链路追踪
日志收集
指标监控
运维与Linux
运维
Linux
大数据
散宜生的个人博客
累计撰写
238
篇文章
累计创建
148
个标签
累计收到
0
条评论
栏目
首页
AI 平台
AI 推理服务
AI Infra
AI 应用实践
AI RCA
平台工程
Kubernetes
云原生
容器平台
交付平台
微服务治理
网关与流量治理
服务网格
可观测性
链路追踪
日志收集
指标监控
运维与Linux
运维
Linux
大数据
目 录
CONTENT
以下是
AI 平台
相关的文章
2026-02-08
从可观测到 AI RCA:一次值班辅助决策闭环的落地复盘
如果说可观测平台解决的是“数据看得见”,那么 AI RCA 解决的就是“值班时怎么更快把这些数据变成第一轮可用判断”。
2026-02-08
4
0
0
AI RCA
2025-10-12
vLLM 和 SGLang 到底怎么选
当一套大模型私有化部署路线已经从环境准备、K8S 底座、vLLM 实战和 SGLang 实战全部走通之后,真正绕不开的问题就只剩下一个:vLLM 和 SGLang 到底该怎么选。本文不再重复安装步骤,而是从目标、场景、团队阶段、复杂度和运维成本五个角度,把这两个框架的差异和选型逻辑讲清楚。
2025-10-12
6
0
0
AI 推理服务
2025-10-07
SGLang 上 K8S:接入 Open WebUI、服务发布与 GPU 运维
当 SGLang 已经能在单机上通过本地或 Docker 方式稳定提供推理接口后,下一步自然就是把它放进 K8S,接上 Open WebUI,变成团队可共享、可访问、可观测的内部 AI 服务。本文按实战顺序完成这条链路:准备模型存储、部署 SGLang 工作负载、接入 Open WebUI、通过 NodePort 和 Gateway 发布服务,并补上 GPU 与 SGLang 指标监控和告警。
2025-10-07
4
0
0
AI 推理服务
2025-10-05
SGLang 私有化部署实战:本地部署、Docker 部署、能力体验
当 vLLM 已经帮你把“正式推理 API”这条路跑通之后,下一步如果你开始关注多步骤推理、工具调用和复杂任务编排,就很自然会走到 SGLang。本文按实战顺序拆开 SGLang 的两条常见起步路径:本地部署和 Docker 部署,并通过模型列表、聊天接口和 Open WebUI 接入来验证它不只是能启动,而是真的能承接复杂 AI 应用。
2025-10-05
1
0
0
AI 推理服务
2025-10-01
vLLM 上 K8S:服务部署、对外暴露、监控与验证
当 vLLM 已经能在单机上通过本地或 Docker 方式稳定提供 API 后,下一步自然就是把它放进 K8S,变成团队可以共享、扩展和观测的正式推理服务。本文按实战顺序完成这条链路:部署 NVIDIA Device Plugin、准备模型存储、发布 vLLM 工作负载、通过 Service 和 Gateway 对外暴露,并补上 GPU 与服务层监控。
2025-10-01
2
0
0
AI 推理服务
2025-09-28
vLLM 私有化部署实战:本地部署、Docker 部署、接口验证
当你已经用 Ollama 跑通过一条可交互体验链路之后,下一步通常就该进入更正式的推理服务路线。对很多团队来说,vLLM 正是这一步的自然选择。本文把 vLLM 的两条典型起步路径拆开讲清楚:本地 Python/Conda 部署和 Docker 容器部署,并在关键步骤补充命令、输出和 OpenAI 兼容接口验证方法。
2025-09-28
1
0
0
AI 推理服务
2025-09-24
用 Ollama + Open WebUI 快速搭建本地 AI 体验环境
当前面的 K8S 底座、入口和存储都补齐后,最适合先跑通的一条 AI 路线,往往不是直接上 vLLM 或 SGLang,而是先用 Ollama + Open WebUI 做一套低门槛、可交互、可验证的本地 AI 体验环境。本文按实战顺序完成完整闭环:部署 Ollama、拉起 DeepSeek 模型、接入 Open WebUI、通过 Gateway 对外暴露,并给出关键命令输出和验收方法。
2025-09-24
3
0
0
AI 应用实践
2025-09-21
为 K8S 补齐入口与存储:MetalLB、Gateway API、NFS 动态供给
一套原生 K8S 集群即使已经 Ready,也还不等于能稳定承载 AI 服务。裸机或私有云环境里,最缺的通常是三类能力:对外入口、负载均衡地址,以及可动态申请的持久存储。本文按实战顺序补齐这三层:MetalLB、Gateway API 和 NFS 动态供给,并在关键步骤给出命令、示例输出和验收方法。
2025-09-21
1
0
0
AI Infra
2025-09-17
基于 Ubuntu 24.04 搭建 AI 推理用原生 K8S 集群
当大模型部署开始从单机验证走向团队共享时,Kubernetes 往往就不再是“可选项”,而是服务化运营的基础底座。本文基于 Ubuntu 24.04,按 AI 推理场景常见需求,完整梳理一套原生 K8S 集群搭建流程:主机初始化、containerd、kubeadm、Calico 和最终的 Nginx 验证,并在关键步骤补充命令输出和状态判断。
2025-09-17
1
0
0
AI Infra
2025-09-14
大模型推理环境准备实战:GPU、驱动、CUDA、容器运行时
大模型私有化部署最容易踩的坑,不是模型本身,而是底层运行环境没有理顺。GPU 能否被系统识别、驱动和 CUDA 是否匹配、PyTorch 能否正确调用显卡、容器运行时是否完成 GPU 透传,这几层只要有一层没打通,后面的 vLLM、SGLang、Ollama 和 K8S 部署都会反复出问题。本文从实战角度把这些关系一次讲清楚。
2025-09-14
1
0
0
AI Infra
1
2