AI Infra-散宜生的个人博客

散宜生的个人博客

累计撰写 238 篇文章
累计创建 245 个标签
累计收到 0 条评论

目录CONTENT

以下是 AI Infra 相关的文章

2025-09-21
为 K8S 补齐入口与存储：MetalLB、Gateway API、NFS 动态供给一套原生 K8S 集群即使已经 Ready，也还不等于能稳定承载 AI 服务。裸机或私有云环境里，最缺的通常是三类能力：对外入口、负载均衡地址，以及可动态申请的持久存储。本文按实战顺序补齐这三层：MetalLB、Gateway API 和 NFS 动态供给，并在关键步骤给出命令、示例输出和验收方法。
- 2025-09-21
- 1
- 0
- 0
- AI Infra
2025-09-17
基于 Ubuntu 24.04 搭建 AI 推理用原生 K8S 集群当大模型部署开始从单机验证走向团队共享时，Kubernetes 往往就不再是“可选项”，而是服务化运营的基础底座。本文基于 Ubuntu 24.04，按 AI 推理场景常见需求，完整梳理一套原生 K8S 集群搭建流程：主机初始化、containerd、kubeadm、Calico 和最终的 Nginx 验证，并在关键步骤补充命令输出和状态判断。
- 2025-09-17
- 1
- 0
- 0
- AI Infra
2025-09-14
大模型推理环境准备实战：GPU、驱动、CUDA、容器运行时大模型私有化部署最容易踩的坑，不是模型本身，而是底层运行环境没有理顺。GPU 能否被系统识别、驱动和 CUDA 是否匹配、PyTorch 能否正确调用显卡、容器运行时是否完成 GPU 透传，这几层只要有一层没打通，后面的 vLLM、SGLang、Ollama 和 K8S 部署都会反复出问题。本文从实战角度把这些关系一次讲清楚。
- 2025-09-14
- 1
- 0
- 0
- AI Infra
2025-09-10
本地、Docker、K8S：大模型私有化部署路线怎么选大模型私有化部署最容易踩的坑，不是某个命令执行失败，而是一开始就把路线选复杂了。这篇文章不讲具体安装步骤，而是先把路线拆清楚：本地、Docker、K8S 分别适合什么阶段，Ollama、vLLM、SGLang 又该怎么搭配，帮助你少走弯路地完成从验证到服务化的演进。
- 2025-09-10
- 2
- 0
- 0
- AI Infra