首页
AI 平台
AI 推理服务
AI Infra
AI 应用实践
AI RCA
平台工程
Kubernetes
云原生
容器平台
交付平台
微服务治理
网关与流量治理
服务网格
可观测性
链路追踪
日志收集
指标监控
运维与Linux
运维
Linux
大数据
散宜生的个人博客
累计撰写
238
篇文章
累计创建
148
个标签
累计收到
0
条评论
栏目
首页
AI 平台
AI 推理服务
AI Infra
AI 应用实践
AI RCA
平台工程
Kubernetes
云原生
容器平台
交付平台
微服务治理
网关与流量治理
服务网格
可观测性
链路追踪
日志收集
指标监控
运维与Linux
运维
Linux
大数据
目 录
CONTENT
以下是
Docker
相关的文章
2025-10-05
SGLang 私有化部署实战:本地部署、Docker 部署、能力体验
当 vLLM 已经帮你把“正式推理 API”这条路跑通之后,下一步如果你开始关注多步骤推理、工具调用和复杂任务编排,就很自然会走到 SGLang。本文按实战顺序拆开 SGLang 的两条常见起步路径:本地部署和 Docker 部署,并通过模型列表、聊天接口和 Open WebUI 接入来验证它不只是能启动,而是真的能承接复杂 AI 应用。
2025-10-05
5
0
0
AI 推理服务
2025-09-28
vLLM 私有化部署实战:本地部署、Docker 部署、接口验证
当你已经用 Ollama 跑通过一条可交互体验链路之后,下一步通常就该进入更正式的推理服务路线。对很多团队来说,vLLM 正是这一步的自然选择。本文把 vLLM 的两条典型起步路径拆开讲清楚:本地 Python/Conda 部署和 Docker 容器部署,并在关键步骤补充命令、输出和 OpenAI 兼容接口验证方法。
2025-09-28
2
0
0
AI 推理服务
2025-09-14
大模型推理环境准备实战:GPU、驱动、CUDA、容器运行时
大模型私有化部署最容易踩的坑,不是模型本身,而是底层运行环境没有理顺。GPU 能否被系统识别、驱动和 CUDA 是否匹配、PyTorch 能否正确调用显卡、容器运行时是否完成 GPU 透传,这几层只要有一层没打通,后面的 vLLM、SGLang、Ollama 和 K8S 部署都会反复出问题。本文从实战角度把这些关系一次讲清楚。
2025-09-14
4
0
0
AI Infra
2025-09-10
本地、Docker、K8S:大模型私有化部署路线怎么选
大模型私有化部署最容易踩的坑,不是某个命令执行失败,而是一开始就把路线选复杂了。这篇文章不讲具体安装步骤,而是先把路线拆清楚:本地、Docker、K8S 分别适合什么阶段,Ollama、vLLM、SGLang 又该怎么搭配,帮助你少走弯路地完成从验证到服务化的演进。
2025-09-10
4
0
0
AI Infra
2018-05-27
2.3 Dockerfile创建镜像-Dockerfile示例
2.3 Dockerfile创建镜像-Dockerfile示例 创建一个ubunt_nginx目录,并进入 先下载nginx的配置文件 wget nginx.conf vim Dockerfile //内容如下 ######################################
2018-05-27
3
0
0
Linux
运维
2018-05-25
2.2 Dockerfile 创建镜像-Dockerfile格式
2.2 Dockerfile 创建镜像-Dockerfile格式 1.FROM //指定基于哪个基础镜像 格式 FROM 或者 FROM :,比如: FROM ubuntu FROM ubuntu:latest 2.MAINTAINER //指定作者信息 格式 MAINTAINE
2018-05-25
0
0
0
Linux
运维
2018-05-23
2.0 Docker 网络管理-容器互联
2.0 Docker 网络管理-容器互联 下载一个MySQL镜像 root@ubuntu:~# docker pull mysql 以此镜像创建一个容器,命名为db root@ubuntu:~# docker run -itd -p 13306:3306 --name db mysql b
2018-05-23
2
0
0
Linux
运维
2018-05-21
1.9 Docker 网络管理-外部访问容器
1.9 Docker 网络管理-外部访问容器 首先使用Ubuntu镜像新建一个容器,然后在该容器中安装httpd服务,并启动 root@ubuntu:~# docker run -itd 45d bash fb08605195ef3d8d8ebd909ca0ddf3bc390ee87528d5
2018-05-21
0
0
0
Linux
运维
2018-05-20
1.8 Docker 网络管理-四种网络模式
1.8 Docker 网络管理-四种网络模式 host模式,使用docker run时使用 —net=host指定,docker使用的网络实际上和宿主机一样,在容器内看到的网卡ip是宿主机上的ip。 container模式,使用 —net=container:container_id/conta
2018-05-20
0
0
0
Linux
运维
2018-05-17
1.7 Docker 数据管理
1.7 Docker 数据管理 一个容器启动之后,其所有的磁盘空间其实是很小的,可以进入容器df -h看一下,实际上用的肯定是宿主机的空间。按照之前的方式在容器中写入的数据,只有在把容器导出为镜像时才会保留下来,否则容器一关闭,这些数据就没了。在这里,我们可以把宿主机的目录挂载到容器中去,这样在容
2018-05-17
1
0
0
Linux
运维
1
2