Panlox面板 / AI 模型

AI 模型

托管本机模型服务,或接入已有的 OpenAI 兼容服务:运行时、模型库、显存与对外调用。

可用运行时
2 个
共 3 个,1 个已停止
已下载模型
5 个
4 个已加载 · 3 个占显存
显存占用
30.6 / 48 GB
GPU 1 已占用 89%,再加模型会失败
模型文件占用
34.1 GB
5 个模型文件 · 默认存放在 /www/models
运行时
本机运行时是独立的推理服务进程,各自占用端口与显存;外部服务只登记地址,由提供方维护。停止只断开服务,模型文件仍保留在磁盘。
2 个可用
左右滑动可查看完整列与操作
运行时版本端口模型显存运行时长状态开机自启操作
Ollama 主服务
Ollama · GPU 0
v0.5.41143439.2 GB12 天 4 小时 运行中
vLLM 推理服务
vLLM · GPU 1
v0.6.68000121.4 GB2 天 7 小时 运行中
LocalAI 测试
LocalAI · CPU
v2.22.1808000 B— 已停止
模型库
本地下载的模型文件,以及外部 OpenAI 兼容服务提供的模型。本地模型加载后常驻显存或内存,卸载只释放占用、不删文件;外部模型只读,由提供方维护。
有 1 个模型加载失败:先看行内原因;文件损坏就重新拉取,显存不足就先卸载不常用的模型或换更小的量化版本。
共 5 个模型 · 磁盘合计 34.1 GB
左右滑动可查看完整列与操作
模型量化大小上下文显存最近使用状态操作
qwen2.5:7b
Ollama · 7B
Q4_K_M4.7 GB32K4.7 GB2 分钟前 已加载
llama3.1:8b
Ollama · 8B
Q4_K_M4.9 GB128K4.5 GB12 分钟前 已加载
deepseek-r1:7b
Ollama · 7B
Q4_K_M4.7 GB64K—3 天前 加载失败
上次加载被中断:权重分片校验失败,重试会重新读取模型文件
bge-m3
Ollama · 568M
F161.2 GB8K—今天 09:40 已加载 · CPU
Qwen2.5-32B-Instruct
vLLM · 32B
AWQ18.6 GB32K21.4 GB刚刚 已加载
显卡与显存
显存是跑模型的硬约束:一个模型加载后基本独占它占用的那部分,显存不足时新模型会排队或退回 CPU。
2 块显卡 · 合计 48 GB
GPU 0 · NVIDIA RTX 4090 利用率 46%
显存
9.2 GB / 24 GB
温度
62°C
功耗
186 W
剩余显存
14.8 GB(62%)
GPU 1 · NVIDIA RTX 4090 利用率 82%
显存
21.4 GB / 24 GB
温度
74°C
功耗
312 W
剩余显存
2.6 GB(11%)
显存接近上限,再加模型建议先卸载不常用的,或改用更小的量化版本。
谁占了显存按显卡分组 · 已加载模型
GPU 0 · NVIDIA RTX 4090 9.2 GB / 24 GB
qwen2.5:7b
4.7 GB
llama3.1:8b
4.5 GB
GPU 1 · NVIDIA RTX 4090 21.4 GB / 24 GB
Qwen2.5-32B-Instruct
21.4 GB
CPU 推理: bge-m3 · 不占显存
调用与密钥
本机运行时默认只监听本机;外部服务按其地址调用。要让外部应用调用本机模型,建议签发密钥并通过反向代理暴露,而不是直接开放端口。
接口地址OpenAI 兼容 · 地址来自运行时
Ollama 主服务
http://127.0.0.1:11434/v1
默认模型 qwen2.5:7b · 共 3 个模型
vLLM 推理服务
http://127.0.0.1:8000/v1
默认模型 Qwen2.5-32B-Instruct · 共 1 个模型
左右滑动可查看完整列与操作
密钥名称权限范围创建时间最近使用调用量状态操作
内部知识库
sk-panlox-7f4c…
仅推理 · qwen2.5:7b10-122 分钟前18.4k 启用
客服机器人
sk-panlox-1a92…
仅推理 · llama3.1:8b09-2812 分钟前42.1k 启用
离线批处理
sk-panlox-9d3e…
推理 + 嵌入08-153 天前1.1k 闲置
模型由你部署或接入的服务商提供并计费;面板只提供运行时、模型文件与调用密钥的管理,不提供模型额度,也不代收调用费用。