AI 模型
托管本机模型服务,或接入已有的 OpenAI 兼容服务:运行时、模型库、显存与对外调用。
可用运行时
2 个
共 3 个,1 个已停止
已下载模型
5 个
4 个已加载 · 3 个占显存
显存占用
30.6 / 48 GB
GPU 1 已占用 89%,再加模型会失败
模型文件占用
34.1 GB
5 个模型文件 · 默认存放在 /www/models
运行时
本机运行时是独立的推理服务进程,各自占用端口与显存;外部服务只登记地址,由提供方维护。停止只断开服务,模型文件仍保留在磁盘。
2 个可用
模型库
本地下载的模型文件,以及外部 OpenAI 兼容服务提供的模型。本地模型加载后常驻显存或内存,卸载只释放占用、不删文件;外部模型只读,由提供方维护。
有 1 个模型加载失败:先看行内原因;文件损坏就重新拉取,显存不足就先卸载不常用的模型或换更小的量化版本。
左右滑动可查看完整列与操作
| 模型 | 量化 | 大小 | 上下文 | 显存 | 最近使用 | 状态 | 操作 |
|---|---|---|---|---|---|---|---|
qwen2.5:7b Ollama · 7B | Q4_K_M | 4.7 GB | 32K | 4.7 GB | 2 分钟前 | 已加载 | |
llama3.1:8b Ollama · 8B | Q4_K_M | 4.9 GB | 128K | 4.5 GB | 12 分钟前 | 已加载 | |
deepseek-r1:7b Ollama · 7B | Q4_K_M | 4.7 GB | 64K | — | 3 天前 | 加载失败 上次加载被中断:权重分片校验失败,重试会重新读取模型文件 | |
bge-m3 Ollama · 568M | F16 | 1.2 GB | 8K | — | 今天 09:40 | 已加载 · CPU | |
Qwen2.5-32B-Instruct vLLM · 32B | AWQ | 18.6 GB | 32K | 21.4 GB | 刚刚 | 已加载 |
还没有接入本机运行时,目录可以先浏览,但无法计算本机适配。接入运行时后即可直接拉取。
左右滑动可查看完整列与操作
| 模型 | 厂商 | 架构 | 参数 | 量化 | 体积 | 上下文 | 适配 | 操作 |
|---|
显卡与显存
显存是跑模型的硬约束:一个模型加载后基本独占它占用的那部分,显存不足时新模型会排队或退回 CPU。
GPU 0 · NVIDIA RTX 4090 利用率 46%
- 温度
- 62°C
- 功耗
- 186 W
- 剩余显存
- 14.8 GB(62%)
显存接近上限,再加模型建议先卸载不常用的,或改用更小的量化版本。
GPU 1 · NVIDIA RTX 4090 利用率 82%
- 温度
- 74°C
- 功耗
- 312 W
- 剩余显存
- 2.6 GB(11%)
显存接近上限,再加模型建议先卸载不常用的,或改用更小的量化版本。
谁占了显存按显卡分组 · 已加载模型
GPU 0 · NVIDIA RTX 4090 9.2 GB / 24 GB
GPU 1 · NVIDIA RTX 4090 21.4 GB / 24 GB
CPU 推理: bge-m3 · 不占显存
调用与密钥
本机运行时默认只监听本机;外部服务按其地址调用。要让外部应用调用本机模型,建议签发密钥并通过反向代理暴露,而不是直接开放端口。
接口地址OpenAI 兼容 · 地址来自运行时
- Ollama 主服务
- http://127.0.0.1:11434/v1 默认模型 qwen2.5:7b · 共 3 个模型
- vLLM 推理服务
- http://127.0.0.1:8000/v1 默认模型 Qwen2.5-32B-Instruct · 共 1 个模型
- LocalAI 测试
- http://127.0.0.1:8080/v1 没有加载模型,调用会直接失败
当前没有可用的运行时,启动本机运行时或接入外部服务后会显示接口地址。
左右滑动可查看完整列与操作
| 密钥名称 | 权限范围 | 创建时间 | 最近使用 | 调用量 | 状态 | 操作 |
|---|---|---|---|---|---|---|
内部知识库 sk-panlox-7f4c… | 仅推理 · qwen2.5:7b | 10-12 | 2 分钟前 | 18.4k | 启用 | |
客服机器人 sk-panlox-1a92… | 仅推理 · llama3.1:8b | 09-28 | 12 分钟前 | 42.1k | 启用 | |
离线批处理 sk-panlox-9d3e… | 推理 + 嵌入 | 08-15 | 3 天前 | 1.1k | 闲置 |
·
·
模型由你部署或接入的服务商提供并计费;面板只提供运行时、模型文件与调用密钥的管理,不提供模型额度,也不代收调用费用。
拉取模型
按运行时填写对应的模型来源;下载完成后注册到模型库。
Ollama 填「模型名:标签」,不填标签默认 latest。
个人本地使用、想一条命令跑起来:最简单。
按模型名与参数量估算,用于预留磁盘;实际大小以运行时回报为准。
待评估 填写模型名称后自动评估本机显存与内存。
671B/685B 全量版需要大显存单机或多机分布式;本机显存不够时建议使用蒸馏版:
下载在后台进行,可以离开页面。Ollama 从模型库拉取;vLLM / LocalAI 按各自的仓库格式填写。
添加运行时
接入一个新的模型服务进程,可以是本机安装的,也可以是已有服务的地址。同一类型只保留一个本机运行时;多卡请在该运行时的配置里选择全部 GPU。
个人本地使用、想一条命令跑起来:最简单。
预设只填常用地址,仍可手动修改。
当前按 OpenAI 兼容协议登记;对话模型可测试,嵌入模型仅登记。
1–65535;只监听 127.0.0.1,外部调用请走反向代理。
全部 GPU 会跨卡切分;vLLM 需要同时设置张量并行数。
vLLM 跨卡切分需要,等于参与切分的显卡数。
OpenAI 兼容地址,需带版本路径:
LM Studio http://127.0.0.1:1234/v1
llama.cpp http://127.0.0.1:8080/v1
自建 FastAPI http://127.0.0.1:8000/v1
LM Studio http://127.0.0.1:1234/v1
llama.cpp http://127.0.0.1:8080/v1
自建 FastAPI http://127.0.0.1:8000/v1
只保存在本机;服务端不需要鉴权时可留空。
从 /v1/models 读取,勾选要加入模型库的模型。
保存时验证可用性
测试 Base URL 与认证字段;添加前可先做一次连接测试。
开机自启
服务器重启后自动拉起该运行时。
运行时配置
调整推理参数,保存后需要重启运行时才会生效。
正在配置运行时
1–65535;只监听 127.0.0.1。
切换后会卸载该运行时的模型,按新卡配置重新加载。
vLLM 跨卡切分需要,等于参与切分的显卡数。
1–64;并发越高显存占用越大。
长时间无请求时释放显存给其他模型。
测试模型
发一条消息,确认模型能正常返回;回复只来自本机运行时。
选择模型后开始测试
发送一条消息;这里只验证加载状态、端口与调用链路,不会写入对话记录。
只发到本机运行时,不经过外部服务
新建调用密钥
密钥只在创建时完整显示一次,请立即保存。
密钥等同于调用凭证,不要提交到代码仓库;发现泄露请立即吊销并重新签发。
调用密钥已创建
这是唯一一次完整显示,关闭后只能看到前缀。
保存到密码管理器或密钥管理服务;泄露后立即吊销并重新签发。