跳到主要内容
valen

vLLM 部署

选择部署方式,查看完整的安装、启动和请求示例。

部署方式环境部署指南
Valen-Team 镜像已配置 NVIDIA Container Toolkit 的 Docker镜像部署
官方 vLLM 插件已有兼容的官方 vLLM 环境插件部署

通过 /v1/systemone 提供单 GPU 文本/图片 Choice、Noul 和 Score 决策服务。直接视频推理请使用 Transformers。