跳到主要内容

通过 API、ONNX 和 GGUF 使用 Valen

· 阅读需 1 分钟
开放模型、评测工具与数据

Valen 新增部署格式,并提供 API 调用文档。

ONNX 与 GGUF 版本已发布到 Valen Team 的 Hugging Face 组织。API Cookbook 包含预览版本以及 0.8B、2B、4B 模型的调用示例。

调用托管模型​

API Cookbook 包含可执行示例、输入预览和保存结果。可以先通过 API 入门了解请求结构。

运行导出模型​

已发布的导出模型包含 FORMAT_USAGE.md 说明和专用的 valen_formats.py 推理入口。

ONNX 使用 ONNX Runtime 执行视觉主干、语言主干与 Mixer。GGUF 保留原始张量精度,采用自定义 valen_qwen 架构,因此需要使用随附的 Valen 推理入口。

浏览模型与导出格式

从源码导出​

仓库提供导出、格式核验和一致性检查工具,可检查文本、图像和视频在不同执行模式下的输出一致性。

阅读导出指南

来源:Valen 发布记录。