跳到主要内容
valen
开发者文档Cookbook
EN中
开发者入门：无需下载模型

问问 Valen

文字、图片、视频，都可以问 · 内容将发送至 Valen 服务

不知道从哪里开始？

选一个问题试试
从概率到行动

让确定的自动处理，其他的交给人。

用工单意图分流检验 Valen：在可接受的错误率下，有多少工作可以自动完成？

独立测试回放

阈值在验证集选定；右侧显示独立测试的实际结果。

11.5%自动处理
0.7%自动处理中的实际错误率95% 区间 0.1%–3.8%
88.5%交给人工复核

自动处理 147 / 1276 题，错误 1 题。 验证目标不保证测试或新业务达到同样错误率。

BANKING77 · 英文 · 77 个候选意图 · 1276 道测试题 · 已有公开测试的回溯实验。

自动处理覆盖率与错误率
自动处理覆盖率与错误率灰色为原始概率，蓝色为校准后。完整数字见下载报告。0%0%25%25%50%50%75%75%100%100%所选规则：自动处理 11.5%，错误率 0.7%自动处理比例
原始校准后
报出的概率与实际正确率
报出的概率与实际正确率灰色为原始概率，蓝色为校准后。完整数字见下载报告。0%0%25%25%50%50%75%75%100%100%7 题; 11.6% → 0.0%13 题; 17.4% → 15.4%24 题; 23.3% → 37.5%51 题; 30.4% → 17.6%48 题; 37.3% → 20.8%97 题; 43.4% → 29.9%92 题; 50.2% → 44.6%114 题; 56.5% → 47.4%109 题; 63.3% → 55.0%86 题; 69.7% → 57.0%90 题; 76.5% → 83.3%123 题; 83.0% → 78.9%137 题; 89.8% → 78.1%285 题; 97.4% → 94.0%1 题; 6.3% → 0.0%8 题; 10.3% → 0.0%26 题; 16.6% → 30.8%40 题; 23.8% → 25.0%60 题; 30.1% → 18.3%88 题; 37.2% → 27.3%92 题; 43.3% → 38.0%118 题; 50.3% → 44.9%121 题; 56.8% → 55.4%89 题; 63.1% → 58.4%99 题; 69.9% → 85.9%111 题; 76.6% → 76.6%118 题; 83.1% → 80.5%116 题; 90.2% → 85.3%189 题; 96.5% → 98.4%报出的概率
原始校准后虚线：理想校准
为什么相信这些数字？查看校准前后与实验范围
概率分布：各区间有多少道题？
最大候选概率的样本分布原始 0–7%: 0校准后 0–7%: 1原始 7–13%: 7校准后 7–13%: 8原始 13–20%: 13校准后 13–20%: 26原始 20–27%: 24校准后 20–27%: 40原始 27–33%: 51校准后 27–33%: 60原始 33–40%: 48校准后 33–40%: 88原始 40–47%: 97校准后 40–47%: 92原始 47–53%: 92校准后 47–53%: 118原始 53–60%: 114校准后 53–60%: 121原始 60–67%: 109校准后 60–67%: 89原始 67–73%: 86校准后 67–73%: 99原始 73–80%: 90校准后 73–80%: 111原始 80–87%: 123校准后 80–87%: 118原始 87–93%: 137校准后 87–93%: 116原始 93–100%: 285校准后 93–100%: 1890%100%

最大概率恰为 1 的题数：原始 0，校准后 0。

同一独立测试集；数值越低越好，准确率除外。
指标原始校准后
ECE0.08190.0518
NLL1.35641.3240
Brier0.50620.4996
准确率63.5%63.5%

Valen-0.8B · c2c481fcb319 · 1276 道测试题

BANKING77 · 英文 · 77 个候选意图 · 已有公开测试的回溯实验，不代表生产或视觉任务表现。

ECE 使用 15 个等宽分箱与最大候选概率。误差线为逐箱 95% Wilson 区间；相关题目可能使区间过窄。

完整报告 JSON.gz · 551 KB实验温度参数数据来源实验协议当前分流规则

下载参数绑定这次历史实验的模型与协议。接入自己的业务时，请按教程重新拟合和验证。

在线体验工单分流用我的数据验证查看完整证据与方法
开放模型。清晰决策。