跳到主要内容

JevalKit Leaderboard 正式发布

· 阅读需 1 分钟
开放模型、评测工具与数据

JevalKit 上线公开排行榜,支持浏览和比较决策模型。

此次发布提供 Benchmark 和模型规模筛选、模型比较、概率指标展示,以及评测结果下载。

统一评测流程​

JevalKit 为 8 类 Jev 相关 Benchmark 提供统一模型接口与预处理数据。发布的数据集包含 10 份 TSV 视图,其中图像和视频视图是 VisualDecisionBench 的子集。

目前已注册 20 个模型家族。模型注册与完整实测覆盖分别记录:排行榜区分完整评测、冒烟检查和导入预测。

浏览结果​

  • 按 Benchmark 与模型规模筛选。
  • 比较模型结果和概率指标。
  • 下载导出的评测结果。
  • 比较分数前,查看覆盖范围和结果来源。

打开排行榜

运行评测​

通过 JevalKit 入门指南安装依赖,下载模型和数据,运行首次评测。Benchmark 评分协议介绍各测试集的评分方式。

GitHub · 数据集

来源:JevalKit 发布记录。