dsh-agent-evaluator

DeepSeek Harness 的 agent 测评插件：导入测试集、运行 agent、自动评分并生成报告。

安装

cd /path/to/deepseek-harness
pnpm dsh plugin --profile web add ./dsh-agent-evaluator-0.10.0.tgz
pnpm dsh web

全局安装了 dsh 的用户把 pnpm dsh 换成 dsh。也可 clone 仓库或直接指定 git 版本安装。

使用

Web UI：Settings → Agent 测评，或直接输入 /eval 命令：

/eval import /path/to/suite.jsonl
/eval model provider/model
/eval judge provider/model
/eval run suite --parallel 4 --retries 1
/eval progress <jobId>
/eval report <jobId>

子命令：import、list、drop、model、models、judge、run、resume、kill、runs、progress、report。

Headless / CI：

cd /path/to/deepseek-harness
pnpm dsh --profile eval eval import suite.jsonl
pnpm dsh --profile eval eval model provider/model
pnpm dsh --profile eval eval run suite --parallel 4

功能

• 支持 JSONL / JSON / CSV / TSV 及目录导入，自动适配常见 benchmark 字段。
• 每题独立 agent，支持并发、重试和超时。
• 评分方式：exact、contains、llm。
• 报告持久化到 $DSH_EVAL_HOME/eval/reports，支持 checkpoint 断点续跑。
• Web 面板提供模型下拉框、实时进度条和通过/失败结果图。

文档

• README.md — English
• INSTALL.md / INSTALL.zh.md — 安装
• USAGE.md / USAGE.zh.md — 完整用法
• AGENTS.md / AGENTS.zh.md — 架构与维护指南

开发

node --test test/*.test.js

集成测试和 Web client 构建需要 deepseek-harness checkout，见 AGENTS.md。

MIT License，详见 LICENSE。