deepseek-harness-flow

English

DeepSeek Harness Flow 是 DeepSeek Harness 的社区开源插件，提供可视化 Agent 工作流和多模型跑分实验室。

Studio 预览：可视化工作流作为正常 Harness 会话内新增的 Harness Flow 入口，不替换原有界面。

它会保留原来的 Harness 内容：Chat、会话列表、设置、工具和已有 workflow 记录都不修改。插件只在原 Chat 旁增加一个 Harness Flow 入口，里面只有三个页面：

• Studio：编辑并运行 Input、Agent、Map Agent、Condition、Merge、Output 节点。
• Bench：选择预设或导入测试集，配置多个模型和独立裁判后开始跑分。
• Runs：查看持久化结果、客观结果、正式排行榜，并导出脱敏报告。

本项目是社区项目，并非 DeepSeek 官方项目，也未获得 DeepSeek 官方背书。

安装

当前 beta 固定兼容 DeepSeek Harness 提交 47f9438 及其对应 RC 包。

dsh plugin --profile web add https://github.com/alison-xx/deepseek-harness-flow/releases/download/v0.1.0-beta.2/deepseek-harness-flow-0.1.0-beta.2.tgz

重启 web profile，打开任意会话，在原来的 Chat 旁选择 Harness Flow。本地安装包和排错方法见中文安装指南。

Tauri 桌面客户端

仓库同时提供面向 Windows 的 Tauri 桌面启动器。它会启动隔离的本机 Harness Profile、将本插件安装到该 Profile，并在原生桌面 WebView 中打开完整 Harness。

pnpm install --frozen-lockfile
pnpm desktop:dev

启动器会要求填写本机 DeepSeek Harness 项目目录和 Node.js 命令，默认端口为 4181。安装 Rust 与 Windows 构建工具后，执行 pnpm desktop:build 可生成安装包。首个桌面 Beta 有意复用本机 Harness 与 Node.js，而不会偷偷打包凭据或复制一份 Harness；详见桌面端指南。

跑分规则

• 内置 MIT 测试集：Quick Smoke 6 题、Comprehensive Agent 18 题、Coding 8 题、Safety 6 题。
• 每题每模型默认运行 3 次；默认全局并发 2，同一 provider route 并发 1。
• 支持 DeepSeek、OpenAI、Anthropic、Google 和自定义 OpenAI 兼容接口。
• 每个 route 使用独立的 Harness 凭据引用；明文 Key 只发送给 credentials.set，本插件不持久化 Key。
• 正式 100 分质量分需要一个不参赛的独立裁判：客观正确性 50%、裁判 30%、安全合规 10%、稳定性 10%。
• 没有独立裁判时只显示客观结果，不分配正式名次。
• 延迟、Token、缓存读取和估算成本单独统计；只有填写计价快照时才显示成本。
• 导入测试集里的命令默认禁用，必须在运行前明确授权。

本地开发

需要 Node.js 22+ 和 pnpm。

pnpm install --frozen-lockfile
pnpm verify
pnpm test:browser
pnpm pack:release

pnpm preview 会在 http://127.0.0.1:4178 打开独立视觉测试壳。Harness RC 包是运行时 peer dependency；仓库内置最小兼容类型，所以独立 clone 也能直接类型检查。

公开接口

Typert Remote 命名空间：

flow.list/get/put/delete/run/cancel
benchmark.suites/list/import/export
benchmark.runs/start/get/list/cancel/retry/export

核心公开类型包括 FlowDefinition、ModelTarget、BenchmarkSuite、BenchmarkCase、BenchmarkRun、BenchmarkResult。

隐私与安全

插件不采集遥测，不上传测试题、模型回复、报告或 API Key。导出器会移除凭据字段、绝对工作路径和敏感环境变量名。导入第三方测试集前请阅读 SECURITY.md。

许可

MIT。内置测试题为本项目原创内容，同样以 MIT 许可发布。