dsh-vision-lmstudio

English | 中文

为 DSH（DeepSeek Harness）Web GUI 提供本地 LM Studio 视觉识别插件：连接 LM Studio 的 OpenAI 兼容接口（默认 http://127.0.0.1:1234）， 调用其视觉模型对本地图片与 Windows 剪贴板图片做识别、描述与 OCR。所有推理都在本机完成， 图片不会离开本机。

功能

• Agent 工具（host 半区注册，任何会话可用）
  • lmstudio_vision — 按绝对路径识别本地图片文件
  • lmstudio_clipboard — 直接识别剪贴板中的图片（截图 / 复制后），无需文件路径
  • lmstudio_models — 列出已加载模型并标注最后加载的一个（自动选择）
• 设置页面板：「设置 → LM Studio 视觉识别」— 配置服务地址 / 模型 / 默认提示词 / 温度 / 最大 Token，刷新模型列表，一键识别本地图片或剪贴板图片
• 模型自动选择 — 省略 model 时自动使用当前已加载模型中最后加载的那个 （即服务器模型列表的第一个；通过原生 /api/v0/models 按 state 过滤，JIT 下 未加载的模型不会混入），不预设任何具体模型
• 配置持久化 — ~/.dsh/dsh-lmstudio-vision.json（原子写入），设置面板与 agent 工具共用

环境要求

• 带 web profile 的 DSH（DeepSeek Harness）
• LM Studio：已加载视觉模型并启动本地服务 （Developer → Start Server，默认端口 1234）
• 剪贴板工具需要 Windows（使用 Windows PowerShell 5.1 Get-Clipboard -Format Image）

安装

pnpm install
pnpm build
dsh plugin --profile web add link:<本仓库路径>/packages/dsh-lmstudio-vision

然后重启 DSH（dsh web）并刷新页面。dsh plugin 会自动把包加入 dsh.profile.bundles（本包声明了 dsh.bundle）。安装后设置页会出现 「LM Studio 视觉识别」面板，三个 agent 工具随宿主常驻，任何会话都可用。

配置

可在设置面板中修改，或直接编辑 ~/.dsh/dsh-lmstudio-vision.json：

{
  "baseUrl": "http://127.0.0.1:1234",
  "model": "",
  "prompt": "请详细描述这张图片的内容。",
  "temperature": 0.2,
  "maxTokens": 1024
}

model 留空表示自动使用最后加载的模型；填写具体模型 ID 则手动指定。

仓库结构

• packages/dsh-lmstudio-vision/src/index.ts — host 半区：LM Studio engine、API 路由、 agent 工具、system-prompt 公告
• packages/dsh-lmstudio-vision/src/client/ — browser 半区：设置页面板
• packages/dsh-lmstudio-vision/cordis.patch.yml — bundle patch 插件行
• shared/tsdown.client.ts — 构建预设（遵循 dsh-web-ui 的 clientBundle 约定）

许可证

BSD-3-Clause