开发者晚报 - 2026-11-19
每日精选实用开源项目与开发者工具,关注能直接上手的免费资源
1. colibri — 纯 C 写的 MoE 推理引擎,无需 GPU 跑千亿参数模型
JustVugg/colibri
纯 C 实现的分层推理引擎,每个模型家族一个文件,不依赖 GPU 即可运行。支持 GLM-5.2/5.3、Kimi K3、DeepSeek V4 Flash、Qwen3.6、OLMoE 等十余个语言模型,以及 Qwen-Image-2.1 绘图模型;有 GGUF 直接读取能力,CPU、Vulkan、CUDA 都能跑。官方示例里 744B MoE 模型 int4 量化后 CPU 流式输出,32 秒就绪、常驻 9.9GB 内存。
- Stars: 52k | 语言: C | 许可: Apache-2.0
- GitHub: https://github.com/JustVugg/colibri
- 推荐理由:本地部署大模型时,“没有显卡能不能跑”是最现实的门槛。它把 MoE 模型做成纯 C 单文件引擎,降低依赖和部署复杂度,适合在普通机器或边缘设备上跑大模型。
2. Harness² — 递归式智能体框架,不改模型权重让 agent 自我改进
google-research/harness2
Google Research 开源的即插即用框架,面向”设计时没见过的任务”做递归式 agent harness 优化。任务级递归通过 Propose–Probe–Compose 改执行框架;harnessing 级递归把每次任务采纳的 harness 和经验教训写回持久改进 harness,指导后续任务。附带 JobBench 等基准,模型权重全程冻结。
- Stars: 24.4k | 语言: Python | 许可: Apache-2.0
- GitHub: https://github.com/google-research/harness2
- 推荐理由:做 agent 开发时,prompt、工具、记忆这些”外壳”的调优往往比换模型更有效。这个框架把 harness 优化做成可递归、可积累的流程,并配了基准测试,适合研究者和工程团队参考。
3. TrnRT — 面向 AWS Trainium 的开源 LLM 推理引擎
RunanywhereAI/trnrt
为 AWS Trainium 芯片打造的开源推理引擎,核心是 NKI megakernel,支持 1M token 上下文。项目带 OpenSSF Scorecard 和 CI,组织 RunAnywhereAI 专注把 Trainium 变成可负担的推理平台。
- Stars: 1.6k | 语言: Python | 许可: Apache-2.0
- GitHub: https://github.com/RunanywhereAI/trnrt
- 推荐理由:用 Trainium 做推理的团队需要成熟引擎来发挥硬件性能。它把 NKI kernel 和长上下文支持打包好,省去自己从零写算子,适合关注低成本推理基础设施的开发者。
4. unref — Rust 写的极快 Python 死代码检测工具
Apakottur/unref
基于 Ruff 的解析器构建的 Python 死代码查找器,用 Rust 实现,扫描速度远快于同类工具(官方基准直接拿 CPython 源码对比)。支持 pip 安装,有文档站。
- Stars: 99 | 语言: Rust | 许可: MIT
- GitHub: https://github.com/Apakottur/unref
- 推荐理由:项目变大后,未使用的函数和导入会越积越多。它把死代码检测做到足够快,可以放进 CI 或 pre-commit,适合 Python 项目做日常清理。
5. tamserve — 多摄像头实时目标跟踪服务引擎
aryamandarda/tamserve
给 SAM 2 / EdgeTAM 补上的 serving 层:一份模型副本同时跟踪多路摄像头里的所有目标,长时间运行。可以指着目标跟踪,也可以直接命名(“狗""红色杯子”)让它自己找。支持单 GPU 或多 GPU。
- Stars: 195 | 语言: Python | 许可: Apache-2.0
- GitHub: https://github.com/aryamandarda/tamserve
- 推荐理由:SAM 系列原本只处理单路录播视频,做监控、直播、多机位跟踪时需要自己搭服务。它把多摄像头、长时运行和语义命名打包好,省去重复造轮子。
6. Auto Ontology MCP — 把 NVIDIA 语义层和个人知识库做成 MCP 服务
gogoymh/auto-ontology-mcp
把 NVIDIA Auto Ontology 的语义层与个人知识库封装成 MCP 服务,支持 stdio 和 streamable HTTP 两种接入方式,可配合 Claude、Codex 等任意 MCP 客户端使用。
- Stars: 506 | 语言: Python | 许可: Apache-2.0
- GitHub: https://github.com/gogoymh/auto-ontology-mcp
- 推荐理由:知识库 + 本体语义层是让 AI 助手”读懂”个人数据的组合。它把 NVIDIA 的语义层能力直接暴露成标准 MCP 工具,接入成本低,适合想做个人知识库问答的场景。
7. EditHere — 把修改意见标在画面上,让 AI 照着改
Inginnng/EditHere
面向 Vibe Coding 和视觉创作的本地优先反馈工作台:圈出问题、拖动布局、多页评审,把”改哪里、怎么改”直接交给 AI。支持网页前端、桌面软件、游戏 HUD、AI 生图、视频动画等场景,覆盖 Windows / macOS / Linux 和 Web。
- Stars: 1.7k | 语言: C++ | 许可: PolyForm Noncommercial 1.0.0
- GitHub: https://github.com/Inginnng/EditHere
- 推荐理由:用 AI 改 UI 时,文字描述位置和样式很低效。它把反馈做成可视化标注并转成 AI 可执行的指令,适合前端、游戏和视觉创作流程。
8. PicLite 图轻 — 本地优先的图片与 GIF 压缩工作台
amiaoapp/PicLite
本地优先的跨平台图片与动图处理工具:压缩、拖动对比画质、格式转换、缩放、批量命名集中在一处。支持悬浮窗、Docker 部署和 MCP / AI 接入,可离线使用。
- Stars: 1.1k | 语言: TypeScript | 许可: GPL-3.0
- GitHub: https://github.com/amiaoapp/PicLite
- 推荐理由:图片压缩工具很多,但兼顾本地隐私、批量处理和画质对比的不多。它把常见图片处理动作整合到一起,还能通过 MCP 接入 AI 工作流,适合内容创作者和处理大量图片的场景。
以上为今日精选项目,覆盖本地推理、agent 框架、开发工具与实用软件。