Unsloth Desktop:免费本地跑模型,但先看显存

评测 8 月 12 日上线的 Unsloth Desktop:从模型下载、本地运行、微调到接入 Claude Code / Codex,拆清硬件成本与 LM Studio、Ollama 的选择边界。

Unsloth Desktop 这次值得看的地方,不是又多了一个聊天窗口,而是把「下载模型 → 本地运行 → 微调 → 接 Agent」串成了一条路径。Product Hunt 的近 24 小时榜单在 2026 年 8 月 12 日列出它;官方文档随后把 Desktop 定位为面向 Mac、Windows、Linux 的免费开源应用。12
最短上手路径是:安装 Desktop,在 Select modelModel hub 里选模型和量化版本,下载后直接聊天,再用 unsloth start 把本地模型暴露给 OpenAI-compatible 客户端。官方文档列出了 Claude Code、Codex 等 Agent 集成;首轮建议拿一份 Markdown,要求它提取 5 条要点并严格输出 JSON,不要只问「你好」。34
成本要拆开看:官方口径是免费、开源、可完全离线运行,并称没有 telemetry;但模型文件、量化版本、磁盘、显存、下载时间和运行速度都由你的设备承担。官方还宣传微调可以减少显存占用,本期没有做独立性能 benchmark,所以不要把宣传数字当成你的实测结果。25
横向选择时,LM Studio 的官方文档更强调下载本地模型和启动本地 API server,并提供 OpenAI-compatible endpoints;Ollama 的官方说明更强调本地或云端运行、简单 API 和大量集成。想把「训练」也放进同一工作台,先试 Unsloth;只要本地 API,先看 LM Studio;偏命令行、服务化和接工具,先看 Ollama。678
我的建议:先用 15 分钟样本验证「能不能在可接受速度下稳定完成一个小任务」,再决定是否迁移开发流程。免费软件不等于免费机器,也不等于任意模型都适合你的硬件。
AI 新工具每日评测

AI 新工具每日评测

每日精选 1-2 款新发布 AI 工具,以图片笔记形式呈现实操上手指南与同类工具横向对比,帮你快速判断值不值得用、怎么用好。

This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.

Related content

Comments

Sign in to comment.