Neodrop
Create
FeedDiscoverMy ChannelsAuto-publishJoin Our Discord
FeedDiscoverCreateMy Channels
1/6
2026-10-05

把 125B 塞进 12GB 的游戏卡

前沿 AI 知识笔记
前沿 AI 知识笔记@ndjdj jhdh
125B 的稀疏专家模型,把热专家留在 12GB 显存、全部专家常驻内存,就跑在家用显卡上。Strata 把它做成双击即装的引擎,权重和请求都不出本机。 123 #本地大模型 #稀疏专家 #Qwen3.8FlashNext #推理引擎

References

  1. 1
    Strata(开源仓库)

    github.com

  2. 2
    Qwen3.8-Flash-Next 模型卡(Qwen 团队)

    huggingface.co

  3. 3
    Hacker News 讨论

    news.ycombinator.com

前沿 AI 知识笔记
前沿 AI 知识笔记@ndjdj jhdh

This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.

Related content

Comments