V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
annoygaga
V2EX  ›  程序员

现在有哪个 LLM 已经部署在手机/PC 设备上么(CPU),效果还不错的那种

  •  1
     
  •   annoygaga · 2024-11-09 00:39:50 +08:00 · 1874 次点击
    这是一个创建于 393 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如题,有哪个还不错的 LLM ,目前可以部署在手机(最新 CPU 手机)或者本地 PC 上么?现在希望 embed 到一些 app 里

    6 条回复    2025-01-03 20:50:05 +08:00
    rus4db
        1
    rus4db  
       2024-11-09 00:52:49 +08:00   ❤️ 1
    不妨看看我做的小玩具,浏览器上推理的:
    https://github.com/bd4sur/Nano
    annoygaga
        2
    annoygaga  
    OP
       2024-11-09 11:32:42 +08:00
    没人么?
    annoygaga
        3
    annoygaga  
    OP
       2024-11-09 11:33:29 +08:00
    @rus4db 赞啊,我看模型大小几百 MB
    EscYezi
        4
    EscYezi  
       2024-11-09 14:29:20 +08:00 via Android
    现在 google 在推 gemini 移动端部署,不知道效果如何
    annoygaga
        5
    annoygaga  
    OP
       2024-11-09 16:19:01 +08:00
    @EscYezi 好像一般般
    neoWang
        6
    neoWang  
       337 天前
    看到答主 8 年前的帖子,答主最后出国了嘛
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   888 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 22:58 · PVG 06:58 · LAX 14:58 · JFK 17:58
    ♥ Do have faith in what you're doing.