mili100 最近的时间轴更新
mili100

mili100

V2EX 第 185096 号会员,加入于 2016-08-02 22:05:55 +08:00
根据 mili100 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
mili100 最近回复了
52 天前
回复了 mingtdlb 创建的主题 DNS dns 那 dnssec 有用吗?
DNSSEC 主要是防止拿到错误的结果,校验不通过就丢弃,但是也拿不到正确的结果
怎么拿到正确的结果,就需要 DoH 、DoT 以及其他 DNS 隧道的方式了
开一台虚拟机,然后 noVNC
@coefuqin 我的工作站是 3090 单机单卡,用不到 Tensor Parallelism 。Ollama 的模型管理非常方便只需要 `ollama run`就搞定了,我也希望生成一些 Rejected 用的垃圾还要花上几十分钟来搭环境。我觉得 Ollama 很适合我的用例,所以什么不呢。
对于使用 API 开发应用,也许目前质量和性价比的最佳平衡还是 Deepseek-V3-0324
165 天前
回复了 laijh 创建的主题 Local LLM 个人电脑,适合跑哪个本地大模型?
内存足够的话也许试试看 Qwen3:30B-A3B ,激活参数仅 3B ,品质接近 32B (虽然对于 16G ,iQ2 UD 量化可能都有些捉襟见肘)
189 天前
回复了 idblife 创建的主题 Local LLM 有没有能 mac 上直接跑的多语言翻译 LLM?
@gzlock 意指站在巨人的肩膀上,或者是羊驼的背上(?

@musi Ollama 从 [v0.1.33]( https://github.com/ollama/ollama/releases/tag/v0.1.33) 开始就已经支持并发和同时加载多个模型了,已经足以能够胜任一些中小规模的生产环境了
274 天前
回复了 jhytxy 创建的主题 Local LLM q4 量化的大模型能比原版全精度的差多少?
293 天前
回复了 mrleft 创建的主题 Local LLM ollama 如何手动下载模型?
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2725 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 13ms · UTC 08:24 · PVG 16:24 · LAX 00:24 · JFK 03:24
♥ Do have faith in what you're doing.