V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  noahlias  ›  全部回复第 11 页 / 共 11 页
回复总数  207
1 ... 2  3  4  5  6  7  8  9  10  11  
https://github.com/Awesome-Windows/Awesome

windows 的感觉上面都有覆盖,但是国产软件可能有一些没有比如 snipaste 等
工具这种东西我觉得是你有需求才会去找和用,而且基本上都会有人实现(没人实现只能自己写一个了
2024-03-02 09:53:06 +08:00
回复了 abcfreedom 创建的主题 Local LLM gemma:2b 这个模型想要流畅运行起来需要什么配置的电脑
@abcfreedom 应该是可以的

ollama 不过你得自己编译下 issue( https://github.com/ollama/ollama/issues/738)里面找解决方案
或者你用 llama.cpp https://github.com/ggerganov/llama.cpp
readme 里面是提到有支持 hipBlAS 的 https://github.com/ggerganov/llama.cpp#hipblas
2024-03-01 20:28:42 +08:00
回复了 abcfreedom 创建的主题 Local LLM gemma:2b 这个模型想要流畅运行起来需要什么配置的电脑
@yankebupt 中文你用 qwen 模型吧 那个效果好,instruct 在一些问题回答上会更好啊 当然也是答辩

想看比较,自己去 llm leaderboard 看吧 ,
https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
2024-03-01 19:07:48 +08:00
回复了 abcfreedom 创建的主题 Local LLM gemma:2b 这个模型想要流畅运行起来需要什么配置的电脑
我看了一下在我的 8G 3060TI 上 推理速度
https://i.imgur.com/XmbsWLD.png

在我的 m1. pro 16g
https://i.imgur.com/9Ey1B4w.jpg

看来还是 cuda🐮
看了一下 点开它的 fork 都是机器人
都是 2 周前注册的 而且他们的 repo 都有这段代码哈哈 应该都是钓鱼的
1 ... 2  3  4  5  6  7  8  9  10  11  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5850 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 16ms · UTC 02:20 · PVG 10:20 · LAX 19:20 · JFK 22:20
Developed with CodeLauncher
♥ Do have faith in what you're doing.