这是一个创建于 405 天前的主题，其中的信息可能已经有所发展或是发生改变。
目前提供线上 AI 服务的成本居高不下，如果能把 AI 模型集成到客户端中，这块的服务成本省了，用户也得到了方便。
 |
1
zcf0508 2024-04-28 18:20:53 +08:00
用户：我只有核显可以做到 100t/s 吗？
|
 |
2
zhwguest 2024-04-28 18:21:30 +08:00
TensorFlow js....
|
 |
3
malusama 2024-04-28 18:21:35 +08:00
用户： 这个客户端怎么好几个 G ？ 里面到底塞了啥
|
 |
4
ysc3839 2024-04-28 18:22:41 +08:00 via Android
libtorch 跑 torchscript ，或者干脆弄个 embedded Python
|
 |
5
nickfox5880 2024-04-28 18:27:10 +08:00
你们自己做的 ai 模型吗？
|
 |
6
jianchang512 2024-04-28 18:30:20 +08:00
如果不在意体积，可以用 python 包下，提供个 api 给 electron 用
|
 |
7
wxxxcxx 2024-04-28 19:35:47 +08:00
Mozilla 好像开源了一个可以以单文件分发大模型的工具
|
|
8
wxxxcxx 2024-04-28 19:36:22 +08:00
|
 |
9
shadowyue 2024-04-28 19:37:48 +08:00
你的 AI 模型如果核显的性能都带的动，那可以试试
|
 |
10
AKAUP 2024-04-28 19:45:47 +08:00
1. 模型逆向泄露风险
2. 适配多端平台的开发难度评估 3. 用户客户端算力、处理芯片的不统一，可能会带来使用体验的降低 4. 客户端体积包增大 这是我想到的四个缺点叭，不知道合不合理 |
 |
11
Jirajine 2024-04-28 19:46:29 +08:00
能跑是能跑，但这可不能像 electron 每个应用都带一个 chromium 一样每个应用都带一个 llama 。
|
 |
12
kneo 2024-04-28 19:52:29 +08:00 via Android
可以用 ollama 本地部署，然后你用 http api 调用本地服务就可以了。
你的 electron 实现端只需要负责调 API ，可以配置为使用云端的（比如 openai ）或者本地的。类似实现一大把，自己找找吧。可以搜索 local llm 之类的。 |
 |
13
yolee599 2024-04-28 19:54:01 +08:00 via Android
线上服务都嫌成本高，那本地部署成本更高了
|
 |
14
Curtion 2024-04-28 19:58:04 +08:00
看什么模型，一般可以使用 onnxruntime 来做
|
 |
15
horizon 2024-04-28 19:58:43 +08:00
当然可以，本地大模型才是未来
|
 |
16
Garphy 2024-04-29 09:09:07 +08:00
用 ollama 可以提供模型 api ，可以命令行导入第三方模型 gguf 文件
|
 |
18
knightgao2 2024-04-29 11:14:47 +08:00
3.5 应该成本很低呀，你可以考虑限制免费用户的频次，根据二八原则，选个大多数人可以接受的就行
|
 |
19
jones2000 2024-04-29 15:08:48 +08:00
直接卖给客户一个计算盒子，模型计算直接在盒子里计算。
|
Select Language