请问像是 qwen:0.5b 这种小模型，实际能落地用来做什么，Size 才 395MB ，Context 32K
 |
1
exploretheworld 21 天前 via Android
最大的用途: 用来练习微调模型
|
 |
2
xtreme1 21 天前  1
干以前 BERT 干的事, query 改写, 语义增强, 用户意图识别, 浅层打分, 生成 embedding 做召回匹配
|
 |
3
fredweili 21 天前
端侧，做一些简单的前端任务
|
 |
4
Akuta 21 天前
个人感觉可以用在一些辅助场景，比如总结大模型对话标题，或者一些精度不高的翻译场景，这些场景用大尺寸的可能不划算
|
 |
5
xubingok 21 天前
用来给某些用户装逼:"哇,我本地部署了个大模型"
|
 |
6
Kisesy 21 天前
可以部署到一些小机器人？那些可以对话的那种吧
|
 |
7
chawuchiren 21 天前
不是有创业者把这玩意内置到成人玩具了吗
|
 |
8
haodingzan 21 天前
网易游戏都有个游戏助手，比如梦幻精灵、大话精灵，这玩意以前纯人工维护，匹配关键字时甚至要想到有可能打出来的错别字，有大量机械性重复工作，知识库内容就那么多，来源恒定，所有的改动都可以预先得知，几乎不依赖上下文，0.5B 可太合适了。
|
 |
9
virusdefender 21 天前
embedding 之类的
|
 |
10
littlemis OP @chawuchiren 单片机跟树莓派可以吃下 ollama + gwen 的资源跟效率吗?!
|
|
11
littlemis OP |
 |
12
reeco 21 天前
目前最大的用处就是推测解码
|
 |
13
vicalloy 21 天前
0.5B 生成的对话都不通顺，就连 8B 的模型都会有少许不通顺的地方。
可能能进行二次训练用作特定用途吧（比如垃圾短信判定？）。 单片机的性能跑不了 0.5B 。 |
 |
14
rogerer 20 天前
可以用来 debug 。然后很多实验室没能力训更大规模的模型，只能在 0.5b 1b 上试试。
|
 |
15
iv8d 20 天前
做 RAG 也不是不可以，反正有知识库，没找到就说没找到
|
Select Language