robbaa 最近的时间轴更新 robbaa 最近的时间轴更新 |
robbaaV2EX 第 594402 号会员，加入于 2022-09-15 13:13:39 +08:00今日活跃度排名 4211 |
| deepseekr2 官网？ 程序员 • robbaa • 20 天前 • 最后回复来自 chesha1 | 2 |
| 薄荷糖配可乐，口感很刺激 美酒与美食 • robbaa • 2023-08-05 19:07:54 PM • 最后回复来自 ohoh | 13 |
| 找不到好用又便宜的笔记软件，又想造轮子了 程序员 • robbaa • 2023-10-16 08:49:35 AM • 最后回复来自 JayZXu | 111 |
robbaa 最近回复了
1 天前 回复了 461229187 创建的主题 › 程序员 › 突然被一群老外 star，一看原来是上了 Hacker News 首页 |
看起来不错，star 支持一下
3 天前 回复了 silvio 创建的主题 › 买买买 › 有点闲钱，想花钱买快乐，求老哥们推荐，预算 6 万 |
炒 A 股，天天都刺激
81 天前 回复了 xption 创建的主题 › 程序员 › 如何说服同事使用 Cursor？ |
代码补全+赛博许愿?
107 天前 回复了 foru17 创建的主题 › MacBook Pro › 我的 Macbook Pro 中招了"屏幕门": 建议用 16 到 18 款的 MBP 用户可以关注下 |
2017 款 MBP 13 中招，在犹豫怎么搞
241 天前 回复了 kingmo888 创建的主题 › 软件 › 有没有好的计划管理工具（web/PC），帮忙推荐下，谢谢。 |
关键是习惯，养成习惯 vscode 都行
249 天前 回复了 jedeft 创建的主题 › 程序员 › 搞一台 4090 服务器放客厅怎么样？ |
@jedeft 考虑下室外，开空调都是烤火
2024-05-15 09:03:46 +08:00 回复了 kitazawa 创建的主题 › 程序员 › 大学本科，课程期末设计，选什么项目比较好啊。。。。 |
2024-05-10 19:20:15 +08:00 回复了 techdai 创建的主题 › 生活 › 大家有什么泡水喝不腻的❓ |
吨吨杯+酸梅汤
2024-05-01 23:22:01 +08:00 回复了 leeum 创建的主题 › Local LLM › 使用 llama3:70b 本地化部署， 100 人左右的并发，大概需要多少块 4090 才能满足？ |
@leeum 测试版还是有问题，结果不理想。
70b
单次请求：17~20s
并行 4 ，4 个请求，4 个成功，平均 30s
并行 6 ，6 个请求，6 个成功，平均 33s
并行 8 ，8 个请求，8 个成功，平均 41s
并行 9 ，9 个请求，9 个成功，平均 130s （确实如此）
并行 10 ，10 个请求，10 个成功，平均 142s
并行 11 ，11 个请求，11 个成功，平均 150s
8b
并行 8 ，8 个请求，8 个成功，平均 14s
并行 9 ，9 个请求，6 个成功，平均 25s
并行 10 ，10 个请求，10 个成功，平均 32s
并行 11 ，11 个请求，11 个成功，平均 34s
并行 12 ，返回异常
测试多了，还会出现“话痨”现象。正常回复在 40k 左右，“话痨”状态在 380k 以上
======
@imFu 我初学状态
70b
单次请求：17~20s
并行 4 ，4 个请求，4 个成功，平均 30s
并行 6 ，6 个请求，6 个成功，平均 33s
并行 8 ，8 个请求，8 个成功，平均 41s
并行 9 ，9 个请求，9 个成功，平均 130s （确实如此）
并行 10 ，10 个请求，10 个成功，平均 142s
并行 11 ，11 个请求，11 个成功，平均 150s
8b
并行 8 ，8 个请求，8 个成功，平均 14s
并行 9 ，9 个请求，6 个成功，平均 25s
并行 10 ，10 个请求，10 个成功，平均 32s
并行 11 ，11 个请求，11 个成功，平均 34s
并行 12 ，返回异常
测试多了，还会出现“话痨”现象。正常回复在 40k 左右，“话痨”状态在 380k 以上
======
@imFu 我初学状态
2024-04-30 20:46:15 +08:00 回复了 leeum 创建的主题 › Local LLM › 使用 llama3:70b 本地化部署， 100 人左右的并发，大概需要多少块 4090 才能满足？ |
ab -c 10 -n 10 -p ./testchat.json -T "application/json" -H 'Content-Type: application/json' http://localhost:11434/api/chat
testchat.json 中内容
```
{
"model": "llama3:70b",
"stream": true,
"frequency_penalty": 0,
"presence_penalty": 0,
"temperature": 0.6,
"top_p": 1,
"messages": [
{
"content": "安排一个南京的 2 天的旅游攻略，用中文回答",
"role": "user"
}
]
}
```
testchat.json 中内容
```
{
"model": "llama3:70b",
"stream": true,
"frequency_penalty": 0,
"presence_penalty": 0,
"temperature": 0.6,
"top_p": 1,
"messages": [
{
"content": "安排一个南京的 2 天的旅游攻略，用中文回答",
"role": "user"
}
]
}
```
Select Language