V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  BQsummer  ›  全部回复第 1 页 / 共 15 页
回复总数  295
1  2  3  4  5  6  7  8  9  10 ... 15  
1 天前
回复了 villivateur 创建的主题 程序员 大容量 U 盘用什么文件系统最好?
https://github.com/bobranten/Ext4Fsd ext4 在 Windows 上和 ntfs 基本无区别
1 天前
回复了 xtx 创建的主题 分享发现 京东外卖对美团发缴文了这是。
@werls 张江这没啥店铺入驻, 但是麦当劳是有的
这种不应该找联通, 找应用的客服, 他去和通道解除黑名单
短信通道的问题, 和联通无关, 携号转网反而会导致一些小通道触达不到
说 deepseek 会营销是不对, 当年 ds 火起来花了一周多, 而且是国外火到国内的, 然后国内自媒体开始各种吹了, 和深度求索没有关系
@byc4i 你不会真把蒸馏的 32B 当做 deepseek 了吧
97 天前
回复了 miaeLKK 创建的主题 健康 关于痛风的交流贴
我最近 3 年的尿酸是 520/420/520, 最近半年都是每天 2L 无糖可乐, 周末 4L 无糖可乐, 去年 11 月份第一次痛风, 水喝的是足够多了, 但是特别喜欢吃肉类/豆制品, 麻辣烫外卖每周必吃 2 次, 所以还是需要忌口的
187 天前
回复了 xqk111 创建的主题 Android 好奇现在一款安卓手机的系统能维护几年
@CodeAllen 安全更新不代表系统更新, 我的 s20 在 s23 还是 s24 就收不到 oneui 的大更新了
205 天前
回复了 jedeft 创建的主题 程序员 搞一台 4090 服务器放客厅怎么样?
@UEVdugfw 休眠被我关掉了, 怕远程桌面连不上
205 天前
回复了 jedeft 创建的主题 程序员 搞一台 4090 服务器放客厅怎么样?
13900+4090 挂着一天 6 度电
手机长时间插电源会不会鼓包完全看人品
314 天前
回复了 Alicewish 创建的主题 分享创造 用 GPT4 翻译电子书的体验
题外话,推荐个今天刷到的吴恩达的翻译 agent ,https://github.com/andrewyng/translation-agent
327 天前
回复了 BenjaminNL 创建的主题 Python anaconda 商业收费,有什么替代品吗?
mamba? 我看 yi llm 用的这个,个人没用过
337 天前
回复了 basncy 创建的主题 微软 劝大家不要用微软的邮箱, 会丢信且无提示.
@miyuki 这是发信, smtp 请求直接失败了, 并不是 po 说的 发件人显示成功, 但是收件人收不到这种场景
340 天前
回复了 joye 创建的主题 程序员 唉,一年了无人问津,开源算了
一直用 squoosh.app 竞品太多了
@bthulu 没网关跨 vpc 怎么调用? 金丝雀发布怎么精确控制流量到 pod? 失败逻辑怎么精确到接口?
347 天前
回复了 gongxuanzhang 创建的主题 程序员 在一个群里被恶心坏了
"普通 Select 无论加不加锁,无论怎么查询都不会有幻读问题,如果 for update 或者 delete update 这种操作就会用临建锁或者间隙锁来保证一致" 原 op 的这句话错的一塌糊涂, 为啥大家关注点不在技术本身
1. llama3 70b 需要 142G 显存,4090 是 24G 显存,不量化得 6 张卡,https://llm.extractum.io/list/?query=llama3 ,可以在这个网站查下大概的显存占用,8bit 量化也要 75G ,4bit 量化 40G ,4090 不合适。31L 的 llama3:70b 是“quantization
4-bit”的: https://ollama.com/library/llama3:70b
2. 显存不是重点,重点是推理速度,取决于模型、显卡、还有部署模型的服务,比如 vllm ,都会做推理优化,而且推理速度和并发不是成线性反比的,所以实际的推理速度真的只有在跑下来才知道
3. 主流生产环境部署还是 vllm 多一点,我有在 reddit 看到吐槽 ollama 并发下卡死的,虽然我也用 ollama 测试一些模型,用起来是真方便
1  2  3  4  5  6  7  8  9  10 ... 15  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3741 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 36ms · UTC 05:13 · PVG 13:13 · LAX 22:13 · JFK 01:13
Developed with CodeLauncher
♥ Do have faith in what you're doing.