哪家的 AI 可以处理 29247 个字符,相当于 26,650 个 Tokens 的文本输入?有免费的么?

2024-04-20 10:38:42 +08:00
 BeyondReach
1960 次点击
所在节点    OpenAI
14 条回复
neteroster
2024-04-20 11:47:56 +08:00
Claude3 全系列 200K 上下文,GPT4 Turbo 128K 上下文。绰绰有余。

开源模型这边,Qwen1.5 词表有中文词汇,如果是中文的话 Tokens 量会比汉字数量少不少,32K 完全足够。但上下文较长时效果可能下降。
macaodoll
2024-04-20 11:57:38 +08:00
这个问题之前也测试过,谷歌 genmini 1.5 最优,能吐完所有东西,国产几个吐着吐着就开始省略号了
BeyondReach
2024-04-20 12:00:49 +08:00
@neteroster

免费版的 Claude3 Sonnet 提示我超出限制:
Message is 12128% over the remaining length limit. Try replacing the attached 1 file with smaller excerpts.

Coze 里的 GPT4 Turbo 128K 模型,支持我输入这么长的文字,但是输出的答案非常短,只有 Tokens 801 ,Characters 803
wwhc
2024-04-20 14:15:16 +08:00
MistralAI 的开源模型支持 32K Tokens 或 64K Tokens
mrp
2024-04-20 16:16:27 +08:00
kimi
BeyondReach
2024-04-20 17:41:46 +08:00
@mrp

kimi 支持长文本的输入输出,就是输出的时候需要点击 “继续”按钮

但是对输入输出的审核太严苛,我输入的关于台版的理财投资信息,它有时都不愿意处理
BeyondReach
2024-04-20 17:57:46 +08:00
@mrp
输入一个 80 分钟视频的字幕后( 29510 个字符),kimi 返回了 3670 个字符,就开始提示其他内容了
BeyondReach
2024-04-20 18:40:40 +08:00
@wwhc 8g 内存的 mac mini m2 ,使用 Jan 运行 Mistral Instruct 7B Q4 无响应
BeyondReach
2024-04-20 18:42:47 +08:00
@macaodoll Gemini 可以输入 3w 字文本后,会提示"我只是一个语言模型,无法为你提供这方面的帮助。"

如果将文本减少到 2w 字左右,可以进行回答,但是输出时会进行删减
wwhc
2024-04-21 00:35:08 +08:00
@BeyondReach 建议在 16G 内存或 10G 以上显存的设备上部署 Mistral 7B
maymay5
2024-04-22 00:43:44 +08:00
Asistants GPT
BeyondReach
2024-04-22 09:15:14 +08:00
@maymay5 有网页吗?网上收到好几个项目都是这个名称
maymay5
2024-04-22 09:29:12 +08:00
@BeyondReach #12 这是 openai 官方的,你需要充值 API ,然后在这里可以使用 https://platform.openai.com/assistants
BeyondReach
2024-05-15 17:54:03 +08:00
@wwhc 没有显卡真是寸步难行

Mac Mini M2 8g 版本真是太弱了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://yangjunhui.monster/t/1034124

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX