百万数据下的大模型校验应用

7 天前
 Suinn

目前有一些算力做支撑,场景是几百万的 json 数据需要交给大模型做校验,依据一些业务规则让模型来判断数据是否符合标准。 想请教一下各位大佬们,这种场景下业务系统调用大模型传递数据,相比于一条一条调用,如果批量的把数据给到模型会影响准确率吗,因为现在测试下来几百万的数据一条一条调用解析确实太慢

952 次点击
所在节点    程序员
4 条回复
NoOneNoBody
7 天前
什么模型?
模型支持批量当然就用批量,不支持那也是白搭,只能自己写个并发
Suinn
7 天前
@NoOneNoBody 目前用的 deepseek ,主要还是担心批量给到模型后会影响输出质量
z1829909
6 天前
DeepSeek 我记得是不支持 Batch API 的,应该不就是充点钱,然后狠狠的打他的接口么。
Suinn
6 天前
@z1829909 哈哈,目前来看也只能这样了。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://yangjunhui.monster/t/1128980

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX