百万数据下的大模型校验应用

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

目前有一些算力做支撑，场景是几百万的 json 数据需要交给大模型做校验，依据一些业务规则让模型来判断数据是否符合标准。想请教一下各位大佬们，这种场景下业务系统调用大模型传递数据，相比于一条一条调用，如果批量的把数据给到模型会影响准确率吗，因为现在测试下来几百万的数据一条一条调用解析确实太慢

4 条回复 • 2025-04-30 17:42:58 +08:00

NoOneNoBody

7 天前

什么模型？
模型支持批量当然就用批量，不支持那也是白搭，只能自己写个并发

Suinn

7 天前

@NoOneNoBody 目前用的 deepseek ，主要还是担心批量给到模型后会影响输出质量

z1829909

6 天前 via Android

DeepSeek 我记得是不支持 Batch API 的，应该不就是充点钱，然后狠狠的打他的接口么。

Suinn

6 天前

@z1829909 哈哈，目前来看也只能这样了。