generated from yinxulai/go-template
-
Notifications
You must be signed in to change notification settings - Fork 0
Open
Description
上下文
经常有客户反馈,希望设置更详细的调用参数信息,例如
- 设置
role为user之外的值,例如system、develop - 设置
max_tokens、temperature、top_p等等
答复
目前工具的定位是侧重于模型的服务质量测试工具,而不是模型测试工具,因此主要检测的数据也都是 TTFT 或者 TPS 和基础的网络连接情况的数据报告
模型质量测试是一个复杂的问题,你能看到当新模型发布时,官网一般会发布一份官方的各项常见/公开测试数据集的得分情况,并以此来证明模型质量,这个测试是复杂的,而且往往需要消耗非常庞大的 token,我们目前并不希望做这一部分的测试支持
基于目前的定位,我们暂时不会考虑支持更详细的请求参数控制
Metadata
Metadata
Assignees
Labels
No labels