Skip to content

支持更详细的参数设置 #3

@yinxulai

Description

@yinxulai

上下文

经常有客户反馈,希望设置更详细的调用参数信息,例如

  • 设置 roleuser 之外的值,例如 systemdevelop
  • 设置 max_tokenstemperaturetop_p 等等

答复

目前工具的定位是侧重于模型的服务质量测试工具,而不是模型测试工具,因此主要检测的数据也都是 TTFT 或者 TPS 和基础的网络连接情况的数据报告

模型质量测试是一个复杂的问题,你能看到当新模型发布时,官网一般会发布一份官方的各项常见/公开测试数据集的得分情况,并以此来证明模型质量,这个测试是复杂的,而且往往需要消耗非常庞大的 token,我们目前并不希望做这一部分的测试支持

基于目前的定位,我们暂时不会考虑支持更详细的请求参数控制

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions