Skip to content

提示词-总结

我需要使用golang语言搭建一个AI gateway,提供LLM请求转发能力。用户可以配置LLM 供应商,每个供应商有哪些LLM大模型。然后用户可以自定义endpoint端点,用于对外提供LLM服务,可以定义每个endpoint端点对外提供的模型列表。每个模型可以映射到LLM 供应商的具体模型上,转发时根据请求上下文大小和模型映射时的排序选择目标,执行请求转发。需要记录一些数据,用于报表统计,数据使用本地数据库存储。需要将单次的请求记录请求日志,包含目标、请求体和sse流式返回的数据,日志已文本文件的形式记录,数据库中保留日志文件位置。

端口api风格支持 openai协议和Anthropic协议   

转发目标的选择策略:首先过滤不可用的,然后根据上下文大小过滤目标,然后按优先级排序选择最优的

上次更新时间:

最近更新