Files
deepseek-harness/packages/llm/README.zh.md

1.8 KiB
Raw Blame History

llm/LLM大语言模型能力家族

English | 中文

LLM seam 及其提供方适配器。接口包(llm)拥有抽象服务、内容块词汇和流分片组装器;适配器是在 ctx.llm 上注册的具体实现。这些全是产品package

职责 ctx key
llm/ 抽象 LLM 服务 + 内容块词汇 + 分片组装器 ctx.llm
token-meter/ 感知回放的请求 token 与表层 token 测量 ctx.tokenMeter
llm-retry/ 确切提供方的常规或无界请求重试策略 (监听 agent/request-error
llm-deepseek/ DeepSeek API 适配器,直接使用 fetch + eventsource-parser 和 SSEServer-Sent Events (注册到 ctx.llm
llm-pi-ai/ 通过 @earendil-works/pi-ai 实现的多提供方适配器 (注册到 ctx.llm

接口位于 llm/llm/;适配器、重试策略和可复用的 token 计量器以扁平结构并列在该分组下。请求按 provider 路由,而 model 会原样传给选中的适配器。负责该路由的适配器提供重试策略,并解析可用的确切模型身份、上下文容量和推理元数据;重试执行器与 token 计量器仍与提供方无关。新的提供方适配器只需在 ctx.llm 上注册一个或多个提供方路由,无需改动消费方。两个已交付实现见双生 LLM 适配器,测量归属见回放 token 计量器 Agent Noteagent 决策记录)容量与压缩compaction策略归属见路由模型上下文 Agent Note