mirror of
https://github.com/deepseek-ai/deepseek-harness
synced 2026-08-15 21:04:50 +00:00
1.8 KiB
1.8 KiB
llm/:LLM(大语言模型)能力家族
English | 中文
LLM seam 及其提供方适配器。接口包(llm)拥有抽象服务、内容块词汇和流分片组装器;适配器是在 ctx.llm 上注册的具体实现。这些全是产品包(package)。
| 包 | 职责 | ctx key |
|---|---|---|
llm/ |
抽象 LLM 服务 + 内容块词汇 + 分片组装器 | ctx.llm |
token-meter/ |
感知回放的请求 token 与表层 token 测量 | ctx.tokenMeter |
llm-retry/ |
确切提供方的常规或无界请求重试策略 | (监听 agent/request-error) |
llm-deepseek/ |
DeepSeek API 适配器,直接使用 fetch + eventsource-parser 和 SSE(Server-Sent Events) | (注册到 ctx.llm) |
llm-pi-ai/ |
通过 @earendil-works/pi-ai 实现的多提供方适配器 |
(注册到 ctx.llm) |
接口位于 llm/llm/;适配器、重试策略和可复用的 token 计量器以扁平结构并列在该分组下。请求按 provider 路由,而 model 会原样传给选中的适配器。负责该路由的适配器提供重试策略,并解析可用的确切模型身份、上下文容量和推理元数据;重试执行器与 token 计量器仍与提供方无关。新的提供方适配器只需在 ctx.llm 上注册一个或多个提供方路由,无需改动消费方。两个已交付实现见双生 LLM 适配器,测量归属见回放 token 计量器 Agent Note(agent 决策记录),容量与压缩(compaction)策略归属见路由模型上下文 Agent Note。