llm-chat-completions-server 0.1a0 发布

llm-chat-completions-server 0.1a0

AI 导读

Simon Willison 发布 llm-chat-completions-server 0.1a0 插件，可在本地 9001 端口启动一个兼容 OpenAI Chat Completions API 的服务器，暴露 LLM 工具中所有已安装的模型。

推荐理由

Simon 把 LLM 工具变成了兼容 OpenAI 的 API 服务器，开发者可以本地直接用任何模型，省去适配工作，安装即用，实用性强。

正文 · AI 翻译

新版内容可寻址日志在 LLM 0.32rc1 中的一个关键目标，是能够支持 OpenAI Chat Completion 风格的请求——即每条传入消息都延续之前的对话，就像这样：

curl http://localhost:8002/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "qwen3.5-4b",
    "messages": [
      {"role": "user", "content": "Capital of France?"},
      {"role": "assistant", "content": "Paris."},
      {"role": "user", "content": "Germany?"}
    ]
  }'

在这里，对话状态由客户端跟踪，因此这些请求会变得越来越长。LLM 中的新 schema 设计旨在利用各个消息部分的哈希值来对这些请求进行去重。

为了测试这一点，我构建了这个插件：

uv tool install llm --pre
llm install llm-chat-completions-server
llm chat-completions-server -p 9001

运行它会启动一个位于 9001 端口的 localhost 服务器，通过一个兼容 ChatGPT Completions 的端点，暴露你收藏的全部 LLM 模型（来自你已安装的任何插件）。

GPT-5.6 Sol 写了整个东西——事实证明它非常了解 OpenAI Chat Completions API 的结构。

标签：项目、openai、llm