配置并使用AIChat

前言

AIChat是一款开源命令行大语言模型工具，主要用于高效集成和调用各类AI模型。它以Rust编写，支持跨平台安装，并通过多种包管理器或预编译二进制快速部署。它统一接入了20+主流AI服务（如OpenAI、Claude、Gemini等），提供多样化交互方式：直接生成Shell命令的CMD模式、支持自动补全的交互式REPL聊天、结合外部文件的RAG增强问答，以及通过函数调用扩展的自动化工具链。特色功能包括角色预设管理、会话持久化、宏命令批处理，并内置轻量HTTP服务，可本地部署API接口和Web交互界面（Playground/Arena）。用户可定制主题和提示模板，适应不同开发场景。项目采用MIT/Apache 2.0双协议，兼顾开发灵活性与生产环境需求，显著提升AI模型在命令行环境下的实用性和效率。

安装

Arch Linux与Windows的MSYS2均已经官方收录了AIChat，用户可以直接使用包管理器进行安装。

Arch Linux

sudo pacman -S aichat

Windows

笔者在2025.03.30为Windows的MSYS2环境增加了mingw-w64-aichat包，并在同日被MSYS2项目接受，现已支持直接从MSYS2的官方软件源安装。在确保Windows系统安装MSYS2后，打开MSYS2终端（以UCRT64环境为例），执行以下命令：

pacman -S mingw-w64-ucrt-x86_64-aichat

API配置

我们可以在各大LLM API提供商处申请API密钥。请注意，API密钥是非常重要的凭证，请不要泄露。

首次运行AIChat时，系统会提示我们配置，包括选择模型服务商、输入API密钥等。我们可以选择Google Gemini作为模型服务商，并输入申请到的API密钥，然后则需要选择我们想要使用的模型。配置完成后，AIChat会自动保存设置。默认的配置过程十分简单，一路完成之后就可以直接运行AIChat，无需再次配置。

如果我们还想要添加多个模型服务商，可以在配置文件中手动添加。配置文件位于用户数据目录下的aichat/config.yaml（在Linux上默认为~/.config/aichat/config.yaml，在Windows上默认为%APPDATA%\aichat\config.yaml）。

此外，AIChat默认的上下文压缩阈值较小，为4000，现在比较强大的大模型普遍支持128 K及以上的上下文，我们将阈值设定为100000一般是合理的。笔者在一般聊天中更喜欢使用DeepSeek v3 0324模型（Google Gemini 2.5 Pro非常强大但是近期OpenRouter提供的Google Gemini 2.5 Pro有时候容易无响应），以下是笔者的示例配置文件：

compress_threshold: 100000

model: chutes:deepseek-ai/DeepSeek-V3-0324
clients:
- type: gemini
  api_key: xxxxxx
- type: openai-compatible
  name: openrouter
  api_base: https://openrouter.ai/api/v1
  api_key: xxxxxx
  models:
    # Deepseek
    - name: deepseek/deepseek-chat-v3-0324:free
      max_input_tokens: 131072
      max_output_tokens: 131072
      supports_function_calling: true
    - name: deepseek/deepseek-r1:free
      max_input_tokens: 163840
      max_output_tokens: 163840
    # Google Gemini
    - name: google/gemini-2.5-pro-exp-03-25:free
      max_input_tokens: 1000000
      max_output_tokens: 65536
      supports_vision: true
      supports_function_calling: true
- type: openai-compatible
  name: chutes
  api_base: https://llm.chutes.ai/v1
  api_key: xxxxxx
  models:
    # DeepSeek
    - name: deepseek-ai/DeepSeek-V3-0324
      max_input_tokens: 131072
      max_output_tokens: 131072
      supports_function_calling: true
    - name: deepseek-ai/DeepSeek-R1
      max_input_tokens: 163840
      max_output_tokens: 163840
    # Meta
    - name: chutesai/Llama-4-Maverick-17B-128E-Instruct-FP8
      max_input_tokens: 1000000
      max_output_tokens: 256000
      supports_vision: true

使用

简单运行AIChat：

aichat

进入AIChat后，我们还可以使用很多命令，可以输入.help查看：

.help                    Show this help guide
.info                    Show system info
.edit config             Modify configuration file
.model                   Switch LLM model
.prompt                  Set a temporary role using a prompt
.role                    Create or switch to a role
.info role               Show role info
.edit role               Modify current role
.save role               Save current role to file
.exit role               Exit active role
.session                 Start or switch to a session
.empty session           Clear session messages
.compress session        Compress session messages
.info session            Show session info
.edit session            Modify current session
.save session            Save current session to file
.exit session            Exit active session
.agent                   Use an agent
.starter                 Use a conversation starter
.edit agent-config       Modify agent configuration file
.info agent              Show agent info
.exit agent              Leave agent
.rag                     Initialize or access RAG
.edit rag-docs           Add or remove documents from an existing RAG
.rebuild rag             Rebuild RAG for document changes
.sources rag             Show citation sources used in last query
.info rag                Show RAG info
.exit rag                Leave RAG
.macro                   Execute a macro
.file                    Include files, directories, URLs or commands
.continue                Continue previous response
.regenerate              Regenerate last response
.copy                    Copy last response
.set                     Modify runtime settings
.delete                  Delete roles, sessions, RAGs, or agents
.exit                    Exit REPL

Type ::: to start multi-line editing, type ::: to finish it.
Press Ctrl+O to open an editor for editing the input buffer.
Press Ctrl+C to cancel the response, Ctrl+D to exit the REPL.

基础会话使用

例如，如果我们需要保留上下文信息，可以使用.session命令创建一个会话：

.session

如果需要指定会话名称，可以使用.session <name>命令：

.session my_session

这时我们可以输入问题，AIChat会自动将问题发送给模型并返回结果。我们也可以使用.exit session命令退出会话。

核心功能：Chat-REPL

AIChat 的核心是 Chat-REPL（交互式聊天环境），提供以下特性：

1. Tab 自动补全：
   • 输入 . 后按 Tab 可补全 REPL 命令。
   • 输入 .model 后按 Tab 可补全聊天模型。
   • 输入 .set <key> 后按 Tab 可补全配置值。
2. 多行输入支持：
   • 按 Ctrl+O 用外部编辑器编辑多行文本（推荐）。
   • 直接粘贴多行文本（需终端支持，笔者在Linux下用Konsole测试发现直接支持，Windows下用Windows Terminal则发现不支持）。
   • 输入 ::: 开始多行编辑，再输入 ::: 结束。
   • 使用快捷键 Ctrl/Shift/Alt + Enter 直接换行。
3. 历史记录搜索：
   • 按 Ctrl+R 搜索历史记录，用 ↑↓ 键导航。
4. 可配置键绑定：
   • 支持 Emacs 和 VI 风格的键绑定。
5. 自定义提示符：
   • 可在提示符中显示当前上下文信息。

文件操作

AIChat支持文本、图片、PDF文档等多种文件类型，还支持传入URL和目录等。如果我们需要使用文件操作，可以使用.file命令：

.file /path/to/file

.file命令还可以指定多个文件或目录，使用空格分隔。例如：

.file /path/to/file1 /path/to/file2

在指定完文件后，如果我们还想要指定提交文件的这轮对话的提示词，可以在命令后面加上--，然后在后面输入提示词即可：

.file /path/to/file -- 请帮我总结一下这个文件的内容

提示词中还可以包含对于多个文件的高级操作，例如：

.file a.txt b.txt -- 找出不同之处
.file img1.png img2.png -- 分析图片差异

如果已经在会话中，我们还可以后续对文件的内容进行进一步询问。很多时候网页版或者客户端的LLM可能对文件上传大小有限制，而AIChat直接指定本地文件时，文件会在本地处理而无需上传到远程服务器，因此不受网页版大模型通常存在的文件上传大小限制。

引用上一个回复的内容到文件：%%

%%是.file命令的一个特殊参数，在.file命令中使用%%时，系统会自动将上一次AI的回复内容作为输入。例如：

.file %% -- 将上次回复翻译成英文

这相当于将 AI 的上一条回复传递给后续指令处理。

利用%%，我们可以实现多步处理的链式流程（如生成代码后迭代优化等）。

读取命令输出：`command`

我们还可以使用反引号 `command` 来读取命令的输出。例如：

.file `git diff HEAD` -- 生成 Git 提交信息

这里会先执行git diff HEAD，将其差异内容发送给LLM进行处理。以上示例可以用于生成Git提交信息，对很多强迫症很有用。

考虑到Git提交信息还往往需要符合项目的历史风格，笔者更推荐使用：

.file `git diff HEAD` `git log -n 30` -- 根据历史Git提交信息的风格，为本次修改生成Git提交信息

这里的git diff HEAD会将当前工作区和暂存的差异内容传递给LLM，而git log -n 30会将近30条项目历史提交信息传递给LLM作为范例。这样，LLM就可以根据历史提交信息的风格来生成符合项目风格的提交信息。

RAG增强问答

RAG（Retrieval-Augmented Generation）是一种增强问答的技术，它结合了检索和生成模型的优势。AIChat支持RAG功能，我们可以使用.rag命令来初始化或访问RAG。例如，如果我们想要基于AIChat的Wiki文档进行增强问答，可以使用以下命令：

.rag aichat-wiki

在运行.rag命令后，AIChat会要求我们指定Embedding模型并设置相关参数（可以保留默认值）。假设我们之前添加了Google Gemini的API密钥，我们就可以使用Google的Embedding模型来进行RAG增强问答。

设置完模型以后，AIChat还是要求我们设置RAG的内容源，对于AIChat的Wiki文档，我们可以使用https://github.com/sigoden/aichat/wiki/**作为内容源，其中**表示递归匹配该目录下的所有文件和子目录，将AIChat Wiki的所有页面添加到RAG中。另外，如果需要同时指定多个独立的URL，可以用分号 ; 分隔它们。

如果使用上述设定，我们即可配置得到一个RAG增强问答的环境：

> .rag aichat-wiki
⚙ Initializing RAG...
> Select embedding model: gemini:text-embedding-004 (max-tokens:2048;max-batch:100;price:0)
> Set chunk size: 1500
> Set chunk overlay: 75
> Add documents: https://github.com/sigoden/aichat/wiki/**
Load https://github.com/sigoden/aichat/wiki/** [1/1]
Start crawling url=https://github.com/sigoden/aichat/wiki/ exclude=_history extract=#wiki-body
Crawled https://github.com/sigoden/aichat/wiki/
Crawled https://github.com/sigoden/aichat/wiki/Environment-Variables
Crawled https://github.com/sigoden/aichat/wiki/Macro-Guide
Crawled https://github.com/sigoden/aichat/wiki/Role-Guide
Crawled https://github.com/sigoden/aichat/wiki/Command-Line-Guide
Crawled https://github.com/sigoden/aichat/wiki/Custom-Theme
Crawled https://github.com/sigoden/aichat/wiki/Custom-REPL-Prompt
Crawled https://github.com/sigoden/aichat/wiki/FAQ
Crawled https://github.com/sigoden/aichat/wiki/Chat-REPL-Guide
Crawled https://github.com/sigoden/aichat/wiki/Configuration-Guide
Crawled https://github.com/sigoden/aichat/wiki/RAG-Guide

完成以后，我们即可在此RAG环境中进行增强问答。

在RAG环境中，我们还可以叠加使用.session命令来创建会话，以便模型能够记住对话内容。

此外，我们在RAG中对于模型的需求往往与普通会话不同，RAG中我们往往需要要求模型的幻觉率尽可能地低，可以参考附录的榜单来选择合适的模型。

内置HTTP服务器

启动本地服务：

aichat --serve

默认地址为 http://127.0.0.1:8000，提供以下端点：

• 聊天补全 API：/v1/chat/completions
• 嵌入 API：/v1/embeddings
• LLM playground 和竞技场。

支持自定义监听地址和端口：

aichat --serve 127.0.0.1:1234

如果想要在AIChat提供的HTTP服务中直接与LLM交互，可以打开运行aichat --serve所输出的LLM Playground的链接（例如http://127.0.0.1:8000/playground），在这里我们可以直接与LLM进行交互。

在浏览器中打开AIChat简洁的HTTP服务界面

AIChat的网页版默认会运行在一个不保存的会话中，点击左上角的+图标可以创建一个新的会话。不过笔者没有找到在网页中保存会话的功能，网页版中的所有会话似乎会在停止服务后丢失。

Shell集成

在运行aichat命令时加上-e参数可以让AI生成并执行命令（需确认）。例如：

aichat -e "安装docker"  # 生成适合当前系统的安装命令

生成命令后，系统会询问接下来的操作：

> aichat -e '不递归地找到/tmp下所有的png文件并转化为无损的webp'
find /tmp -maxdepth 1 -name "*.png" -exec bash -c 'for f; do cwebp -lossless "$f" -o "${f%.*}.webp"; done' _ {} +
> execute | revise | describe | copy | quit:

我们可以选择执行、修正、描述、复制或退出。选择执行后，AIChat会自动执行生成的命令。

应用案例

笔者是Arch Linux for Loong64（Loong Arch Linux）发行版的维护者，常常需要在开发者社区的日常会议上向其他开发者介绍Loong Arch Linux的最新进展。为了提高会议效率，可以很方便地使用AIChat来生成进度信息汇总。我们可以利用之前介绍的`command`的方式，通过git命令，将近2周内的仓库提交信息传递给LLM,并让LLM从这一个角度来帮助撰写我们所需要的汇报内容。在AIChat的Chat-REPL CLI界面中输入：

.file `git -C ~/projects/loongarch-packages/ log --since="2 weeks ago" --stat` -- 假如你是Arch Linux for Loong64社区（由北京大学学生Linux俱乐部维护，仓库地址为https://github.com/lcpu-club/loongarch-packages）的维护者，你需要向其他龙架构的开发者汇报最近两周的Loong Arch Linux发行版的开发信息。请你先从git仓库的提交记录中分析，筛选并详细总结出对其他开发者和我们的用户有参考意义，尤其是对其他发行版和上游开发者（指参与龙架构相关开发的上游开发者）的维护有潜在帮助的内容。请有选择地介绍，但是切勿遗漏重要、有价值的信息；请用括号标注出修复的贡献者，例如(by wszqkzqk)这种形式；请尽量附上相关提交的链接（如果有对应PR，优先放PR链接而不是冗长的commit链接）和向上游贡献内容的链接供参考

这里的git -C ~/projects/loongarch-packages/ log --since="2 weeks ago" --stat会将最近两周的提交记录直接传递给LLM进行处理。LLM会自动分析提交记录，并生成一份详细的进度信息汇总，例如笔者在2025.04.10时的运行结果：

以下是从最近两周的提交记录中筛选出的对LoongArch Linux发行版开发有重要参考价值的内容总结，特别关注对其他发行版和上游开发者有帮助的信息：

---

### 1. **AMDVLK驱动支持**
- **提交**: [a0d186c](https://github.com/lcpu-club/loongarch-packages/commit/a0d186ca279b47434b2a1c902a3247dbe379e73b)  
  - 移植了上游stb库的LoongArch支持补丁（[stb#1610](https://github.com/nothings/stb/pull/1610)）(by wszqkzqk)  
  - 临时添加`-DCMAKE_POLICY_VERSION_MINIMUM=3.5`以解决构建问题（[AMDVLK#402](https://github.com/GPUOpen-Drivers/AMDVLK/issues/402)）。  
  - **意义**: 为LoongArch提供了AMD GPU的开源Vulkan驱动支持，对其他发行版集成AMDVLK有参考价值。

---

### 2. **Rust生态适配**
- **提交**: [4a56a27](https://github.com/lcpu-club/loongarch-packages/commit/4a56a27961b0aa4b85e3f75c4ac8813f8f55cd09)  
  - 修复`aichat`的依赖`hnsw_rs`，替换`mmap-rs`为`memmap2`以解决构建问题 (by wszqkzqk)。  
  - 上游PR: [hnswlib-rs#23](https://github.com/jean-pierreBoth/hnswlib-rs/pull/23)。  
- **提交**: [3d9a05e](https://github.com/lcpu-club/loongarch-packages/commit/3d9a05e1cf89598b581106c6b0329ee32b836aae)  
  - 修复`arti`（Tor客户端）的`aws-lc-sys`构建问题，需添加`cmake`和`clang`依赖 (by wszqkzqk)。  
  - 使用`mold`链接器绕过`bfd`的分段错误问题。  
  - **意义**: 展示了Rust工具链在LoongArch上的常见问题及解决方案，对上游Rust库维护者有参考价值。

---

### 3. **QEMU虚拟化改进**
- **提交**: [4e2b778](https://github.com/lcpu-club/loongarch-packages/commit/4e2b77892556eaa06dead178b570ab17fb09bc73)  
  - 为`qemu-system-loongarch64`添加`edk2-loongarch64`依赖（类似x86/aarch64）(by wszqkzqk)。  
  - **意义**: 完善了LoongArch虚拟化支持，为其他发行版提供标准化依赖配置参考。

---

### 4. **Chromium/Electron重大更新**
- **提交**: [ce1141a](https://github.com/lcpu-club/loongarch-packages/commit/ce1141a710fd571cf05c75913474ceb6b3bdc79f)  
  - 升级至Electron 35/Chromium 134，修复Swiftshader的LLVM16兼容性问题 (by wszqkzqk)。  
  - 包含大量LoongArch支持补丁（如seccomp修复、depot_tools适配等）。  
- **提交**: [2b0c6c4](https://github.com/lcpu-club/loongarch-packages/commit/2b0c6c499d26e220c15ab050389106ea4ac59251)  
  - Chromium 135升级，不再需要Swiftshader的额外补丁 (by wszqkzqk)。  
  - **意义**: 为浏览器生态的LoongArch支持提供持续维护范例，补丁可反馈至上游Chromium。

---

### 5. **Qt6 WebEngine适配**
- **提交**: [f75364e](https://github.com/lcpu-club/loongarch-packages/commit/f75364e1cef6295b0b75df70134b661835eda9de)  
  - 升级至Qt 6.9，移除已合并的`libyuv`补丁（上游已修复）(by wszqkzqk)。  
  - **意义**: 展示了如何与上游协作逐步减少下游补丁，推动代码合并。

---

### 6. **LuaJIT关键修复**
- **提交**: [00fd5f7](https://github.com/lcpu-club/loongarch-packages/commit/00fd5f75bbebdc807594ccdc364756da36073dbf)  
  - 修复LuaJIT的JIT编译问题，确保LazyVim等工具链兼容性 (by Wu Xiaotian)。  
- **提交**: [b7dca15](https://github.com/lcpu-club/loongarch-packages/commit/b7dca1539e9c3f6ab39ab04bf9b6e105863ef804)  
  - 合并龙芯社区的LuaJIT更新，支持NeoVim构建 (by Pluto Yang)。  
  - **意义**: 解决了动态语言运行时的重要兼容性问题，补丁可反馈至LuaJIT上游。

---

### 7. **工具链优化**
- **提交**: [659066f](https://github.com/lcpu-club/loongarch-packages/commit/659066f434f0d81b9c95ba23a7e13bef6b95733c)  
  - 修复`pkgfile`的LoongArch64架构识别问题 (by wszqkzqk)。  
  - **意义**: 改进包管理工具对LoongArch的支持，建议提交至Arch Linux上游。

---

### 8. **上游贡献建议**
- **已合并上游的补丁**:  
  - `libyuv`（Qt6依赖）的LoongArch SIMD支持已合并，可移除本地补丁。  
  - `stb`库的LoongArch补丁（[stb#1610](https://github.com/nothings/stb/pull/1610)）已合并。  
- **待推动的补丁**:  
  - `hnsw_rs`的`memmap2`替换（[hnswlib-rs#23](https://github.com/jean-pierreBoth/hnswlib-rs/pull/23)）需上游审核。  
  - `pkgfile`的架构识别补丁可提交至Arch Linux。

---

### 完整提交列表
- [所有相关提交记录](https://github.com/lcpu-club/loongarch-packages/commits/main)  
- **重点包**: AMDVLK、QEMU、Chromium/Electron、Qt6、LuaJIT、Rust生态工具。

---

以上内容可供其他LoongArch发行版维护者和上游开发者参考，欢迎进一步协作优化生态支持！

LLM生成的信息未必直接可用，可能会有错误、遗漏或者不正确的解读（这在上面的示例中即存在），但是确实可以帮助我们快速生成一份大致的进度信息。我们可以在此基础上进行修改和补充，最终形成一份完整的进度信息。

另外，需要注意的是，社区的信息不仅仅是代码的提交信息，很多时候我们还需要关注社区的其他动态，例如社区成员的讨论，以及核心成员在上游的提交等。我们不能寄希望使用AIChat的一条命令就能完成所有的工作，AIChat只是一个工具，它可以帮助我们更高效地完成工作，无法做到完全自动化。

附录

常见高性能模型性能对比

摘自Google Gemini 2.5 Pro与Google Gemini 2.5 Flash的发布页面。（由于是Google发布的，可能结果中立性存疑）

长上下文深度理解性能

以下内容摘自Fiction.LiveBench。（2025年4月17日发布）

模型幻觉率榜单

以下内容摘自Hugging Face的榜单，使用Hallucination评估，列出了当前主流模型的幻觉率、事实一致性率、回答率等指标。我们可以根据这些指标来选择合适的模型。¹摘录时间为2025.04.08。

模型智能榜单

以下是对模型的智能方面的评估，选择性摘录自Artificial Analysis。摘录时间为2025.04.13。

• Previous
  在LobeChat中使用Gemini 2.5 Pro