9 Commits
v0.3.0 ... v6.0

Author SHA1 Message Date
59f9c6de18 feat: 实现模块6 - TUI集成翻译 (Enter翻译/异步执行/加载状态) 2026-04-06 05:18:11 +08:00
8c6b08cec8 feat: 实现模块5 - TUI快捷键系统 (Ctrl+L清空/Ctrl+T切换语言) 2026-04-06 05:15:24 +08:00
aefa0e8799 feat: 实现模块4 - TUI状态栏和主题配色 2026-04-06 05:13:24 +08:00
7321951d05 feat: 实现模块3 - TUI翻译显示区 2026-04-06 05:11:23 +08:00
6f872ff285 feat: 实现模块2 - TUI输入组件 (textinput) 2026-04-06 05:10:00 +08:00
1787464f52 feat: 实现模块1 - TUI基础框架 (bubbletea) 2026-04-06 05:07:36 +08:00
b71f76c8b3 feat: 添加本地缓存功能,减少API调用
- 实现SQLite缓存模块,支持高效查询和存储
- 添加缓存键生成策略(基于原文+语言对的SHA256哈希)
- 集成缓存到Translator类,先查缓存再调用API
- 添加缓存管理命令:cache clear, cache stats, cache cleanup
- 实现组合缓存清理策略(数量限制+时间过期)
- 添加完整的单元测试
- 更新配置文件模板,添加缓存配置
- 更新文档和版本记录

版本: v0.5.1
2026-03-29 21:10:28 +08:00
ceed482444 Merge pull request 'main' (#1) from main into dev
Reviewed-on: #1
2026-03-29 18:56:21 +08:00
b752779d18 docs: update changelog status to released v0.3.0 2026-03-29 18:43:04 +08:00
16 changed files with 2270 additions and 19 deletions

View File

@@ -3,6 +3,17 @@
## 项目概述
YOYO是一个命令行翻译工具使用Go语言编写采用面向对象设计模式。它通过调用在线大模型API结合不同的Prompt配置实现多样化的翻译特色。
## 开发流程
1. AI接手项目后先阅读 `AGENTS.md` `changelog.md` `taolun.md` `memory.md`,无需读整个项目的所有文件;
2. 每次开始执行操作前,先更新 `taolun.md`
3. 执行完开发后,更新 `changelog.md` `memory.md` `AGENTS.md`;
4. 最后,执行 git 操作,发布本地的 版本号,而先不提交远程;
## 文档规范
- 讨论的内容:只应该保存在 `taolun.md``changelod.md`中,根据 文档该写什么该链接什么,分门别类的放置
- 不应该再创建其他任何 md 类说明文件。
## OOP设计模式
### 核心类设计
@@ -24,6 +35,32 @@ YOYO是一个命令行翻译工具使用Go语言编写采用面向对象
### 1. 全局配置类 (Config)
负责读取YAML配置文件提供默认值。
### 2. 缓存类 (Cache)
负责本地缓存管理减少API调用。
```go
// internal/cache/cache.go
package cache
// Cache 缓存接口
type Cache interface {
Get(ctx context.Context, key string) (*CacheEntry, error)
Set(ctx context.Context, entry *CacheEntry) error
Delete(ctx context.Context, key string) error
Clear(ctx context.Context) error
Stats(ctx context.Context) (*CacheStats, error)
Cleanup(ctx context.Context) error
Close() error
}
```
**缓存功能特点**:
- **存储层**: 使用SQLite数据库
- **缓存键**: 基于原文+语言对的SHA256哈希
- **清理策略**: 组合策略(数量限制+时间过期)
- **异步保存**: 不阻塞翻译结果返回
- **自动清理**: 定时清理过期缓存
```go
// internal/config/config.go
package config
@@ -405,6 +442,12 @@ yoyo/
│ ├── translator/ # 核心翻译
│ │ ├── translator.go
│ │ └── prompt.go
│ ├── cache/ # 本地缓存
│ │ ├── cache.go # 缓存接口
│ │ ├── sqlite.go # SQLite实现
│ │ ├── key.go # 缓存键生成
│ │ ├── cleanup.go # 缓存清理
│ │ └── cache_test.go # 单元测试
│ └── prompt/ # Prompt管理
├── pkg/ # 公共工具
├── configs/ # 配置文件目录
@@ -456,6 +499,13 @@ prompts:
creative: "你是一位富有创造力的翻译家,请用优美流畅的语言翻译以下内容。"
academic: "你是一位学术翻译专家,请用严谨的学术语言翻译以下内容。"
simple: "请用简单易懂的语言翻译以下内容。"
# 缓存配置
cache:
enabled: true # 是否启用缓存
max_records: 10000 # 最大缓存记录数
expire_days: 30 # 缓存过期天数
db_path: "~/.config/yoyo/cache.db" # 缓存数据库文件路径
```
## 开发顺序建议
@@ -611,6 +661,17 @@ go run ./cmd/yoyo "This is translation content..."
# 指定翻译模式
./yoyo --mode=technical "API documentation text"
# 管道功能(与其他命令行工具联合使用)
cat file.txt | ./yoyo # 翻译文件内容
echo "Hello" | ./yoyo --lang=cn # 翻译命令输出
./yoyo "Hello" | grep "你好" # 与其他命令组合
cat file.txt | ./yoyo -q # 静默模式,只输出翻译结果
# 缓存管理命令
./yoyo cache clear # 清空翻译缓存
./yoyo cache stats # 查看缓存统计信息
./yoyo cache cleanup # 清理过期缓存
```
## 代码风格指南
@@ -821,4 +882,4 @@ yoyo onboard --force # 强制重新配置
- [Effective Go](https://go.dev/doc/effective_go)
- [Go Code Review Comments](https://github.com/golang/go/wiki/CodeReviewComments)
- [Go Style Guide](https://google.github.io/styleguide/go/)
- [Survey库文档](https://github.com/AlecAivazis/survey)
- [Survey库文档](https://github.com/AlecAivazis/survey)

View File

@@ -9,7 +9,7 @@
## 未来架构想法
- [ ] 支持流式翻译输出
- [ ] 添加本地缓存减少API调用
- [x] 添加本地缓存减少API调用 ✅ 已完成
- [ ] 实现插件系统支持自定义厂商
- [ ] 支持批量翻译文件
- [ ] 添加Web界面可选
@@ -24,17 +24,182 @@
- [ ] 翻译历史记录
## 当前正实现
- [ ] 项目基础架构搭建
- [ ] 核心类设计实现
- [x] TUI界面模块拆分计划 ✅ 已制定
- [x] 模块1: TUI框架搭建 ✅ 已完成
- [x] 模块2: 输入组件 ✅ 已完成
- [x] 模块3: 翻译显示区 ✅ 已完成
- [x] 模块4: 状态栏/主题 ✅ 已完成
- [x] 模块5: 快捷键系统 ✅ 已完成
- [x] 模块6: 集成翻译 ✅ 已完成
## TUI界面实现计划 (v0.6.0) - 全部完成!
| 步骤 | 模块 | 内容 | 状态 |
|------|------|------|------|
| 1 | TUI框架搭建 | bubbletea基础App结构、运行循环 | ✅ 已完成 |
| 2 | 输入组件 | 文本输入框、光标、基础编辑 | ✅ 已完成 |
| 3 | 翻译显示区 | 结果展示、格式化、滚动 | ✅ 已完成 |
| 4 | 状态栏/主题 | 底部状态栏、语言选择、主题配色 | ✅ 已完成 |
| 5 | 快捷键系统 | 退出、清空、切换语言等 | ✅ 已完成 |
| 6 | 集成翻译 | 对接现有Translator、加载动画 | ✅ 已完成 |
## 待修复BUG
-
## 版本历史
### 0.6.0 (2026-04-06) - TUI交互界面
**类型**: 功能版本
**状态**: 已完成
**变更内容**:
- ✅ 模块1: TUI框架搭建 - 添加bubbletea依赖实现基础App结构
- ✅ 模块2: 输入组件 - textinput组件、基础输入处理
- ✅ 模块3: 翻译显示区 - 结果显示区域、样式定义
- ✅ 模块4: 状态栏/主题 - 底部状态栏、语言显示、配色完善
- ✅ 模块5: 快捷键系统 - Ctrl+L清空、Ctrl+T切换语言
- ✅ 模块6: 集成翻译 - Enter触发翻译、异步执行、加载状态、错误处理
**技术实现**:
- 使用 `github.com/charmbracelet/bubbletea` v1.3.10
- 使用 `github.com/charmbracelet/bubbles` (textinput组件)
- 使用 `github.com/charmbracelet/lipgloss` v1.1.0
- 基础model结构: config、translator字段
**讨论记录**:
- [TUI界面模块拆分计划](taolun.md#2026-04-06-1000-版本-060---tui界面模块拆分计划)
**下一步**:
- 测试TUI交互界面
- 优化用户体验
- 添加更多功能(如复制翻译结果)
---
### 0.5.0 (2026-03-29) - 本地缓存功能
**类型**: 功能版本
**状态**: 已发布
**变更内容**:
- ✅ 添加本地缓存模块 (internal/cache/)
- ✅ 实现SQLite缓存存储层支持高效查询和存储
- ✅ 实现缓存键生成策略(基于原文+语言对的SHA256哈希
- ✅ 修改Translator类集成缓存功能先查缓存再调用API
- ✅ 添加缓存配置到Config结构支持自定义缓存参数
- ✅ 实现缓存管理命令cache clear, cache stats, cache cleanup
- ✅ 添加组合缓存清理策略(数量限制+时间过期)
- ✅ 更新配置文件模板,添加缓存配置示例
- ✅ 更新帮助文档,添加缓存相关命令说明
**技术实现**:
- 使用 `github.com/mattn/go-sqlite3` 作为SQLite驱动
- 实现缓存接口 (Cache interface),支持多种存储后端
- 缓存表包含完整字段原文、译文、语言对、模型、Prompt、用量统计
- 自动清理过期缓存和超出数量限制的缓存
- 异步保存缓存,不阻塞翻译结果返回
**使用示例**:
```bash
# 基本翻译(自动使用缓存)
yoyo "Hello world"
yoyo "Hello world" # 第二次调用将从缓存返回
# 缓存管理命令
yoyo cache clear # 清空翻译缓存
yoyo cache stats # 查看缓存统计信息
yoyo cache cleanup # 清理过期缓存
```
**配置示例**:
```yaml
cache:
enabled: true # 是否启用缓存
max_records: 10000 # 最大缓存记录数
expire_days: 30 # 缓存过期天数
db_path: "~/.config/yoyo/cache.db" # 缓存数据库文件路径
```
**讨论记录**:
- [本地缓存功能设计](taolun.md#2026-03-29-1500-版本-050-本地缓存功能设计)
**下一步**:
- 完善缓存功能测试
- 添加缓存命中率统计
- 实现按语言清理缓存功能
- 优化缓存性能
---
### 0.5.1 (2026-03-29) - 缓存功能修复
**类型**: 修复版本
**状态**: 已发布
**变更内容**:
- ✅ 修复缓存清空命令中的VACUUM事务错误
- ✅ 修复缓存统计中的NULL值处理错误
- ✅ 修复缓存过期清理策略支持expire_days=0时清理所有记录
- ✅ 添加缓存模块单元测试
- ✅ 更新版本号到v0.5.1
**修复问题**:
- 缓存清空命令执行时出现"cannot VACUUM from within a transaction"错误
- 缓存统计查询在空表时出现NULL值转换错误
- 缓存过期清理策略在expire_days=0时不工作
**测试结果**:
- 所有缓存模块测试通过
- 缓存命令功能正常
- 缓存集成功能正常
**下一步**:
- 完善缓存功能测试
- 添加缓存命中率统计
- 实现按语言清理缓存功能
- 优化缓存性能
---
### 0.4.0 (2026-03-29) - 管道符功能
**类型**: 功能版本
**状态**: 已发布
**变更内容**:
- ✅ 添加管道符支持,允许与其他命令行工具联合使用
- ✅ 实现管道输入检测 (isPipeInput函数)
- ✅ 实现从标准输入读取 (readFromStdin函数)
- ✅ 添加 --quiet 和 -q 参数控制统计信息输出
- ✅ 更新帮助文档,添加管道使用示例
- ✅ 修复 content/filter.go 中的正则表达式错误
- ✅ 更新版本号到 v0.3.0
**使用示例**:
```bash
# 管道翻译文件
cat file.txt | yoyo
cat file.txt | yoyo --lang=en
# 管道翻译命令输出
echo "Hello world" | yoyo --lang=cn
# 静默模式,只输出翻译结果
echo "Hello world" | yoyo -q
# 与其他命令组合使用
cat file.txt | yoyo | grep "关键词"
yoyo "Hello" | wc -l
```
**讨论记录**:
- [管道符功能设计](taolun.md#管道符功能设计)
**下一步**:
- 实现更多厂商火山引擎、国家超算、Qwen、OpenAI兼容
- 添加配置文件路径查找机制
- 实现配置文件迁移工具
- 完善错误处理和用户体验
### 0.3.0 (2026-03-29) - 内容过滤与代码处理
**类型**: 功能版本
**状态**: 开发中
**状态**: 已发布
**变更内容**:
- ✅ 添加内容过滤模块 (internal/content/)

View File

@@ -4,34 +4,34 @@
default_provider: "siliconflow"
default_model: "gpt-3.5-turbo"
timeout: 30
default_source_lang: "auto" # 默认源语言auto为自动检测
default_target_lang: "zh-CN" # 默认目标语言(简体中文)
default_source_lang: "auto" # 默认源语言auto为自动检测
default_target_lang: "zh-CN" # 默认目标语言(简体中文)
providers:
siliconflow:
api_host: "https://api.siliconflow.cn/v1"
api_key: "${SILICONFLOW_API_KEY}"
model: "siliconflow-base"
model: "${SILICONFLOW_MODEL}"
enabled: true
volcano:
api_host: "https://api.volcengine.com/v1"
api_key: "${VOLCANO_API_KEY}"
model: "volcano-chat"
enabled: true
national:
api_host: "https://api.nsc.gov.cn/v1"
api_key: "${NATIONAL_API_KEY}"
model: "nsc-base"
enabled: false
qwen:
api_host: "https://dashscope.aliyuncs.com/compatible-mode/v1"
api_key: "${QWEN_API_KEY}"
model: "qwen-turbo"
enabled: true
openai:
api_host: "https://api.openai.com/v1"
api_key: "${OPENAI_API_KEY}"
@@ -42,4 +42,11 @@ prompts:
technical: "你是一位专业的技术翻译,请准确翻译以下技术文档,保持专业术语的准确性。"
creative: "你是一位富有创造力的翻译家,请用优美流畅的语言翻译以下内容。"
academic: "你是一位学术翻译专家,请用严谨的学术语言翻译以下内容。"
simple: "请用简单易懂的语言翻译以下内容。"
simple: "请用简单易懂的语言翻译以下内容。"
# 缓存配置
cache:
enabled: true # 是否启用缓存
max_records: 10000 # 最大缓存记录数
expire_days: 30 # 缓存过期天数
db_path: "~/.config/yoyo/cache.db" # 缓存数据库文件路径

26
go.mod
View File

@@ -4,14 +4,36 @@ go 1.26.1
require (
github.com/AlecAivazis/survey/v2 v2.3.7 // indirect
github.com/atotto/clipboard v0.1.4 // indirect
github.com/aymanbagabas/go-osc52/v2 v2.0.1 // indirect
github.com/charmbracelet/bubbles v1.0.0 // indirect
github.com/charmbracelet/bubbletea v1.3.10 // indirect
github.com/charmbracelet/colorprofile v0.4.1 // indirect
github.com/charmbracelet/lipgloss v1.1.0 // indirect
github.com/charmbracelet/x/ansi v0.11.6 // indirect
github.com/charmbracelet/x/cellbuf v0.0.15 // indirect
github.com/charmbracelet/x/term v0.2.2 // indirect
github.com/clipperhouse/displaywidth v0.9.0 // indirect
github.com/clipperhouse/stringish v0.1.1 // indirect
github.com/clipperhouse/uax29/v2 v2.5.0 // indirect
github.com/erikgeiser/coninput v0.0.0-20211004153227-1c3628e74d0f // indirect
github.com/go-enry/go-enry/v2 v2.9.5 // indirect
github.com/go-enry/go-oniguruma v1.2.1 // indirect
github.com/joho/godotenv v1.5.1 // indirect
github.com/kballard/go-shellquote v0.0.0-20180428030007-95032a82bc51 // indirect
github.com/lucasb-eyer/go-colorful v1.3.0 // indirect
github.com/mattn/go-colorable v0.1.2 // indirect
github.com/mattn/go-isatty v0.0.8 // indirect
github.com/mattn/go-isatty v0.0.20 // indirect
github.com/mattn/go-localereader v0.0.1 // indirect
github.com/mattn/go-runewidth v0.0.19 // indirect
github.com/mattn/go-sqlite3 v1.14.37 // indirect
github.com/mgutz/ansi v0.0.0-20170206155736-9520e82c474b // indirect
golang.org/x/sys v0.0.0-20220722155257-8c9f86f7a55f // indirect
github.com/muesli/ansi v0.0.0-20230316100256-276c6243b2f6 // indirect
github.com/muesli/cancelreader v0.2.2 // indirect
github.com/muesli/termenv v0.16.0 // indirect
github.com/rivo/uniseg v0.4.7 // indirect
github.com/xo/terminfo v0.0.0-20220910002029-abceb7e1c41e // indirect
golang.org/x/sys v0.38.0 // indirect
golang.org/x/term v0.0.0-20210927222741-03fcf44c2211 // indirect
golang.org/x/text v0.4.0 // indirect
gopkg.in/yaml.v3 v3.0.1 // indirect

65
go.sum
View File

@@ -1,9 +1,43 @@
github.com/AlecAivazis/survey/v2 v2.3.7 h1:6I/u8FvytdGsgonrYsVn2t8t4QiRnh6QSTqkkhIiSjQ=
github.com/AlecAivazis/survey/v2 v2.3.7/go.mod h1:xUTIdE4KCOIjsBAE1JYsUPoCqYdZ1reCfTwbto0Fduo=
github.com/Netflix/go-expect v0.0.0-20220104043353-73e0943537d2/go.mod h1:HBCaDeC1lPdgDeDbhX8XFpy1jqjK0IBG8W5K+xYqA0w=
github.com/atotto/clipboard v0.1.4 h1:EH0zSVneZPSuFR11BlR9YppQTVDbh5+16AmcJi4g1z4=
github.com/atotto/clipboard v0.1.4/go.mod h1:ZY9tmq7sm5xIbd9bOK4onWV4S6X0u6GY7Vn0Yu86PYI=
github.com/aymanbagabas/go-osc52/v2 v2.0.1 h1:HwpRHbFMcZLEVr42D4p7XBqjyuxQH5SMiErDT4WkJ2k=
github.com/aymanbagabas/go-osc52/v2 v2.0.1/go.mod h1:uYgXzlJ7ZpABp8OJ+exZzJJhRNQ2ASbcXHWsFqH8hp8=
github.com/charmbracelet/bubbles v1.0.0 h1:12J8/ak/uCZEMQ6KU7pcfwceyjLlWsDLAxB5fXonfvc=
github.com/charmbracelet/bubbles v1.0.0/go.mod h1:9d/Zd5GdnauMI5ivUIVisuEm3ave1XwXtD1ckyV6r3E=
github.com/charmbracelet/bubbletea v1.3.10 h1:otUDHWMMzQSB0Pkc87rm691KZ3SWa4KUlvF9nRvCICw=
github.com/charmbracelet/bubbletea v1.3.10/go.mod h1:ORQfo0fk8U+po9VaNvnV95UPWA1BitP1E0N6xJPlHr4=
github.com/charmbracelet/colorprofile v0.2.3-0.20250311203215-f60798e515dc h1:4pZI35227imm7yK2bGPcfpFEmuY1gc2YSTShr4iJBfs=
github.com/charmbracelet/colorprofile v0.2.3-0.20250311203215-f60798e515dc/go.mod h1:X4/0JoqgTIPSFcRA/P6INZzIuyqdFY5rm8tb41s9okk=
github.com/charmbracelet/colorprofile v0.4.1 h1:a1lO03qTrSIRaK8c3JRxJDZOvhvIeSco3ej+ngLk1kk=
github.com/charmbracelet/colorprofile v0.4.1/go.mod h1:U1d9Dljmdf9DLegaJ0nGZNJvoXAhayhmidOdcBwAvKk=
github.com/charmbracelet/lipgloss v1.1.0 h1:vYXsiLHVkK7fp74RkV7b2kq9+zDLoEU4MZoFqR/noCY=
github.com/charmbracelet/lipgloss v1.1.0/go.mod h1:/6Q8FR2o+kj8rz4Dq0zQc3vYf7X+B0binUUBwA0aL30=
github.com/charmbracelet/x/ansi v0.10.1 h1:rL3Koar5XvX0pHGfovN03f5cxLbCF2YvLeyz7D2jVDQ=
github.com/charmbracelet/x/ansi v0.10.1/go.mod h1:3RQDQ6lDnROptfpWuUVIUG64bD2g2BgntdxH0Ya5TeE=
github.com/charmbracelet/x/ansi v0.11.6 h1:GhV21SiDz/45W9AnV2R61xZMRri5NlLnl6CVF7ihZW8=
github.com/charmbracelet/x/ansi v0.11.6/go.mod h1:2JNYLgQUsyqaiLovhU2Rv/pb8r6ydXKS3NIttu3VGZQ=
github.com/charmbracelet/x/cellbuf v0.0.13-0.20250311204145-2c3ea96c31dd h1:vy0GVL4jeHEwG5YOXDmi86oYw2yuYUGqz6a8sLwg0X8=
github.com/charmbracelet/x/cellbuf v0.0.13-0.20250311204145-2c3ea96c31dd/go.mod h1:xe0nKWGd3eJgtqZRaN9RjMtK7xUYchjzPr7q6kcvCCs=
github.com/charmbracelet/x/cellbuf v0.0.15 h1:ur3pZy0o6z/R7EylET877CBxaiE1Sp1GMxoFPAIztPI=
github.com/charmbracelet/x/cellbuf v0.0.15/go.mod h1:J1YVbR7MUuEGIFPCaaZ96KDl5NoS0DAWkskup+mOY+Q=
github.com/charmbracelet/x/term v0.2.1 h1:AQeHeLZ1OqSXhrAWpYUtZyX1T3zVxfpZuEQMIQaGIAQ=
github.com/charmbracelet/x/term v0.2.1/go.mod h1:oQ4enTYFV7QN4m0i9mzHrViD7TQKvNEEkHUMCmsxdUg=
github.com/charmbracelet/x/term v0.2.2 h1:xVRT/S2ZcKdhhOuSP4t5cLi5o+JxklsoEObBSgfgZRk=
github.com/charmbracelet/x/term v0.2.2/go.mod h1:kF8CY5RddLWrsgVwpw4kAa6TESp6EB5y3uxGLeCqzAI=
github.com/clipperhouse/displaywidth v0.9.0 h1:Qb4KOhYwRiN3viMv1v/3cTBlz3AcAZX3+y9OLhMtAtA=
github.com/clipperhouse/displaywidth v0.9.0/go.mod h1:aCAAqTlh4GIVkhQnJpbL0T/WfcrJXHcj8C0yjYcjOZA=
github.com/clipperhouse/stringish v0.1.1 h1:+NSqMOr3GR6k1FdRhhnXrLfztGzuG+VuFDfatpWHKCs=
github.com/clipperhouse/stringish v0.1.1/go.mod h1:v/WhFtE1q0ovMta2+m+UbpZ+2/HEXNWYXQgCt4hdOzA=
github.com/clipperhouse/uax29/v2 v2.5.0 h1:x7T0T4eTHDONxFJsL94uKNKPHrclyFI0lm7+w94cO8U=
github.com/clipperhouse/uax29/v2 v2.5.0/go.mod h1:Wn1g7MK6OoeDT0vL+Q0SQLDz/KpfsVRgg6W7ihQeh4g=
github.com/creack/pty v1.1.17/go.mod h1:MOBLtS5ELjhRRrroQr9kyvTxUAFNvYEK993ew/Vr4O4=
github.com/davecgh/go-spew v1.1.0/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38=
github.com/davecgh/go-spew v1.1.1/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38=
github.com/erikgeiser/coninput v0.0.0-20211004153227-1c3628e74d0f h1:Y/CXytFA4m6baUTXGLOoWe4PQhGxaX0KpnayAqC48p4=
github.com/erikgeiser/coninput v0.0.0-20211004153227-1c3628e74d0f/go.mod h1:vw97MGsxSvLiUE2X8qFplwetxpGLQrlU1Q9AUEIzCaM=
github.com/go-enry/go-enry/v2 v2.9.5 h1:HPhAQQHYwJgihL2PxBZiUMFWiROsGwOBdB6/D8zCUhY=
github.com/go-enry/go-enry/v2 v2.9.5/go.mod h1:9yrj4ES1YrbNb1Wb7/PWYr2bpaCXUGRt0uafN0ISyG8=
github.com/go-enry/go-oniguruma v1.2.1 h1:k8aAMuJfMrqm/56SG2lV9Cfti6tC4x8673aHCcBk+eo=
@@ -13,13 +47,36 @@ github.com/joho/godotenv v1.5.1 h1:7eLL/+HRGLY0ldzfGMeQkb7vMd0as4CfYvUVzLqw0N0=
github.com/joho/godotenv v1.5.1/go.mod h1:f4LDr5Voq0i2e/R5DDNOoa2zzDfwtkZa6DnEwAbqwq4=
github.com/kballard/go-shellquote v0.0.0-20180428030007-95032a82bc51 h1:Z9n2FFNUXsshfwJMBgNA0RU6/i7WVaAegv3PtuIHPMs=
github.com/kballard/go-shellquote v0.0.0-20180428030007-95032a82bc51/go.mod h1:CzGEWj7cYgsdH8dAjBGEr58BoE7ScuLd+fwFZ44+/x8=
github.com/lucasb-eyer/go-colorful v1.2.0 h1:1nnpGOrhyZZuNyfu1QjKiUICQ74+3FNCN69Aj6K7nkY=
github.com/lucasb-eyer/go-colorful v1.2.0/go.mod h1:R4dSotOR9KMtayYi1e77YzuveK+i7ruzyGqttikkLy0=
github.com/lucasb-eyer/go-colorful v1.3.0 h1:2/yBRLdWBZKrf7gB40FoiKfAWYQ0lqNcbuQwVHXptag=
github.com/lucasb-eyer/go-colorful v1.3.0/go.mod h1:R4dSotOR9KMtayYi1e77YzuveK+i7ruzyGqttikkLy0=
github.com/mattn/go-colorable v0.1.2 h1:/bC9yWikZXAL9uJdulbSfyVNIR3n3trXl+v8+1sx8mU=
github.com/mattn/go-colorable v0.1.2/go.mod h1:U0ppj6V5qS13XJ6of8GYAs25YV2eR4EVcfRqFIhoBtE=
github.com/mattn/go-isatty v0.0.8 h1:HLtExJ+uU2HOZ+wI0Tt5DtUDrx8yhUqDcp7fYERX4CE=
github.com/mattn/go-isatty v0.0.8/go.mod h1:Iq45c/XA43vh69/j3iqttzPXn0bhXyGjM0Hdxcsrc5s=
github.com/mattn/go-isatty v0.0.20 h1:xfD0iDuEKnDkl03q4limB+vH+GxLEtL/jb4xVJSWWEY=
github.com/mattn/go-isatty v0.0.20/go.mod h1:W+V8PltTTMOvKvAeJH7IuucS94S2C6jfK/D7dTCTo3Y=
github.com/mattn/go-localereader v0.0.1 h1:ygSAOl7ZXTx4RdPYinUpg6W99U8jWvWi9Ye2JC/oIi4=
github.com/mattn/go-localereader v0.0.1/go.mod h1:8fBrzywKY7BI3czFoHkuzRoWE9C+EiG4R1k4Cjx5p88=
github.com/mattn/go-runewidth v0.0.16 h1:E5ScNMtiwvlvB5paMFdw9p4kSQzbXFikJ5SQO6TULQc=
github.com/mattn/go-runewidth v0.0.16/go.mod h1:Jdepj2loyihRzMpdS35Xk/zdY8IAYHsh153qUoGf23w=
github.com/mattn/go-runewidth v0.0.19 h1:v++JhqYnZuu5jSKrk9RbgF5v4CGUjqRfBm05byFGLdw=
github.com/mattn/go-runewidth v0.0.19/go.mod h1:XBkDxAl56ILZc9knddidhrOlY5R/pDhgLpndooCuJAs=
github.com/mattn/go-sqlite3 v1.14.37 h1:3DOZp4cXis1cUIpCfXLtmlGolNLp2VEqhiB/PARNBIg=
github.com/mattn/go-sqlite3 v1.14.37/go.mod h1:Uh1q+B4BYcTPb+yiD3kU8Ct7aC0hY9fxUwlHK0RXw+Y=
github.com/mgutz/ansi v0.0.0-20170206155736-9520e82c474b h1:j7+1HpAFS1zy5+Q4qx1fWh90gTKwiN4QCGoY9TWyyO4=
github.com/mgutz/ansi v0.0.0-20170206155736-9520e82c474b/go.mod h1:01TrycV0kFyexm33Z7vhZRXopbI8J3TDReVlkTgMUxE=
github.com/muesli/ansi v0.0.0-20230316100256-276c6243b2f6 h1:ZK8zHtRHOkbHy6Mmr5D264iyp3TiX5OmNcI5cIARiQI=
github.com/muesli/ansi v0.0.0-20230316100256-276c6243b2f6/go.mod h1:CJlz5H+gyd6CUWT45Oy4q24RdLyn7Md9Vj2/ldJBSIo=
github.com/muesli/cancelreader v0.2.2 h1:3I4Kt4BQjOR54NavqnDogx/MIoWBFa0StPA8ELUXHmA=
github.com/muesli/cancelreader v0.2.2/go.mod h1:3XuTXfFS2VjM+HTLZY9Ak0l6eUKfijIfMUZ4EgX0QYo=
github.com/muesli/termenv v0.16.0 h1:S5AlUN9dENB57rsbnkPyfdGuWIlkmzJjbFf0Tf5FWUc=
github.com/muesli/termenv v0.16.0/go.mod h1:ZRfOIKPFDYQoDFF4Olj7/QJbW60Ol/kL1pU3VfY/Cnk=
github.com/pmezard/go-difflib v1.0.0/go.mod h1:iKH77koFhYxTK1pcRnkKkqfTogsbg7gZNVY4sRDYZ/4=
github.com/rivo/uniseg v0.2.0/go.mod h1:J6wj4VEh+S6ZtnVlnTBMWIodfgj8LQOQFoIToxlJtxc=
github.com/rivo/uniseg v0.4.7 h1:WUdvkW8uEhrYfLC4ZzdpI2ztxP1I582+49Oc5Mq64VQ=
github.com/rivo/uniseg v0.4.7/go.mod h1:FN3SvrM+Zdj16jyLfmOkMNblXMcoc8DfTHruCPUcx88=
github.com/stretchr/objx v0.1.0/go.mod h1:HFkY916IF+rwdDfMAkV7OtwuqBVzrE8GR6GFx+wExME=
github.com/stretchr/objx v0.4.0/go.mod h1:YvHI0jy2hoMjB+UWwv71VJQ9isScKT/TqJzVSSt89Yw=
github.com/stretchr/objx v0.5.0/go.mod h1:Yh+to48EsGEfYuaHDzXPcE3xhTkx73EhmCGUpEOglKo=
@@ -27,6 +84,8 @@ github.com/stretchr/testify v1.6.1/go.mod h1:6Fq8oRcR53rry900zMqJjRRixrwX3KX962/
github.com/stretchr/testify v1.7.1/go.mod h1:6Fq8oRcR53rry900zMqJjRRixrwX3KX962/h/Wwjteg=
github.com/stretchr/testify v1.8.0/go.mod h1:yNjHg4UonilssWZ8iaSj1OCr/vHnekPRkoO+kdMU+MU=
github.com/stretchr/testify v1.8.1/go.mod h1:w2LPCIKwWwSfY2zedu0+kehJoqGctiVI29o6fzry7u4=
github.com/xo/terminfo v0.0.0-20220910002029-abceb7e1c41e h1:JVG44RsyaB9T2KIHavMF/ppJZNG9ZpyihvCd0w101no=
github.com/xo/terminfo v0.0.0-20220910002029-abceb7e1c41e/go.mod h1:RbqR21r5mrJuqunuUZ/Dhy/avygyECGrLceyNeo4LiM=
github.com/yuin/goldmark v1.4.13/go.mod h1:6yULJ656Px+3vBD8DxQVa3kxgyrAnzto9xy5taEt/CY=
golang.org/x/crypto v0.0.0-20190308221718-c2843e01d9a2/go.mod h1:djNgcEr1/C05ACkg1iLfiJU5Ep61QUkGW8qpdssI0+w=
golang.org/x/crypto v0.0.0-20210921155107-089bfa567519/go.mod h1:GvvjBRRGRdwPK5ydBHafDWAxML/pGHZbMvKqRZ5+Abc=
@@ -40,9 +99,15 @@ golang.org/x/sys v0.0.0-20190215142949-d0b11bdaac8a/go.mod h1:STP8DvDyc/dI5b8T5h
golang.org/x/sys v0.0.0-20190222072716-a9d3bda3a223/go.mod h1:STP8DvDyc/dI5b8T5hshtkjS+E42TnysNCUPdjciGhY=
golang.org/x/sys v0.0.0-20201119102817-f84b799fce68/go.mod h1:h1NjWce9XRLGQEsW7wpKNCjG9DtNlClVuFLEZdDNbEs=
golang.org/x/sys v0.0.0-20210615035016-665e8c7367d1/go.mod h1:oPkhp1MJrh7nUepCBck5+mAzfO9JrbApNNgaTdGDITg=
golang.org/x/sys v0.0.0-20210809222454-d867a43fc93e/go.mod h1:oPkhp1MJrh7nUepCBck5+mAzfO9JrbApNNgaTdGDITg=
golang.org/x/sys v0.0.0-20220520151302-bc2c85ada10a/go.mod h1:oPkhp1MJrh7nUepCBck5+mAzfO9JrbApNNgaTdGDITg=
golang.org/x/sys v0.0.0-20220722155257-8c9f86f7a55f h1:v4INt8xihDGvnrfjMDVXGxw9wrfxYyCjk0KbXjhR55s=
golang.org/x/sys v0.0.0-20220722155257-8c9f86f7a55f/go.mod h1:oPkhp1MJrh7nUepCBck5+mAzfO9JrbApNNgaTdGDITg=
golang.org/x/sys v0.6.0/go.mod h1:oPkhp1MJrh7nUepCBck5+mAzfO9JrbApNNgaTdGDITg=
golang.org/x/sys v0.36.0 h1:KVRy2GtZBrk1cBYA7MKu5bEZFxQk4NIDV6RLVcC8o0k=
golang.org/x/sys v0.36.0/go.mod h1:OgkHotnGiDImocRcuBABYBEXf8A9a87e/uXjp9XT3ks=
golang.org/x/sys v0.38.0 h1:3yZWxaJjBmCWXqhN1qh02AkOnCQ1poK6oF+a7xWL6Gc=
golang.org/x/sys v0.38.0/go.mod h1:OgkHotnGiDImocRcuBABYBEXf8A9a87e/uXjp9XT3ks=
golang.org/x/term v0.0.0-20201126162022-7de9c90e9dd1/go.mod h1:bj7SfCRtBDWHUb9snDiAeCFNEtKQo2Wmx5Cou7ajbmo=
golang.org/x/term v0.0.0-20210927222741-03fcf44c2211 h1:JGgROgKl9N8DuW20oFS5gxc+lE67/N3FcwmBPMe7ArY=
golang.org/x/term v0.0.0-20210927222741-03fcf44c2211/go.mod h1:jbD1KX2456YbFQfuXm/mYQcufACuNUgVhRMnK/tPxf8=

75
internal/cache/cache.go vendored Normal file
View File

@@ -0,0 +1,75 @@
package cache
import (
"context"
"time"
)
// Cache 缓存接口
type Cache interface {
// Get 获取缓存
Get(ctx context.Context, key string) (*CacheEntry, error)
// Set 设置缓存
Set(ctx context.Context, entry *CacheEntry) error
// Delete 删除缓存
Delete(ctx context.Context, key string) error
// Clear 清空缓存
Clear(ctx context.Context) error
// Stats 获取缓存统计信息
Stats(ctx context.Context) (*CacheStats, error)
// Cleanup 清理过期缓存
Cleanup(ctx context.Context) error
// Close 关闭缓存
Close() error
}
// CacheEntry 缓存条目
type CacheEntry struct {
ID int64 `json:"id"`
CacheKey string `json:"cache_key"`
OriginalText string `json:"original_text"`
TranslatedText string `json:"translated_text"`
FromLang string `json:"from_lang"`
ToLang string `json:"to_lang"`
Model string `json:"model"`
PromptName string `json:"prompt_name,omitempty"`
PromptContent string `json:"prompt_content,omitempty"`
PromptTokens int `json:"prompt_tokens"`
CompletionTokens int `json:"completion_tokens"`
TotalTokens int `json:"total_tokens"`
CreatedAt time.Time `json:"created_at"`
LastUsedAt time.Time `json:"last_used_at"`
}
// CacheStats 缓存统计信息
type CacheStats struct {
TotalRecords int `json:"total_records"`
TotalSizeBytes int64 `json:"total_size_bytes"`
OldestRecord time.Time `json:"oldest_record"`
NewestRecord time.Time `json:"newest_record"`
AvgTokensPerRecord float64 `json:"avg_tokens_per_record"`
}
// CacheConfig 缓存配置
type CacheConfig struct {
Enabled bool `yaml:"enabled"`
MaxRecords int `yaml:"max_records"`
ExpireDays int `yaml:"expire_days"`
DBPath string `yaml:"db_path"`
}
// NewCacheConfig 创建默认缓存配置
func NewCacheConfig() *CacheConfig {
return &CacheConfig{
Enabled: true,
MaxRecords: 10000,
ExpireDays: 30,
DBPath: "~/.config/yoyo/cache.db",
}
}

325
internal/cache/cache_test.go vendored Normal file
View File

@@ -0,0 +1,325 @@
package cache
import (
"context"
"os"
"path/filepath"
"testing"
)
func TestGenerateCacheKey(t *testing.T) {
tests := []struct {
name string
text string
fromLang string
toLang string
wantSame bool
}{
{
name: "相同输入应生成相同键",
text: "Hello world",
fromLang: "en",
toLang: "zh-CN",
wantSame: true,
},
{
name: "不同文本应生成不同键",
text: "Hello universe",
fromLang: "en",
toLang: "zh-CN",
wantSame: false,
},
{
name: "不同语言对应生成不同键",
text: "Hello world",
fromLang: "en",
toLang: "zh-TW",
wantSame: false,
},
{
name: "大小写不敏感的语言代码",
text: "Hello world",
fromLang: "EN",
toLang: "zh-cn",
wantSame: true,
},
{
name: "多余空白字符应规范化",
text: " Hello world ",
fromLang: "en",
toLang: "zh-CN",
wantSame: true,
},
}
for _, tt := range tests {
t.Run(tt.name, func(t *testing.T) {
key1 := GenerateCacheKey(tt.text, tt.fromLang, tt.toLang)
key2 := GenerateCacheKey(tt.text, tt.fromLang, tt.toLang)
if key1 != key2 {
t.Errorf("相同输入生成了不同的键: %s != %s", key1, key2)
}
// 检查键的长度SHA256哈希应为64个字符
if len(key1) != 64 {
t.Errorf("缓存键长度不正确: got %d, want 64", len(key1))
}
})
}
}
func TestSQLiteCache(t *testing.T) {
// 创建临时目录
tmpDir, err := os.MkdirTemp("", "cache_test")
if err != nil {
t.Fatalf("创建临时目录失败: %v", err)
}
defer os.RemoveAll(tmpDir)
dbPath := filepath.Join(tmpDir, "test_cache.db")
// 创建缓存配置
config := &CacheConfig{
Enabled: true,
MaxRecords: 100,
ExpireDays: 1,
DBPath: dbPath,
}
// 创建缓存实例
cache, err := NewSQLiteCache(config)
if err != nil {
t.Fatalf("创建缓存实例失败: %v", err)
}
defer cache.Close()
ctx := context.Background()
// 测试设置缓存
entry := &CacheEntry{
CacheKey: "test_key_1",
OriginalText: "Hello world",
TranslatedText: "你好世界",
FromLang: "en",
ToLang: "zh-CN",
Model: "gpt-3.5-turbo",
PromptName: "simple",
PromptContent: "请用简单易懂的语言翻译以下内容。",
PromptTokens: 10,
CompletionTokens: 5,
TotalTokens: 15,
}
err = cache.Set(ctx, entry)
if err != nil {
t.Fatalf("设置缓存失败: %v", err)
}
// 测试获取缓存
cachedEntry, err := cache.Get(ctx, "test_key_1")
if err != nil {
t.Fatalf("获取缓存失败: %v", err)
}
if cachedEntry == nil {
t.Fatal("缓存未命中")
}
if cachedEntry.TranslatedText != "你好世界" {
t.Errorf("缓存翻译结果不正确: got %s, want 你好世界", cachedEntry.TranslatedText)
}
// 测试缓存未命中
missingEntry, err := cache.Get(ctx, "non_existent_key")
if err != nil {
t.Fatalf("查询不存在的缓存失败: %v", err)
}
if missingEntry != nil {
t.Error("不存在的缓存应该返回nil")
}
// 测试统计信息
stats, err := cache.Stats(ctx)
if err != nil {
t.Fatalf("获取统计信息失败: %v", err)
}
if stats.TotalRecords != 1 {
t.Errorf("统计记录数不正确: got %d, want 1", stats.TotalRecords)
}
// 测试删除缓存
err = cache.Delete(ctx, "test_key_1")
if err != nil {
t.Fatalf("删除缓存失败: %v", err)
}
// 验证删除
deletedEntry, err := cache.Get(ctx, "test_key_1")
if err != nil {
t.Fatalf("查询已删除的缓存失败: %v", err)
}
if deletedEntry != nil {
t.Error("已删除的缓存应该返回nil")
}
// 测试清空缓存
err = cache.Set(ctx, entry)
if err != nil {
t.Fatalf("设置缓存失败: %v", err)
}
err = cache.Clear(ctx)
if err != nil {
t.Fatalf("清空缓存失败: %v", err)
}
stats, err = cache.Stats(ctx)
if err != nil {
t.Fatalf("获取统计信息失败: %v", err)
}
if stats.TotalRecords != 0 {
t.Errorf("清空后记录数不正确: got %d, want 0", stats.TotalRecords)
}
}
func TestCacheExpiration(t *testing.T) {
// 创建临时目录
tmpDir, err := os.MkdirTemp("", "cache_test")
if err != nil {
t.Fatalf("创建临时目录失败: %v", err)
}
defer os.RemoveAll(tmpDir)
dbPath := filepath.Join(tmpDir, "test_cache.db")
// 创建缓存配置,设置很短的过期时间
config := &CacheConfig{
Enabled: true,
MaxRecords: 100,
ExpireDays: 0, // 0天表示立即过期
DBPath: dbPath,
}
// 创建缓存实例
cache, err := NewSQLiteCache(config)
if err != nil {
t.Fatalf("创建缓存实例失败: %v", err)
}
defer cache.Close()
ctx := context.Background()
// 设置缓存
entry := &CacheEntry{
CacheKey: "test_key_1",
OriginalText: "Hello world",
TranslatedText: "你好世界",
FromLang: "en",
ToLang: "zh-CN",
Model: "gpt-3.5-turbo",
PromptTokens: 10,
CompletionTokens: 5,
TotalTokens: 15,
}
err = cache.Set(ctx, entry)
if err != nil {
t.Fatalf("设置缓存失败: %v", err)
}
// 立即清理应该删除所有记录因为过期时间为0
err = cache.Cleanup(ctx)
if err != nil {
t.Fatalf("清理缓存失败: %v", err)
}
// 检查统计信息
stats, err := cache.Stats(ctx)
if err != nil {
t.Fatalf("获取统计信息失败: %v", err)
}
if stats.TotalRecords != 0 {
t.Errorf("清理后记录数不正确: got %d, want 0", stats.TotalRecords)
}
}
func TestNormalizeText(t *testing.T) {
tests := []struct {
name string
input string
expected string
}{
{
name: "正常文本",
input: "Hello world",
expected: "Hello world",
},
{
name: "多余空白字符",
input: " Hello world ",
expected: "Hello world",
},
{
name: "制表符和换行符",
input: "Hello\tworld\n",
expected: "Hello world",
},
{
name: "空字符串",
input: "",
expected: "",
},
}
for _, tt := range tests {
t.Run(tt.name, func(t *testing.T) {
result := normalizeText(tt.input)
if result != tt.expected {
t.Errorf("normalizeText(%q) = %q, want %q", tt.input, result, tt.expected)
}
})
}
}
func TestNormalizeLanguageCode(t *testing.T) {
tests := []struct {
name string
input string
expected string
}{
{
name: "正常语言代码",
input: "zh-CN",
expected: "zh-cn",
},
{
name: "大写语言代码",
input: "EN-US",
expected: "en-us",
},
{
name: "空字符串",
input: "",
expected: "auto",
},
{
name: "auto",
input: "auto",
expected: "auto",
},
{
name: "前后空白",
input: " zh-CN ",
expected: "zh-cn",
},
}
for _, tt := range tests {
t.Run(tt.name, func(t *testing.T) {
result := normalizeLanguageCode(tt.input)
if result != tt.expected {
t.Errorf("normalizeLanguageCode(%q) = %q, want %q", tt.input, result, tt.expected)
}
})
}
}

53
internal/cache/cleanup.go vendored Normal file
View File

@@ -0,0 +1,53 @@
package cache
import (
"context"
"fmt"
"log"
)
// CleanupManager 缓存清理管理器
type CleanupManager struct {
cache Cache
}
// NewCleanupManager 创建清理管理器
func NewCleanupManager(cache Cache) *CleanupManager {
return &CleanupManager{
cache: cache,
}
}
// ClearAll 清空所有缓存
func (m *CleanupManager) ClearAll(ctx context.Context) error {
if err := m.cache.Clear(ctx); err != nil {
return fmt.Errorf("清空缓存失败: %w", err)
}
log.Println("缓存已清空")
return nil
}
// ClearByLanguage 清空指定语言对的缓存
func (m *CleanupManager) ClearByLanguage(ctx context.Context, fromLang, toLang string) error {
// 这个功能需要在SQLite实现中添加查询功能
// 目前先返回一个提示信息
return fmt.Errorf("按语言清理功能尚未实现")
}
// GetStats 获取缓存统计信息
func (m *CleanupManager) GetStats(ctx context.Context) (*CacheStats, error) {
stats, err := m.cache.Stats(ctx)
if err != nil {
return nil, fmt.Errorf("获取缓存统计失败: %w", err)
}
return stats, nil
}
// CleanupManual 手动清理
func (m *CleanupManager) CleanupManual(ctx context.Context) error {
if err := m.cache.Cleanup(ctx); err != nil {
return fmt.Errorf("手动清理失败: %w", err)
}
log.Println("缓存清理完成")
return nil
}

63
internal/cache/key.go vendored Normal file
View File

@@ -0,0 +1,63 @@
package cache
import (
"crypto/sha256"
"encoding/hex"
"fmt"
"strings"
)
// GenerateCacheKey 生成缓存键
// 使用原文+语言对进行SHA256哈希
func GenerateCacheKey(originalText, fromLang, toLang string) string {
// 规范化语言代码
fromLang = normalizeLanguageCode(fromLang)
toLang = normalizeLanguageCode(toLang)
// 规范化原文
normalizedText := normalizeText(originalText)
// 生成缓存键
data := fmt.Sprintf("%s|%s|%s", normalizedText, fromLang, toLang)
hash := sha256.Sum256([]byte(data))
return hex.EncodeToString(hash[:])
}
// normalizeLanguageCode 规范化语言代码
func normalizeLanguageCode(lang string) string {
if lang == "" || lang == "auto" {
return "auto"
}
return strings.ToLower(strings.TrimSpace(lang))
}
// normalizeText 规范化文本
// 移除多余的空白字符,确保相同的文本生成相同的哈希
func normalizeText(text string) string {
// 移除首尾空白
text = strings.TrimSpace(text)
// 将多个连续空白字符替换为单个空格
text = strings.Join(strings.Fields(text), " ")
return text
}
// GenerateCacheKeyWithModel 生成包含模型信息的缓存键
// 如果需要更精确的缓存,可以使用这个函数
func GenerateCacheKeyWithModel(originalText, fromLang, toLang, model string) string {
// 规范化语言代码
fromLang = normalizeLanguageCode(fromLang)
toLang = normalizeLanguageCode(toLang)
// 规范化原文
normalizedText := normalizeText(originalText)
// 规范化模型名称
model = strings.ToLower(strings.TrimSpace(model))
// 生成缓存键
data := fmt.Sprintf("%s|%s|%s|%s", normalizedText, fromLang, toLang, model)
hash := sha256.Sum256([]byte(data))
return hex.EncodeToString(hash[:])
}

337
internal/cache/sqlite.go vendored Normal file
View File

@@ -0,0 +1,337 @@
package cache
import (
"context"
"database/sql"
"fmt"
"os"
"path/filepath"
"strings"
"time"
_ "github.com/mattn/go-sqlite3"
)
// SQLiteCache SQLite缓存实现
type SQLiteCache struct {
db *sql.DB
config *CacheConfig
cleanupTTL time.Duration
}
// NewSQLiteCache 创建SQLite缓存实例
func NewSQLiteCache(config *CacheConfig) (*SQLiteCache, error) {
if config == nil {
config = NewCacheConfig()
}
// 展开路径中的~符号
dbPath, err := expandPath(config.DBPath)
if err != nil {
return nil, fmt.Errorf("无效的数据库路径: %w", err)
}
// 确保目录存在
dir := filepath.Dir(dbPath)
if err := os.MkdirAll(dir, 0755); err != nil {
return nil, fmt.Errorf("创建缓存目录失败: %w", err)
}
// 打开数据库连接
db, err := sql.Open("sqlite3", dbPath+"?_journal_mode=WAL&_synchronous=NORMAL")
if err != nil {
return nil, fmt.Errorf("打开数据库失败: %w", err)
}
// 设置连接池参数
db.SetMaxOpenConns(1) // SQLite只支持单个写入连接
db.SetMaxIdleConns(1)
cache := &SQLiteCache{
db: db,
config: config,
cleanupTTL: time.Duration(config.ExpireDays) * 24 * time.Hour,
}
// 初始化数据库表
if err := cache.initTable(); err != nil {
db.Close()
return nil, fmt.Errorf("初始化缓存表失败: %w", err)
}
// 设置清理定时器
go cache.startCleanupTimer()
return cache, nil
}
// initTable 初始化缓存表
func (c *SQLiteCache) initTable() error {
query := `
CREATE TABLE IF NOT EXISTS translation_cache (
id INTEGER PRIMARY KEY AUTOINCREMENT,
cache_key TEXT NOT NULL UNIQUE,
original_text TEXT NOT NULL,
translated_text TEXT NOT NULL,
from_lang TEXT NOT NULL,
to_lang TEXT NOT NULL,
model TEXT NOT NULL,
prompt_name TEXT,
prompt_content TEXT,
prompt_tokens INTEGER DEFAULT 0,
completion_tokens INTEGER DEFAULT 0,
total_tokens INTEGER DEFAULT 0,
created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
last_used_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
);
CREATE INDEX IF NOT EXISTS idx_cache_key ON translation_cache(cache_key);
CREATE INDEX IF NOT EXISTS idx_original_text ON translation_cache(original_text);
CREATE INDEX IF NOT EXISTS idx_created_at ON translation_cache(created_at);
CREATE INDEX IF NOT EXISTS idx_last_used_at ON translation_cache(last_used_at);
`
_, err := c.db.Exec(query)
return err
}
// Get 获取缓存
func (c *SQLiteCache) Get(ctx context.Context, key string) (*CacheEntry, error) {
query := `
SELECT
id, cache_key, original_text, translated_text, from_lang, to_lang,
model, prompt_name, prompt_content, prompt_tokens, completion_tokens,
total_tokens, created_at, last_used_at
FROM translation_cache
WHERE cache_key = ?
`
entry := &CacheEntry{}
var promptName, promptContent sql.NullString
var createdAt, lastUsedAt string
err := c.db.QueryRowContext(ctx, query, key).Scan(
&entry.ID, &entry.CacheKey, &entry.OriginalText, &entry.TranslatedText,
&entry.FromLang, &entry.ToLang, &entry.Model, &promptName, &promptContent,
&entry.PromptTokens, &entry.CompletionTokens, &entry.TotalTokens,
&createdAt, &lastUsedAt,
)
if err == sql.ErrNoRows {
return nil, nil // 缓存未命中
}
if err != nil {
return nil, fmt.Errorf("查询缓存失败: %w", err)
}
// 处理可空字段
if promptName.Valid {
entry.PromptName = promptName.String
}
if promptContent.Valid {
entry.PromptContent = promptContent.String
}
// 解析时间
entry.CreatedAt, _ = time.Parse("2006-01-02 15:04:05", createdAt)
entry.LastUsedAt, _ = time.Parse("2006-01-02 15:04:05", lastUsedAt)
// 更新最后使用时间
go c.updateLastUsed(context.Background(), key)
return entry, nil
}
// Set 设置缓存
func (c *SQLiteCache) Set(ctx context.Context, entry *CacheEntry) error {
// 开始事务
tx, err := c.db.BeginTx(ctx, nil)
if err != nil {
return fmt.Errorf("开始事务失败: %w", err)
}
defer tx.Rollback()
// 插入或替换缓存
query := `
INSERT OR REPLACE INTO translation_cache
(cache_key, original_text, translated_text, from_lang, to_lang,
model, prompt_name, prompt_content, prompt_tokens, completion_tokens,
total_tokens, created_at, last_used_at)
VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)
`
now := time.Now().Format("2006-01-02 15:04:05")
_, err = tx.ExecContext(ctx, query,
entry.CacheKey, entry.OriginalText, entry.TranslatedText,
entry.FromLang, entry.ToLang, entry.Model, entry.PromptName,
entry.PromptContent, entry.PromptTokens, entry.CompletionTokens,
entry.TotalTokens, now, now,
)
if err != nil {
return fmt.Errorf("插入缓存失败: %w", err)
}
// 提交事务
if err := tx.Commit(); err != nil {
return fmt.Errorf("提交事务失败: %w", err)
}
// 触发清理(异步)
go c.Cleanup(context.Background())
return nil
}
// Delete 删除缓存
func (c *SQLiteCache) Delete(ctx context.Context, key string) error {
query := `DELETE FROM translation_cache WHERE cache_key = ?`
_, err := c.db.ExecContext(ctx, query, key)
if err != nil {
return fmt.Errorf("删除缓存失败: %w", err)
}
return nil
}
// Clear 清空缓存
func (c *SQLiteCache) Clear(ctx context.Context) error {
// 先删除所有记录
_, err := c.db.ExecContext(ctx, `DELETE FROM translation_cache`)
if err != nil {
return fmt.Errorf("清空缓存失败: %w", err)
}
// 然后执行VACUUM不能在事务中执行
_, err = c.db.ExecContext(ctx, `VACUUM`)
if err != nil {
return fmt.Errorf("清理数据库失败: %w", err)
}
return nil
}
// Stats 获取缓存统计信息
func (c *SQLiteCache) Stats(ctx context.Context) (*CacheStats, error) {
stats := &CacheStats{}
// 获取总记录数
err := c.db.QueryRowContext(ctx, `SELECT COUNT(*) FROM translation_cache`).Scan(&stats.TotalRecords)
if err != nil {
return nil, fmt.Errorf("查询缓存统计失败: %w", err)
}
// 如果没有记录,直接返回
if stats.TotalRecords == 0 {
return stats, nil
}
// 获取时间范围和平均tokens
var oldestStr, newestStr sql.NullString
var avgTokens sql.NullFloat64
err = c.db.QueryRowContext(ctx, `
SELECT
MIN(created_at),
MAX(created_at),
AVG(total_tokens)
FROM translation_cache
`).Scan(&oldestStr, &newestStr, &avgTokens)
if err != nil {
return nil, fmt.Errorf("查询缓存时间范围失败: %w", err)
}
// 解析时间字符串
if oldestStr.Valid {
stats.OldestRecord, _ = time.Parse("2006-01-02 15:04:05", oldestStr.String)
}
if newestStr.Valid {
stats.NewestRecord, _ = time.Parse("2006-01-02 15:04:05", newestStr.String)
}
if avgTokens.Valid {
stats.AvgTokensPerRecord = avgTokens.Float64
}
// 计算数据库文件大小
dbPath, _ := expandPath(c.config.DBPath)
if info, err := os.Stat(dbPath); err == nil {
stats.TotalSizeBytes = info.Size()
}
return stats, nil
}
// Cleanup 清理过期缓存
func (c *SQLiteCache) Cleanup(ctx context.Context) error {
tx, err := c.db.BeginTx(ctx, nil)
if err != nil {
return fmt.Errorf("开始事务失败: %w", err)
}
defer tx.Rollback()
// 清理过期缓存
if c.cleanupTTL > 0 {
expiredTime := time.Now().Add(-c.cleanupTTL).Format("2006-01-02 15:04:05")
_, err = tx.ExecContext(ctx, `DELETE FROM translation_cache WHERE last_used_at < ?`, expiredTime)
if err != nil {
return fmt.Errorf("清理过期缓存失败: %w", err)
}
} else if c.cleanupTTL == 0 {
// 如果过期时间为0清理所有记录
_, err = tx.ExecContext(ctx, `DELETE FROM translation_cache`)
if err != nil {
return fmt.Errorf("清理所有缓存失败: %w", err)
}
}
// 清理超出数量限制的缓存
if c.config.MaxRecords > 0 {
_, err = tx.ExecContext(ctx, `
DELETE FROM translation_cache
WHERE id NOT IN (
SELECT id FROM translation_cache
ORDER BY last_used_at DESC
LIMIT ?
)
`, c.config.MaxRecords)
if err != nil {
return fmt.Errorf("清理超出数量限制的缓存失败: %w", err)
}
}
return tx.Commit()
}
// Close 关闭缓存
func (c *SQLiteCache) Close() error {
if c.db != nil {
return c.db.Close()
}
return nil
}
// updateLastUsed 更新最后使用时间
func (c *SQLiteCache) updateLastUsed(ctx context.Context, key string) {
query := `UPDATE translation_cache SET last_used_at = ? WHERE cache_key = ?`
now := time.Now().Format("2006-01-02 15:04:05")
c.db.ExecContext(ctx, query, now, key)
}
// startCleanupTimer 启动清理定时器
func (c *SQLiteCache) startCleanupTimer() {
ticker := time.NewTicker(1 * time.Hour) // 每小时清理一次
defer ticker.Stop()
for range ticker.C {
c.Cleanup(context.Background())
}
}
// expandPath 展开路径中的~符号
func expandPath(path string) (string, error) {
if strings.HasPrefix(path, "~") {
home, err := os.UserHomeDir()
if err != nil {
return "", err
}
path = filepath.Join(home, path[1:])
}
return path, nil
}

View File

@@ -26,6 +26,9 @@ type Config struct {
// 内容过滤配置
SkipKeywords []string `yaml:"skip_keywords"` // 不翻译的关键词
// 缓存配置
Cache CacheConfig `yaml:"cache"`
}
// ProviderConfig 厂商配置
@@ -36,6 +39,14 @@ type ProviderConfig struct {
Enabled bool `yaml:"enabled"`
}
// CacheConfig 缓存配置
type CacheConfig struct {
Enabled bool `yaml:"enabled"`
MaxRecords int `yaml:"max_records"`
ExpireDays int `yaml:"expire_days"`
DBPath string `yaml:"db_path"`
}
// ConfigLoader 配置加载器接口
type ConfigLoader interface {
Load(path string) (*Config, error)
@@ -134,6 +145,17 @@ func (c *Config) setDefaults() {
"BUG:", "WARN:", "IMPORTANT:",
}
}
// 设置缓存配置默认值
if c.Cache.MaxRecords <= 0 {
c.Cache.MaxRecords = 10000
}
if c.Cache.ExpireDays <= 0 {
c.Cache.ExpireDays = 30
}
if c.Cache.DBPath == "" {
c.Cache.DBPath = "~/.config/yoyo/cache.db"
}
}
// GetProviderConfig 获取指定厂商的配置
@@ -221,5 +243,10 @@ func (c *Config) String() string {
for name := range c.Prompts {
builder.WriteString(fmt.Sprintf(" %s\n", name))
}
builder.WriteString("Cache:\n")
builder.WriteString(fmt.Sprintf(" enabled: %v\n", c.Cache.Enabled))
builder.WriteString(fmt.Sprintf(" max_records: %d\n", c.Cache.MaxRecords))
builder.WriteString(fmt.Sprintf(" expire_days: %d\n", c.Cache.ExpireDays))
builder.WriteString(fmt.Sprintf(" db_path: %s\n", c.Cache.DBPath))
return builder.String()
}

View File

@@ -1,6 +1,7 @@
package content
import (
"fmt"
"regexp"
"strings"
)
@@ -46,7 +47,7 @@ func truncateConsecutiveSymbols(text string, maxCount int) string {
symbols := []string{"=", "-", "_", "*", "#", "~", "`", "."}
for _, symbol := range symbols {
pattern := regexp.MustCompile(`(?` + `(` + symbol + `){` + string(rune(maxCount+1)) + `,})`)
pattern := regexp.MustCompile(regexp.QuoteMeta(symbol) + `{` + fmt.Sprintf("%d", maxCount+1) + `,}`)
replacement := strings.Repeat(symbol, maxCount)
text = pattern.ReplaceAllString(text, replacement)
}

View File

@@ -5,6 +5,7 @@ import (
"fmt"
"time"
"github.com/titor/fanyi/internal/cache"
"github.com/titor/fanyi/internal/config"
"github.com/titor/fanyi/internal/content"
"github.com/titor/fanyi/internal/provider"
@@ -16,16 +17,32 @@ type Translator struct {
provider provider.Provider
prompt *PromptManager
contentParser *content.Parser
cache cache.Cache
}
// NewTranslator 创建翻译器实例
func NewTranslator(config *config.Config, provider provider.Provider) *Translator {
return &Translator{
translator := &Translator{
config: config,
provider: provider,
prompt: NewPromptManager(config.Prompts),
contentParser: content.NewParser(config.SkipKeywords),
}
// 初始化缓存(如果启用)
if config.Cache.Enabled {
cacheConfig := &cache.CacheConfig{
Enabled: config.Cache.Enabled,
MaxRecords: config.Cache.MaxRecords,
ExpireDays: config.Cache.ExpireDays,
DBPath: config.Cache.DBPath,
}
if cacheInstance, err := cache.NewSQLiteCache(cacheConfig); err == nil {
translator.cache = cacheInstance
}
}
return translator
}
// Translate 执行翻译
@@ -68,6 +85,26 @@ func (t *Translator) Translate(ctx context.Context, text string, options *Transl
Options: options.ExtraOptions,
}
// 检查缓存
if t.cache != nil {
cacheKey := cache.GenerateCacheKey(filteredText, options.FromLang, options.ToLang)
if cachedEntry, err := t.cache.Get(ctx, cacheKey); err == nil && cachedEntry != nil {
// 缓存命中
return &TranslateResult{
Original: text,
Translated: cachedEntry.TranslatedText,
FromLang: cachedEntry.FromLang,
ToLang: cachedEntry.ToLang,
Model: cachedEntry.Model,
Usage: &provider.Usage{
PromptTokens: cachedEntry.PromptTokens,
CompletionTokens: cachedEntry.CompletionTokens,
TotalTokens: cachedEntry.TotalTokens,
},
}, nil
}
}
// 调用厂商API
resp, err := t.provider.Translate(timeoutCtx, req)
if err != nil {
@@ -81,6 +118,26 @@ func (t *Translator) Translate(ctx context.Context, text string, options *Transl
translatedText = t.contentParser.Reconstruct(parseResult, resp.Text)
}
// 保存到缓存
if t.cache != nil {
cacheKey := cache.GenerateCacheKey(filteredText, options.FromLang, options.ToLang)
cacheEntry := &cache.CacheEntry{
CacheKey: cacheKey,
OriginalText: filteredText,
TranslatedText: translatedText,
FromLang: resp.FromLang,
ToLang: resp.ToLang,
Model: resp.Model,
PromptName: options.PromptName,
PromptContent: prompt,
PromptTokens: resp.Usage.PromptTokens,
CompletionTokens: resp.Usage.CompletionTokens,
TotalTokens: resp.Usage.TotalTokens,
}
// 异步保存缓存,不阻塞翻译结果返回
go t.cache.Set(context.Background(), cacheEntry)
}
// 构建结果
return &TranslateResult{
Original: text,

191
internal/tui/app.go Normal file
View File

@@ -0,0 +1,191 @@
package tui
import (
"context"
"github.com/charmbracelet/bubbles/textinput"
"github.com/charmbracelet/bubbletea"
"github.com/charmbracelet/lipgloss"
"github.com/titor/fanyi/internal/config"
"github.com/titor/fanyi/internal/translator"
)
type model struct {
config *config.Config
translator *translator.Translator
textInput textinput.Model
result string
errMsg string
targetLang string
langIndex int
loading bool
}
type translateMsg struct {
result string
err error
}
var (
headerStyle = lipgloss.NewStyle().
Foreground(lipgloss.Color("#00D9FF")).
Bold(true)
dividerStyle = lipgloss.NewStyle().
Foreground(lipgloss.Color("#00D9FF"))
inputStyle = lipgloss.NewStyle().
Foreground(lipgloss.Color("#FAFAFA")).
Background(lipgloss.Color("#1A1A2E"))
resultStyle = lipgloss.NewStyle().
Foreground(lipgloss.Color("#98FB98")).
Background(lipgloss.Color("#0D1B2A"))
errorStyle = lipgloss.NewStyle().
Foreground(lipgloss.Color("#FF6B6B")).
Background(lipgloss.Color("#1A1A2E"))
helpStyle = lipgloss.NewStyle().
Foreground(lipgloss.Color("#888888"))
statusBarStyle = lipgloss.NewStyle().
Foreground(lipgloss.Color("#FFFFFF")).
Background(lipgloss.Color("#1F2937")).
Width(60)
langStyle = lipgloss.NewStyle().
Foreground(lipgloss.Color("#FBBF24")).
Bold(true)
keyStyle = lipgloss.NewStyle().
Foreground(lipgloss.Color("#60A5FA"))
loadingStyle = lipgloss.NewStyle().
Foreground(lipgloss.Color("#60A5FA"))
)
var supportedLangs = []string{"zh-CN", "en-US", "ja", "ko", "zh-TW", "es", "fr", "de"}
func NewApp(cfg *config.Config, t *translator.Translator) *tea.Program {
targetLang := "zh-CN"
if cfg != nil && cfg.DefaultTargetLang != "" {
targetLang = cfg.DefaultTargetLang
}
ti := textinput.New()
ti.Placeholder = "输入要翻译的文本..."
ti.Focus()
ti.Prompt = "> "
ti.TextStyle = inputStyle
return tea.NewProgram(model{
config: cfg,
translator: t,
textInput: ti,
targetLang: targetLang,
})
}
func (m model) Init() tea.Cmd {
return nil
}
func (m model) Update(msg tea.Msg) (tea.Model, tea.Cmd) {
var cmd tea.Cmd
switch msg := msg.(type) {
case translateMsg:
m.loading = false
if msg.err != nil {
m.errMsg = msg.err.Error()
m.result = ""
} else {
m.result = msg.result
m.errMsg = ""
}
return m, nil
case tea.KeyMsg:
switch msg.Type {
case tea.KeyEnter:
if m.loading {
return m, nil
}
text := m.textInput.Value()
if text == "" {
return m, nil
}
m.loading = true
m.errMsg = ""
return m, m.doTranslate(text, m.targetLang)
case tea.KeyCtrlC:
return m, tea.Quit
case tea.KeyCtrlL:
m.textInput.SetValue("")
m.result = ""
m.errMsg = ""
return m, nil
case tea.KeyCtrlT:
m.langIndex = (m.langIndex + 1) % len(supportedLangs)
m.targetLang = supportedLangs[m.langIndex]
return m, nil
case tea.KeyEsc:
return m, tea.Quit
}
}
m.textInput, cmd = m.textInput.Update(msg)
return m, cmd
}
func (m model) doTranslate(text, toLang string) tea.Cmd {
return func() tea.Msg {
result, err := m.translator.Translate(
context.Background(),
text,
&translator.TranslateOptions{
ToLang: toLang,
PromptName: "simple",
},
)
if err != nil {
return translateMsg{err: err}
}
return translateMsg{result: result.Translated}
}
}
func (m model) View() string {
resultBox := m.renderResult()
helpText := helpStyle.Render("\n " +
keyStyle.Render("Ctrl+L") + " 清空 " +
keyStyle.Render("Ctrl+T") + " 切换语言 " +
keyStyle.Render("Enter") + " 翻译 " +
keyStyle.Render("Ctrl+C") + " 退出")
return "\n" +
" " + headerStyle.Render("YOYO翻译") + "\n" +
" " + dividerStyle.Render("─────────────────────") + "\n\n" +
" " + m.textInput.View() + "\n\n" +
resultBox +
helpText +
"\n" +
m.renderStatusBar()
}
func (m model) renderResult() string {
if m.loading {
return " " + loadingStyle.Render("正在翻译...") + "\n"
}
if m.errMsg != "" {
return " " + errorStyle.Render("错误: "+m.errMsg) + "\n"
}
if m.result == "" {
return " " + helpStyle.Render("翻译结果将显示在这里...") + "\n"
}
return " " + resultStyle.Render(m.result) + "\n"
}
func (m model) renderStatusBar() string {
divider := dividerStyle.Render("─")
langInfo := langStyle.Render("目标: " + m.targetLang)
return "\n " + divider + "\n" +
" " + statusBarStyle.Render(" "+langInfo+" ")
}

445
memory.md
View File

@@ -253,4 +253,447 @@ func main() {
**注意事项**:
- 使用 `gopkg.in/yaml.v3`
- 注意缩进和格式
- 提供配置验证
- 提供配置验证
---
## 管道功能实现经验
### 管道输入检测
**问题**: 如何检测是否有管道输入?
**解决方案**:
1. 使用 `os.Stdin.Stat()` 获取标准输入的状态
2. 检查 `fileInfo.Mode() & os.ModeCharDevice` 是否为0
3. 如果为0表示是管道或文件重定向
**代码示例**:
```go
func isPipeInput() bool {
fileInfo, err := os.Stdin.Stat()
if err != nil {
return false
}
return (fileInfo.Mode()&os.ModeCharDevice) == 0
}
```
**注意事项**:
- 在管道模式下,即使没有命令行参数也应继续执行
- 管道输入可能为空,需要处理空输入情况
- 错误信息应输出到stderr避免污染管道输出
### 管道输入读取
**问题**: 如何从标准输入读取所有内容?
**解决方案**:
1. 使用 `bufio.Scanner` 逐行读取
2. 使用 `strings.Join()` 合并多行
3. 处理读取错误
**代码示例**:
```go
func readFromStdin() (string, error) {
scanner := bufio.NewScanner(os.Stdin)
var lines []string
for scanner.Scan() {
lines = append(lines, scanner.Text())
}
if err := scanner.Err(); err != nil {
return "", fmt.Errorf("读取标准输入失败: %w", err)
}
return strings.Join(lines, "\n"), nil
}
```
### 静默模式设计
**问题**: 管道使用时,统计信息会污染输出
**解决方案**:
1. 添加 `--quiet``-q` 参数
2. 将统计信息输出到stderr
3. 静默模式下只输出翻译结果
**设计原则**:
- 翻译结果始终输出到stdout
- 统计信息输出到stderr
- 静默模式下抑制统计信息输出
- 错误信息始终输出到stderr
### 正则表达式转义
**问题**: 特殊字符在正则表达式中需要转义
**解决方案**:
1. 使用 `regexp.QuoteMeta()` 转义特殊字符
2. 避免手动拼接正则表达式
**代码示例**:
```go
// 错误的方式
pattern := regexp.MustCompile(symbol + `{21,}`) // 如果symbol是*会出错
// 正确的方式
pattern := regexp.MustCompile(regexp.QuoteMeta(symbol) + `{21,}`)
```
**特殊字符列表**:
- `*`, `+`, `?`, `.`, `^`, `$`, `|`, `(`, `)`, `[`, `]`, `{`, `}`
### 输出重定向
**问题**: 如何确保管道输出不被其他信息污染?
**解决方案**:
1. 翻译结果使用 `fmt.Println()` 输出到stdout
2. 统计信息使用 `fmt.Fprintf(os.Stderr, ...)` 输出到stderr
3. 错误信息也输出到stderr
**最佳实践**:
- 始终区分stdout和stderr的使用场景
- 为管道功能提供静默模式选项
- 确保错误信息不影响管道输出
---
## 本地缓存实现经验
### SQLite数据库设计
**问题**: 如何设计缓存表结构以支持高效的查询和存储?
**解决方案**:
1. 使用缓存键cache_key作为唯一索引
2. 包含完整字段原文、译文、语言对、模型、Prompt、用量统计
3. 添加created_at和last_used_at时间戳字段
4. 创建适当的索引提高查询性能
**表结构**:
```sql
CREATE TABLE translation_cache (
id INTEGER PRIMARY KEY AUTOINCREMENT,
cache_key TEXT NOT NULL UNIQUE,
original_text TEXT NOT NULL,
translated_text TEXT NOT NULL,
from_lang TEXT NOT NULL,
to_lang TEXT NOT NULL,
model TEXT NOT NULL,
prompt_name TEXT,
prompt_content TEXT,
prompt_tokens INTEGER DEFAULT 0,
completion_tokens INTEGER DEFAULT 0,
total_tokens INTEGER DEFAULT 0,
created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
last_used_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
);
```
**索引设计**:
```sql
CREATE INDEX idx_cache_key ON translation_cache(cache_key);
CREATE INDEX idx_original_text ON translation_cache(original_text);
CREATE INDEX idx_created_at ON translation_cache(created_at);
CREATE INDEX idx_last_used_at ON translation_cache(last_used_at);
```
### 缓存键生成策略
**问题**: 如何生成唯一的缓存键,确保相同内容返回相同结果?
**解决方案**:
1. 使用SHA256哈希算法
2. 哈希输入:原文+语言对from_lang+to_lang
3. 规范化输入:移除多余空白字符,统一语言代码格式
**代码示例**:
```go
func GenerateCacheKey(originalText, fromLang, toLang string) string {
// 规范化语言代码
fromLang = normalizeLanguageCode(fromLang)
toLang = normalizeLanguageCode(toLang)
// 规范化原文
normalizedText := normalizeText(originalText)
// 生成缓存键
data := fmt.Sprintf("%s|%s|%s", normalizedText, fromLang, toLang)
hash := sha256.Sum256([]byte(data))
return hex.EncodeToString(hash[:])
}
```
### SQLite NULL值处理
**问题**: 当缓存表为空时MIN(created_at)返回NULL导致时间转换错误
**解决方案**:
1. 使用sql.NullString和sql.NullFloat64类型
2. 检查Valid字段判断是否为NULL
3. 只在有记录时才查询时间范围
**代码示例**:
```go
var oldestStr, newestStr sql.NullString
var avgTokens sql.NullFloat64
err = c.db.QueryRowContext(ctx, `
SELECT MIN(created_at), MAX(created_at), AVG(total_tokens)
FROM translation_cache
`).Scan(&oldestStr, &newestStr, &avgTokens)
if oldestStr.Valid {
stats.OldestRecord, _ = time.Parse("2006-01-02 15:04:05", oldestStr.String)
}
```
### 缓存集成策略
**问题**: 如何将缓存功能集成到现有的翻译流程中?
**解决方案**:
1. 在Translator结构中添加缓存字段
2. 修改NewTranslator函数初始化缓存实例
3. 在Translate方法中实现"先查缓存再调用API"策略
4. 翻译成功后异步保存到缓存
**集成流程**:
```
翻译请求 → 生成缓存键 → 查询缓存 → 缓存命中? → 直接返回
↓ 否
调用API翻译 → 保存到缓存 → 返回结果
```
### 异步缓存保存
**问题**: 如何避免缓存保存阻塞翻译结果返回?
**解决方案**:
1. 使用goroutine异步保存缓存
2. 使用context.Background()创建新的上下文
3. 错误日志记录到标准错误输出
**代码示例**:
```go
// 异步保存缓存,不阻塞翻译结果返回
go t.cache.Set(context.Background(), cacheEntry)
```
### 组合清理策略
**问题**: 如何平衡缓存大小和缓存时效性?
**解决方案**:
1. 数量限制:限制最大记录数
2. 时间过期:设置缓存过期时间
3. 组合策略:同时应用两种限制
**清理逻辑**:
1. 清理过期记录:`DELETE FROM cache WHERE last_used_at < ?`
2. 清理超出数量限制保留最近使用的N条记录
3. 定时清理:每小时自动清理一次
### 性能优化
**SQLite性能优化**:
1. 使用WAL模式Write-Ahead Logging
2. 设置适当的连接池参数
3. 使用索引提高查询性能
4. 批量操作使用事务
**Go SQLite配置**:
```go
db, err := sql.Open("sqlite3", dbPath+"?_journal_mode=WAL&_synchronous=NORMAL")
db.SetMaxOpenConns(1) // SQLite只支持单个写入连接
db.SetMaxIdleConns(1)
```
### 错误处理经验
**常见错误及解决方案**:
1. **NULL值转换错误**: 使用sql.NullString类型
2. **时间解析错误**: 使用正确的时间格式字符串
3. **数据库锁定错误**: 设置适当的连接池参数
4. **权限错误**: 确保目录存在且有写入权限
### 测试策略
**单元测试要点**:
1. 测试缓存键生成的一致性
2. 测试缓存命中和未命中情况
3. 测试清理策略的正确性
4. 测试NULL值处理
5. 测试并发访问安全性
**集成测试要点**:
1. 测试缓存与Translator的集成
2. 测试配置文件的正确加载
3. 测试缓存命令的正确执行
4. 测试错误情况的正确处理
---
## TUI界面开发策略
### 分模块实现策略
**决策**: TUI界面分6个小模块逐步实现每次只做一个模块
**原因**:
1. 减少Token消耗和上下文负担
2. 便于逐步测试和验证
3. 适应free模式的限流约束
**模块列表**:
1. TUI框架搭建 - bubbletea基础App结构
2. 输入组件 - 文本输入框
3. 翻译显示区 - 结果展示、滚动
4. 状态栏/主题 - 底部状态栏、配色
5. 快捷键系统 - 操作快捷键
6. 集成翻译 - 对接Translator、加载动画
### 技术选型
**决策**: 使用charmbracelet生态
- `bubbletea` - Elm架构的TUI框架
- `lipgloss` - 样式和主题
- `bubbles/textinput` - 输入框组件
**原因**:
1. Go生态最流行的TUI框架
2. Elm架构清晰易于分模块实现
3. 组件化设计,便于复用
### 文档管理规范
**决策**: 不再创建新的md文件
**原因**: 保持项目文档简洁,避免碎片化
**规则**:
- 讨论内容 → `taolun.md`
- 版本更新 → `changelog.md`
- 经验教训 → `memory.md`
- 项目初衷 → `why.md` (仅用户编辑)
---
## Bubble Tea TUI框架经验
### 版本信息
**当前版本**: v1.3.10
**API风格**: v1版本风格Init返回tea.Cmd
### 基础结构
```go
type model struct {
// 状态字段
}
func (m model) Init() tea.Cmd {
return nil // 初始化命令
}
func (m model) Update(msg tea.Msg) (tea.Model, tea.Cmd) {
return m, nil // 更新逻辑
}
func (m model) View() string {
return "视图内容" // 返回渲染内容
}
func NewApp(cfg, translator) *tea.Program {
return tea.NewProgram(model{...})
}
```
### 关键点
- `tea.NewProgram()` 创建程序实例
- `program.Run()` 返回 `(model, error)`
- model的字段可以是config、translator等依赖
- View方法返回string使用lipgloss样式
### main.go集成注意
- 版本检查(--version)需要在interactive模式检查之前
- 避免interactive模式在非TTY环境启动
- Run()需要两个返回值: `_, err := app.Run()`
### TextInput组件使用
```go
import "github.com/charmbracelet/bubbles/textinput"
// model中添加字段
type model struct {
textInput textinput.Model
}
// 初始化
ti := textinput.New()
ti.Placeholder = "输入文本..."
ti.Focus() // 获取焦点
ti.Prompt = "> " // 提示符
// Update中处理
m.textInput, cmd = m.textInput.Update(msg)
// View中显示
m.textInput.View()
```
### Lipgloss样式定义
```go
var (
headerStyle = lipgloss.NewStyle().
Foreground(lipgloss.Color("#00D9FF")).
Bold(true)
resultStyle = lipgloss.NewStyle().
Foreground(lipgloss.Color("#98FB98")).
Background(lipgloss.Color("#0D1B2A"))
helpStyle = lipgloss.NewStyle().
Foreground(lipgloss.Color("#888888"))
keyStyle = lipgloss.NewStyle().
Foreground(lipgloss.Color("#60A5FA"))
)
```
### 多区域View渲染
```go
func (m model) View() string {
return "\n" +
" " + headerStyle.Render("YOYO翻译") + "\n" +
" " + divider + "\n\n" +
" " + m.textInput.View() + "\n\n" +
m.renderResult() +
helpText
}
func (m model) renderResult() string {
if m.result == "" {
return " " + helpStyle.Render("翻译结果将显示在这里...") + "\n"
}
return " " + resultStyle.Render(m.result) + "\n"
}
### 异步命令和消息模式
```go
// 定义自定义消息类型
type translateMsg struct {
result string
err error
}
// 异步执行函数
func (m model) doTranslate(text string) tea.Cmd {
return func() tea.Msg {
result, err := translate(text)
if err != nil {
return translateMsg{err: err}
}
return translateMsg{result: result}
}
}
// Update中处理消息
func (m model) Update(msg tea.Msg) (tea.Model, tea.Cmd) {
switch msg := msg.(type) {
case translateMsg:
if msg.err != nil {
m.errMsg = msg.err.Error()
} else {
m.result = msg.result
}
return m, nil
}
return m, nil
}
```
### 加载状态处理
```go
type model struct {
loading bool
errMsg string
}
// View中显示loading
func (m model) View() string {
if m.loading {
return "正在翻译..."
}
if m.errMsg != "" {
return "错误: " + m.errMsg
}
return m.result
}
```
```

361
taolun.md
View File

@@ -224,4 +224,363 @@
**关联文档**:
- [AGENTS.md#分阶段迁移策略](AGENTS.md#分阶段迁移策略)
- [changelog.md#0.2.0](changelog.md#020)
- [changelog.md#0.2.0](changelog.md#020)
---
### [2026-03-29 12:00] 版本 0.4.0 - 管道符功能
**原因**: 用户需要与其他命令行工具联合使用
**分析**:
- 用户希望支持管道符功能,如 `cat a.txt | yoyo | grep "who are you"`
- 需要检测管道输入并从stdin读取内容
- 需要控制统计信息输出,避免污染管道输出
- 需要保持向后兼容性
**解决方案**:
1. **管道输入检测**: 实现 `isPipeInput()` 函数,使用 `os.Stdin.Stat()` 检测管道
2. **stdin读取**: 实现 `readFromStdin()` 函数,使用 `bufio.Scanner` 读取所有输入
3. **静默模式**: 添加 `--quiet``-q` 参数,控制统计信息输出
4. **输出重定向**: 将统计信息输出到stderr避免污染管道输出
**技术细节**:
- 使用 `os.ModeCharDevice` 检测是否为管道设备
- 使用 `strings.Join()` 合并多行输入为单个字符串
- 统计信息输出到 `os.Stderr` 而不是 `os.Stdout`
- 修复 content/filter.go 中的正则表达式转义问题
**使用示例**:
```bash
# 基本管道功能
echo "Hello world" | yoyo
cat file.txt | yoyo --lang=en
# 静默模式
echo "Hello world" | yoyo -q
echo "Hello world" | yoyo --quiet
# 与其他命令组合
cat file.txt | yoyo | grep "你好"
yoyo "Hello" | wc -l
```
**关联文档**:
- [AGENTS.md#管道符功能](AGENTS.md#管道符功能)
- [changelog.md#0.4.0](changelog.md#040)
---
### [2026-03-29 15:00] 版本 0.5.0 - 本地缓存功能设计
**原因**: 用户希望减少API调用添加本地缓存功能
**分析**:
- 需要存储翻译结果避免重复调用API
- 需要设计缓存键策略,确保缓存准确性
- 需要考虑数据库选择、事务处理、性能优化
- 需要设计缓存管理策略
**解决方案**:
1. **数据库选择**: 使用SQLite
- 轻量级,无需服务器
- 支持ACID事务
- Go生态支持良好 (`github.com/mattn/go-sqlite3`)
- 适合嵌入式应用
2. **缓存键设计**:
- 使用文本内容 + 源语言 + 目标语言
- 生成SHA256哈希作为缓存键
- 规范化输入:移除多余空白字符,统一语言代码格式
3. **事务处理**:
- 使用事务保证数据一致性
- 插入操作在事务中执行
- 查询操作不需要显式事务
4. **保存时机**:
- 在输出结果之前保存到数据库
- 确保数据持久化
- 异步保存,不阻塞翻译结果返回
5. **性能优化**:
- 为缓存键创建索引
- 使用哈希键减少存储空间
- 限制缓存表大小(可配置)
- 使用WAL模式提高并发性能
6. **缓存策略**:
- 采用组合策略:数量限制+时间过期
- 默认启用缓存功能
- 提供手动清理命令
7. **存储位置**:
- 数据库文件存储在用户配置目录 `~/.config/yoyo/cache.db`
- 符合XDG规范
- 支持自定义路径配置
**技术细节**:
- 使用 `github.com/mattn/go-sqlite3` 驱动
- 实现 `internal/cache/cache.go` 模块
- 缓存表结构:`id`, `cache_key`, `original_text`, `translated_text`, `from_lang`, `to_lang`, `model`, `prompt`, `created_at`
- 缓存键生成:`sha256(text + "|" + fromLang + "|" + toLang)`
- 查询缓存时使用 `SELECT translated_text FROM cache WHERE cache_key = ?`
- 插入缓存时使用 `INSERT OR IGNORE INTO cache (...) VALUES (...)`
**关联文档**:
- [AGENTS.md#本地缓存功能设计](AGENTS.md#本地缓存功能设计)
- [changelog.md#0.5.0](changelog.md#050)
---
### [2026-03-29 20:00] 版本 0.5.1 - 缓存功能修复
**原因**: 缓存功能测试中发现的问题
**分析**:
1. **VACUUM事务错误**: 缓存清空命令中VACUUM不能在事务中执行
2. **NULL值转换错误**: 缓存统计查询在空表时MIN(created_at)返回NULL导致转换错误
3. **过期清理策略**: 当expire_days=0时清理逻辑不工作
**解决方案**:
1. **修复VACUUM事务错误**:
- 将VACUUM移到事务之外执行
- 先删除记录再执行VACUUM
2. **修复NULL值转换错误**:
- 使用 `sql.NullString``sql.NullFloat64` 类型
- 检查 `Valid` 字段判断是否为NULL
- 只在有记录时才查询时间范围
3. **修复过期清理策略**:
- 当cleanupTTL为0时清理所有记录
- 添加条件判断:`if c.cleanupTTL == 0 { ... }`
**技术细节**:
```go
// 修复VACUUM事务错误
func (c *SQLiteCache) Clear(ctx context.Context) error {
// 先删除所有记录
_, err := c.db.ExecContext(ctx, `DELETE FROM translation_cache`)
if err != nil {
return fmt.Errorf("清空缓存失败: %w", err)
}
// 然后执行VACUUM不能在事务中执行
_, err = c.db.ExecContext(ctx, `VACUUM`)
if err != nil {
return fmt.Errorf("清理数据库失败: %w", err)
}
return nil
}
// 修复NULL值转换错误
var oldestStr, newestStr sql.NullString
var avgTokens sql.NullFloat64
err = c.db.QueryRowContext(ctx, `SELECT MIN(created_at), MAX(created_at), AVG(total_tokens) FROM translation_cache`).Scan(&oldestStr, &newestStr, &avgTokens)
if oldestStr.Valid {
stats.OldestRecord, _ = time.Parse("2006-01-02 15:04:05", oldestStr.String)
}
```
**关联文档**:
- [changelog.md#0.5.1](changelog.md#051)
- [memory.md#本地缓存实现经验](memory.md#本地缓存实现经验)
---
### [2026-04-06 10:00] 版本 0.6.0 - TUI界面模块拆分计划
**原因**: 当前TUI目录(tui/components、tui/theme)已创建但完全为空,需要从零实现终端交互界面
**分析**:
- 采用分模块逐步实现策略减少Token消耗和上下文负担
- 每次只实现一个模块,完成后再进入下一个
- 讨论内容仅保存到taolun.md/changelog.md/memory.md不新增md文件
**解决方案 - TUI模块拆分**:
| 步骤 | 模块 | 内容 | 预计工作量 |
|------|------|------|-----------|
| 1 | TUI框架搭建 | 选择库(bubbletea)、基础App结构、运行循环 | 小 |
| 2 | 输入组件 | 文本输入框、光标、基础编辑 | 中 |
| 3 | 翻译显示区 | 结果展示、格式化、滚动 | 中 |
| 4 | 状态栏/主题 | 底部状态栏、语言选择、主题配色 | 小 |
| 5 | 快捷键系统 | 退出、清空、切换语言等 | 小 |
| 6 | 集成翻译 | 对接现有Translator、加载动画 | 中 |
**技术选型**:
- 优先使用 `charmbracelet/bubbletea` (Elm架构、Go生态最流行)
- 配合 `charmbracelet/lipgloss` 实现样式和主题
- 配合 `charmbracelet/bubbles/textinput` 实现输入框
**当前状态**: ✅ 模块1已完成模块2待实现
**关联文档**:
- [changelog.md#0.6.0](changelog.md#060)
---
### [2026-04-06 10:30] 版本 0.6.0 - 模块1: TUI框架搭建 (已完成)
**原因**: 实现TUI界面的第一步建立基础框架结构
**分析**:
- 需要创建基本的App结构和model
- 需要支持config和translator的注入
- 需要修复main.go中版本检查顺序问题
**解决方案**:
1. 创建 `internal/tui/app.go` 基础文件
2. 定义model结构体包含config和translator字段
3. 实现Init/Update/View三个基本方法
4. 添加bubbletea、bubbles、lipgloss依赖
5. 修复main.go中--version在interactive之前检查
**技术实现**:
```go
type model struct {
config *config.Config
translator *translator.Translator
}
func NewApp(cfg *config.Config, t *translator.Translator) *tea.Program {
return tea.NewProgram(model{...})
}
```
**下一步**: 实现模块2: 输入组件
**关联文档**:
- [changelog.md#0.6.0](changelog.md#060)
---
### [2026-04-06 11:00] 版本 0.6.0 - 模块2: 输入组件 (已完成)
**原因**: 实现TUI输入功能
**分析**:
- 使用bubbletea的textinput组件
- 需要焦点管理和键盘事件处理
**解决方案**:
1. 添加textinput字段到model
2. 初始化时设置placeholder和prompt
3. Update中处理KeyMsg
4. View中渲染输入框
5. 支持Ctrl+C和Esc退出
**技术实现**:
```go
type model struct {
textInput textinput.Model
}
func (m model) Update(msg tea.Msg) (tea.Model, tea.Cmd) {
switch msg := msg.(type) {
case tea.KeyMsg:
if msg.Type == tea.KeyCtrlC || msg.Type == tea.KeyEsc {
return m, tea.Quit
}
}
m.textInput, cmd = m.textInput.Update(msg)
return m, cmd
}
```
**下一步**: 实现模块3: 翻译显示区
**关联文档**:
- [changelog.md#0.6.0](changelog.md#060)
---
### [2026-04-06 11:30] 版本 0.6.0 - 模块3: 翻译显示区 (已完成)
**原因**: 添加翻译结果显示区域
**分析**:
- 需要定义结果展示区域
- 需要为不同区域定义不同样式
**解决方案**:
1. 添加result字段到model
2. 定义headerStyle、resultStyle、helpStyle
3. 实现renderResult()辅助方法
4. View中组合各个区域
**下一步**: 实现模块4: 状态栏/主题
**关联文档**:
- [changelog.md#0.6.0](changelog.md#060)
---
### [2026-04-06 12:00] 版本 0.6.0 - 模块4: 状态栏/主题 (已完成)
**原因**: 添加底部状态栏和主题配色
**分析**:
- 需要显示当前目标语言
- 需要完善配色方案
- 需要定义状态栏样式
**解决方案**:
1. 添加targetLang字段到model
2. 定义statusBarStyle、langStyle等新样式
3. 实现renderStatusBar()方法
4. View中渲染状态栏
**下一步**: 实现模块5: 快捷键系统
**关联文档**:
- [changelog.md#0.6.0](changelog.md#060)
---
### [2026-04-06 12:30] 版本 0.6.0 - 模块5: 快捷键系统 (已完成)
**原因**: 添加键盘快捷键提升用户体验
**分析**:
- 需要常用操作快捷键
- 需要清晰显示快捷键提示
**解决方案**:
1. 添加Ctrl+L: 清空输入和结果
2. 添加Ctrl+T: 循环切换语言
3. 添加keyStyle样式高亮快捷键
4. 更新帮助提示显示所有快捷键
**快捷键列表**:
- `Ctrl+L`: 清空输入框和翻译结果
- `Ctrl+T`: 循环切换目标语言 (zh-CN→en-US→ja→ko→...)
- `Ctrl+C`/`Esc`: 退出程序
- `Enter`: 翻译 (后续模块实现)
**下一步**: 实现模块6: 集成翻译
**关联文档**:
- [changelog.md#0.6.0](changelog.md#060)
---
### [2026-04-06 13:00] 版本 0.6.0 - 模块6: 集成翻译 (已完成)
**原因**: 将Translator集成到TUI实现真正的翻译功能
**分析**:
- 需要在Enter键时调用翻译API
- 需要异步执行避免阻塞UI
- 需要显示loading状态和错误处理
**解决方案**:
1. 添加translateMsg消息类型处理异步结果
2. 添加loading和errMsg字段
3. 实现doTranslate()函数执行异步翻译
4. Update中处理translateMsg消息
5. View中显示loading状态或错误信息
**技术实现**:
```go
type translateMsg struct {
result string
err error
}
func (m model) doTranslate(text, toLang string) tea.Cmd {
return func() tea.Msg {
result, err := m.translator.Translate(...)
if err != nil {
return translateMsg{err: err}
}
return translateMsg{result: result.Translated}
}
}
```
**下一步**: 测试TUI界面、优化体验
**关联文档**:
- [changelog.md#0.6.0](changelog.md#060)