一个使用 Rust 编写的 AI 驱动的漫画翻译工具,GitHub开源项目

Koharu  是一个使用 Rust 编写的 AI 驱动的漫画翻译工具。

它引入了一种全新的漫画翻译工作流,利用 AI 技术自动化翻译过程。它整合了对象检测、OCR(光学字符识别)、图像修复(Inpainting)和 LLM(大语言模型)等技术,打造无缝的翻译体验。

主要功能

自动气泡检测与分割: 能够自动识别并分割漫画中的对话气泡。
漫画 OCR: 专门针对漫画文本优化的光学字符识别功能。
智能修图 (Inpainting): 自动去除原始图片中的文字,并填补背景。
LLM 驱动翻译: 利用大语言模型进行高质量的文本翻译。
垂直排版: 支持中日韩(CJK)语言的垂直文本排版,还原漫画原本的阅读体验。

硬件加速支持

Koharu 针对主流硬件进行了优化,以提升推理速度:

NVIDIA GPU (CUDA):

内置 CUDA toolkit 12.x 和 cuDNN 9.x 支持。
支持计算能力 (Compute Capability) 7.5 及以上的 NVIDIA 显卡。
首次运行时会自动提取所需的动态链接库。
macOS (Metal):

支持 Apple Silicon (M1, M2, M3 等) 芯片,利用 Metal 进行 GPU 加速。

使用的 AI 模型

Koharu 结合了计算机视觉 (CV) 和自然语言处理 (NLP) 模型:

计算机视觉模型 (自动下载):

文字检测comic-text-detector
OCRmanga-ocr
图像修复AnimeMangaInpainting
: 为了提高性能和兼容性,官方将这些模型转换为了 safetensors 格式并托管在 Hugging Face 上,首次运行会自动下载。

大语言模型 (LLMs):

支持 GGUF 格式的量化模型。
目前支持的模型示例:vntl-llama3-8b-v2sakura-galtransl-7b-v3.7
用户在设置中选择模型后会自动按需下载。

安装与开发

安装:

官方 Release 页面提供 Windows 和 macOS 的预编译二进制文件。
Linux 或其他平台可能需要从源码编译。
开发/源码编译:

环境要求: Rust (1.85 或更高版本), Bun (1.0 或更高版本)。
构建命令:

1
bun install (安装依赖)
2
bun run build (构建项目)
构建产物位于 target/release 目录。

项目信息速览

项目地址:github.com/mayocream/koharu
开发者:mayocream
Stars / Forks:353 ⭐ / 16 Forks
License:GPL-3.0 (app) / Apache-2.0 (sub-crates)

评论

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

这个站点使用 Akismet 来减少垃圾评论。了解你的评论数据如何被处理