跳到正文
北京时间
原文
LlamaIndex:产品、工程与评测·· 2023-12-08精选AI 评分62

LlamaIndex 发布 AutoTranslateDoc 命令行工具,用 GPT 模型自动翻译技术文档

Bridging the Language Gap in Programming: Introducing AutoTranslateDoc

AI 导读

LlamaIndex 发布 AutoTranslateDoc,一款命令行工具,可从 GitHub 仓库抓取 .md 和 .mdx 文档,用 GPT-3.5、GPT-4 分块翻译并自动校验后合并输出。

推荐理由

工具通过分块翻译加多重校验来保证文档翻译质量,并支持差量更新,适合需要维护多语言文档的开发者参考。

正文 · AI 翻译

作者:Pierre-Loic Doulcet

作为程序员,我们常常受限于语言障碍。各种编程框架和工具的文档主要以英语提供,并且越来越多地以中文等语言提供,这给非母语者带来了挑战。我在编程初期也面临过类似的障碍,正是通过像 traduc.org 翻译 man 手册这样的社区努力,我才得以克服它们。

立即探索我们的免费和付费方案。

今天,我们很高兴地推出一项针对这一普遍问题的解决方案:AutoTranslateDoc,一个旨在通过打破语言障碍,使技术文档的获取更加民主化的命令行工具。

AutoTranslateDoc 的工作原理

  1. 收集文档:该工具连接到 GitHub,识别并下载任何仓库中的 .md 和 .mdx 文件。
  2. 分块与准备:然后将文档分块或拆分以进行翻译。
  3. 高效翻译:利用 GPT-3.5 和 GPT-4 等 LLM 的能力,准确翻译每个文档块。
  4. 验证与增强:自动验证翻译,必要时重新翻译,确保最高质量。
  5. 整合:最后,将各个块合并回一个连贯的文档。

我们翻译 llamaIndexTS 文档的初步测试结果非常令人鼓舞。您现在可以阅读我们十多种语言的文档,包括中文、法语和西班牙语!

快速开始

通过 npm 轻松安装 AutoTranslateDoc,或克隆仓库(https://github.com/run-llama/automatic-doc-translate):

npm install -g autotranslatedoc

使用 run-lama/LlamaIndexTS 或您喜欢的仓库试试吧!您需要一个 GitHub 个人访问令牌和一个 OpenAI API 密钥(工具会提示您设置这些):

# Translate
autotranslatedoc translate run-llama LlamaIndexTS -d apps/docs -l fr
#build
autotranslatedoc build run-llama LlamaIndexTS -d apps/docs -l fr

这将翻译 GitHub 仓库 run-llama/LlamaIndexTS 中的目录 apps/docs。

提高准确性和一致性

我们致力于提高翻译准确性,这促使我们在翻译过程和验证方法上不断创新。

策略性文档拆分:

我们通过将文档的每一页划分为多个部分来进行翻译。为了提供增强的上下文和连贯性,每个部分的标题层级在翻译过程中被附加到其相应的块中。这项技术确保翻译后的内容保持原始结构和主题相关性。

严格的翻译验证:

我们的验证过程旨在严格评估翻译的准确性。我们对翻译后的文档进行多项检查:

  • 翻译长度检查:我们将翻译文本的长度与原文进行比较,以确保一致性。
  • 标题层级分析:我们验证翻译中没有无意中添加新的部分。
  • 链接数量验证:将超链接的数量与原文进行匹配,以确保没有遗漏或不必要地添加。
  • 代码块准确性:对照原始文档检查翻译中代码块的存在和正确性。

这些检查解决了 LLM 的常见问题,如幻觉或遗漏,并在必要时提示重新翻译。这一严格的过程显著提高了我们翻译的准确性。此外,我们融入了一项独特的自我批评功能,即 LLM 评估自己的翻译输出,进一步优化质量。

这种细致分块与彻底验证的双重方法,确保我们的翻译不仅准确,而且与上下文相关,保持了原始文档的完整性和实用性。

管理文档更新:保持翻译与时俱进

文档本质上是一个随时间演变的动态实体。认识到这一点,我们在 AutoDocTranslate 中集成了一个强大的系统,以高效管理文档更新。

通过 JSON 进行历史追踪:

使用我们的工具翻译仓库时,会生成一个 .json 文件,记录翻译的历史。该文件对于跟踪文档中的更改和版本至关重要。它作为差异翻译的基础,这一过程只识别并翻译新添加或修改的内容。此功能可通过 autotranslatedoc update 命令访问,简化了保持翻译最新的维护工作。

未来增强功能:

我们正在积极通过以下功能增强该系统:

手动更改整合: 认识到翻译在生成后可能会经过手动编辑,我们正在开发功能,以便在更新时考虑这些手动更改。这将确保任何人工修订都得以保留,并且在后续更新中只翻译源文档中新增或更改的部分。

翻译管理 GUI: 为了进一步简化翻译编辑、跟踪和验证的过程,我们正处于开发图形用户界面(GUI)的早期阶段。该界面将允许用户更直观地与翻译进行交互。此功能的实验版本可通过 autotranslatedoc serve 命令访问。该 GUI 将使用户能够以可视化方式浏览翻译、进行编辑,并更高效地验证内容的准确性。

通过不断更新和完善这些功能,AutoDocTranslate 旨在始终走在让技术文档能够以多种语言普遍访问且易于维护的前沿。

技术文档的未来

AutoDocTranslate 不仅仅是一个工具;它是迈向一个包容、无障碍的技术世界的一步,在这个世界里,语言不再是学习和成长的障碍。我们很期待看到它如何赋能全球的程序员。

加入我们的旅程,为构建一个更无障碍的编程社区贡献力量!

来源:LlamaIndex:产品、工程与评测 · llamaindex.ai