llms.txt

llms.txt — соглашение о файле /llms.txt в корне веб-сайта, который предназначен для больших языковых моделей и ИИ-агентов. Файл в формате Markdown кратко описывает сайт и перечисляет ссылки на самые полезные страницы, желательно на их Markdown-версии. Идея в том, чтобы модель, имеющая ограниченное контекстное окно, получила сжатую и чистую карту сайта вместо HTML с навигацией, рекламой и скриптами.

История

Формат предложил Джереми Ховард, сооснователь fast.ai и компании Answer.AI, в сентябре 2024 года.^[1] Спецификация и инструменты опубликованы в открытом репозитории.^[2] Предложение быстро подхватили платформы документации и разработчики библиотек: многие проекты стали автоматически генерировать llms.txt и полные текстовые выгрузки документации. Формальным стандартом файл не является, и поддержка со стороны конкретных поисковых систем и ИИ-сервисов не гарантирована.

Формат

Файл — обычный Markdown со строго заданным порядком блоков:^[1]

1. Заголовок первого уровня # с названием проекта — единственный обязательный элемент.
2. Цитата > с кратким описанием.
3. Необязательные абзацы и списки с подробностями (без заголовков).
4. Разделы с заголовками второго уровня ##, каждый содержит список ссылок в виде - [название](url): пояснение.
5. Раздел ## Optional — ссылки, которые можно пропустить, если контекста не хватает.

Пример:

# llmdocs

> Справочник разработчика на русском языке. Каждая статья доступна как Markdown.

## Сети и протоколы

- [DNS](https://llmdocs.ru/wiki/dns.md): система доменных имён
- [TLS](https://llmdocs.ru/wiki/tls.md): шифрование соединений

## Optional

- [Все статьи одним файлом](https://llmdocs.ru/llms-full.txt)

Сопутствующие соглашения

• Markdown-версии страниц. Предложение рекомендует отдавать чистый текст каждой страницы по тому же адресу с добавлением .md (например, page.html.md или page.md).
• llms-full.txt — распространённое неофициальное дополнение: вся документация одним файлом, чтобы загрузить её в контекст целиком или в систему RAG.
• Инструмент llms_txt2ctx из исходного репозитория разворачивает llms.txt в единый контекстный файл, подтягивая содержимое ссылок.^[2]

Сравнение с robots.txt и sitemap.xml

llms.txt не управляет доступом и не заменяет robots.txt и sitemap: это не запрет и не разрешение, а подсказка.

Применение

На практике файл чаще всего полезен не для обучения моделей, а во время работы с ними:

• агенты для кода читают документацию библиотеки перед написанием кода (см. Агенты для кода);
• пользователь вставляет ссылку на llms.txt или llms-full.txt в чат, чтобы модель отвечала по актуальной версии документации;
• MCP-серверы документации используют файл как оглавление для поиска (см. Model Context Protocol (MCP)).

Критика

Скептики указывают, что крупные поисковые системы публично не подтверждали использование файла, а сам формат дублирует то, что уже дают sitemap и семантическая разметка. Сторонники отвечают, что ценность не в поиске, а в удобстве для агентов и людей, загружающих документацию в контекст: короткий Markdown-файл обходится в разы дешевле по токенам, чем HTML-страницы.

См. также

• Документация для ИИ: как подготовить
• Markdown как формат для LLM
• Model Context Protocol (MCP)
• Контекстное окно

Источники

1. The /llms.txt file — llmstxt.org
2. AnswerDotAI/llms-txt — GitHub
3. RFC 9309 — Robots Exclusion Protocol
4. Sitemaps XML format