# Большая языковая модель (LLM)

> Нейросеть-трансформер с миллиардами параметров, обученная предсказывать следующий токен на огромных объёмах текста; умеет отвечать на вопросы, писать код и выполнять задачи по инструкции.

Источник: https://llmdocs.ru/wiki/llm/ · обновлено 2026-11-09 · лицензия CC BY-SA 4.0

- **Архитектура**: трансформер (обычно только декодер)
- **Принцип**: предсказание следующего токена
- **Этапы обучения**: предобучение, дообучение на инструкциях, обучение на предпочтениях
- **Размер**: от миллиардов до триллионов параметров
- **Примеры семейств**: Claude, GPT, Gemini, Llama, Qwen, DeepSeek, Mistral
- **Доступ**: через API, в чат-интерфейсах, локально (открытые веса)
**Большая языковая модель** (англ. *Large Language Model*, LLM) — [нейронная сеть](https://llmdocs.ru/wiki/neural-network.md) с миллиардами параметров, обученная на огромных объёмах текста предсказывать следующий [токен](https://llmdocs.ru/wiki/tokenization.md). Из этой простой задачи при достаточном масштабе возникают разнообразные способности: модель отвечает на вопросы, пересказывает и переводит тексты, пишет и исправляет код, рассуждает по шагам и выполняет задачи по инструкции на естественном языке.

LLM — основа чат-ассистентов, [помощников программиста](https://llmdocs.ru/wiki/coding-agents.md), [ИИ-агентов](https://llmdocs.ru/wiki/ai-agent.md) и систем поиска по документам ([RAG](https://llmdocs.ru/wiki/rag.md)). Почти все современные LLM построены на архитектуре [трансформер](https://llmdocs.ru/wiki/transformer.md).[6]

## История

Языковые модели существовали давно — от n-граммных моделей для распознавания речи до рекуррентных сетей. Переломом стал трансформер (2017), позволивший эффективно обучать модели на огромных корпусах. В 2018 году появились BERT и первая GPT. Модель GPT-3 (2020) со 175 миллиардами параметров показала, что большая модель может решать новые задачи по нескольким примерам в запросе, без дообучения.[1]

Исследования **законов масштабирования** показали, что качество предсказуемо растёт с размером модели, объёмом данных и вычислений,[2] а работа Chinchilla (2022) уточнила оптимальное соотношение параметров и данных.[3] Широкую известность технологии принёс ChatGPT (ноябрь 2022). В 2023 году вышли Claude, GPT-4, открытые модели Llama, затем Gemini, Mistral, Qwen и DeepSeek. С 2024 года распространились **рассуждающие модели**, которые перед ответом генерируют развёрнутую цепочку размышлений.

## Как обучают

1. **Предобучение.** Модель читает триллионы токенов текста и кода и учится предсказывать следующий токен. Это самый дорогой этап: тысячи [GPU](https://llmdocs.ru/wiki/gpu-cuda.md) работают недели и месяцы. Результат — **базовая модель**, которая хорошо продолжает текст, но плохо следует инструкциям.
2. **Дообучение на инструкциях** (SFT). Модель обучают на примерах диалогов «запрос — хороший ответ».
3. **Обучение на предпочтениях.** Люди или другие модели сравнивают варианты ответов, и модель учится давать предпочтительные: RLHF — обучение с подкреплением на отзывах людей,[4] методы вроде Constitutional AI, где модель оценивает ответы по набору принципов.[5] Обучение с подкреплением на задачах с проверяемым ответом (математика, код) развивает рассуждение.

## Как работает генерация

Текст запроса разбивается на токены, модель вычисляет распределение вероятностей следующего токена, выбирает один, добавляет его к входу и повторяет. Выбор регулируется параметрами: **температура** (ниже — предсказуемее, выше — разнообразнее), top-p, ограничение длины. Всё, что модель «видит» в данный момент, — это содержимое её [контекстного окна](https://llmdocs.ru/wiki/context-window.md): системные инструкции, история диалога, документы и результаты инструментов.

## Возможности

- Ответы на вопросы, объяснения, пересказ, перевод, редактирование текстов.
- Написание, объяснение и исправление кода.
- Извлечение данных в заданном формате ([структурированный вывод](https://llmdocs.ru/wiki/structured-output.md)).
- Вызов внешних функций и API ([Tool use / function calling](https://llmdocs.ru/wiki/tool-use.md)), в том числе через протокол [MCP](https://llmdocs.ru/wiki/mcp.md).
- Работа с изображениями, звуком и документами в [мультимодальных моделях](https://llmdocs.ru/wiki/multimodal-models.md).

Поведение модели задаётся текстом запроса — этому посвящён [промпт-инжиниринг](https://llmdocs.ru/wiki/prompt-engineering.md). Для специальных задач модель можно дообучить ([Fine-tuning и LoRA](https://llmdocs.ru/wiki/fine-tuning-lora.md)).

## Ограничения

- **Галлюцинации.** Модель может уверенно выдавать правдоподобную, но ложную информацию (см. [Галлюцинации LLM](https://llmdocs.ru/wiki/hallucinations.md)). Снижают риск подача источников в контекст (RAG) и проверка ответов.
- **Дата отсечения знаний.** Модель знает о мире только то, что было в обучающих данных; свежие сведения нужно передавать в контексте или через поиск.
- **Ограниченный контекст** и рост стоимости с длиной запроса.
- **Уязвимость к инструкциям во входных данных** — [prompt injection](https://llmdocs.ru/wiki/prompt-injection.md).
- **Недетерминированность.** Один и тот же запрос может давать разные ответы, что важно учитывать при [оценке качества](https://llmdocs.ru/wiki/llm-evals.md).

## Использование

```python
import anthropic

client = anthropic.Anthropic()            # ключ берётся из ANTHROPIC_API_KEY
msg = client.messages.create(
    model="claude-sonnet-5-5",
    max_tokens=1024,
    system="Отвечай кратко и по-русски.",
    messages=[{"role": "user", "content": "Чем TCP отличается от UDP?"}],
)
print(msg.content[0].text)
```

Коммерческие модели доступны через API провайдеров с оплатой за токены. Модели с открытыми весами можно запускать на своём оборудовании — см. [Локальный запуск LLM (llama.cpp, Ollama)](https://llmdocs.ru/wiki/local-llm.md) — что важно для приватности и работы без интернета.

## См. также

- [Трансформер (архитектура)](https://llmdocs.ru/wiki/transformer.md)
- [Токен и токенизация](https://llmdocs.ru/wiki/tokenization.md)
- [Контекстное окно](https://llmdocs.ru/wiki/context-window.md)
- [Промпт-инжиниринг](https://llmdocs.ru/wiki/prompt-engineering.md)
- [ИИ-агент](https://llmdocs.ru/wiki/ai-agent.md)

## Источники

1. [T. Brown et al. — Language Models are Few-Shot Learners (GPT-3, 2020)](https://arxiv.org/abs/2005.14165)
2. [J. Kaplan et al. — Scaling Laws for Neural Language Models (2020)](https://arxiv.org/abs/2001.08361)
3. [J. Hoffmann et al. — Training Compute-Optimal Large Language Models (Chinchilla, 2022)](https://arxiv.org/abs/2203.15556)
4. [L. Ouyang et al. — Training language models to follow instructions with human feedback (2022)](https://arxiv.org/abs/2203.02155)
5. [Y. Bai et al. — Constitutional AI: Harmlessness from AI Feedback (2022)](https://arxiv.org/abs/2212.08073)
6. [A. Vaswani et al. — Attention Is All You Need (2017)](https://arxiv.org/abs/1706.03762)