Сайт может попадать в ответы Алисы, ChatGPT и других нейросетей — или не попадать, если в robots.txt случайно закрыт нужный бот. При этом у каждой компании несколько роботов с разными задачами: одни собирают данные для обучения моделей, другие ищут источники для ответов в реальном времени. Разбираем, кого пускать, кого можно закрыть и как это прописать.
Зачем вообще думать о ботах нейросетей
Ответы нейросетей с ссылками на источники — новый канал трафика. Алиса в Поиске Яндекса показывает ответ со ссылками на сайты, ChatGPT и Perplexity — тоже. Чтобы попасть в эти ответы, страница должна быть доступна соответствующему роботу. Подробнее о том, как работает такое продвижение, — в статье «Продвижение в нейросетях».
Обратная задача тоже встречается: владелец контента не хочет, чтобы его тексты шли на обучение моделей. Хорошая новость — у крупных компаний обучение и поиск разделены на разных ботов, и одно можно закрыть, не трогая другое.
Главные боты и что они делают
| Компания | Бот (User-agent) | Задача | Если закрыть |
|---|---|---|---|
| Яндекс | YandexAdditional | Учитывается при ответах с YandexGPT и в ответах Поиска с Алисой. Сам страницы не индексирует | Контент страницы не будет использоваться в нейроответах Яндекса. Обычный поиск не затрагивается |
| Яндекс | Yandex / YandexBot | Обычная индексация для Поиска | Сайт выпадет из выдачи Яндекса — закрывать нельзя |
| OpenAI | OAI-SearchBot | Поиск источников для ответов ChatGPT | Сайт не будет показываться в ответах ChatGPT с поиском |
| OpenAI | GPTBot | Сбор данных для обучения моделей | Тексты не пойдут в обучение. На показ в поиске ChatGPT не влияет |
| OpenAI | ChatGPT-User | Заход на страницу по запросу конкретного пользователя | OpenAI предупреждает, что для таких заходов правила robots.txt могут не применяться |
| Google-Extended | Использование контента в Gemini и Vertex AI | На индексацию и ранжирование в Google Поиске не влияет | |
| Anthropic | ClaudeBot | Сбор данных для моделей Claude | Тексты не будут использоваться для обучения |
| Perplexity | PerplexityBot | Индекс для ответов Perplexity | Сайт реже будет попадать в ответы Perplexity |
Изменения в robots.txt для OAI-SearchBot начинают учитываться примерно через сутки — об этом пишет OpenAI в документации.
Три готовых варианта robots.txt
1. Максимальная видимость в нейросетях
Подходит большинству коммерческих сайтов: вам нужны упоминания и переходы. Достаточно ничего не запрещать — по умолчанию боты имеют доступ. Проверьте только, что в файле нет общих запретов вроде Disallow: / для User-agent: * и отдельных блоков, закрывающих ботов из таблицы.
2. Показываться в ответах, но не отдавать тексты на обучение
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: YandexAdditional
Allow: /Компромисс для медиа и экспертных блогов: поисковые боты нейросетей видят сайт, а обучающие — нет.
3. Закрыть контент от нейроответов Яндекса
User-agent: YandexAdditional
Disallow: /Обычный поиск Яндекса продолжит индексировать сайт, но в ответах Алисы и быстрых ответах с YandexGPT контент этих страниц использоваться не будет. Вместо / можно указать отдельные разделы — например, платные материалы.
Частые ошибки
- Закрыть всех ботов одним правилом. Строка
Disallow: /в блокеUser-agent: *закрывает и обычные поисковые роботы — сайт пропадёт из выдачи. - Закрыть GPTBot и думать, что сайт пропал из ChatGPT. Для показа в ответах важен OAI-SearchBot, GPTBot отвечает только за обучение.
- Ждать результата от robots.txt против копирования. Файл — рекомендация для добросовестных роботов, а не защита. Сторонние парсеры его часто игнорируют.
- Делать ставку на llms.txt. Это пока не стандарт: представители Google говорили, что не используют такой файл. Вреда от него нет, но и гарантий тоже.
Проверить итоговый файл можно в Вебмастере Яндекса — инструмент анализа robots.txt работает даже в период восстановления сервисов. Как устроен файл в целом, читайте в статье «Настройка robots.txt».
Что сделать прямо сейчас
- Откройте
ваш-сайт.ru/robots.txtи найдите блоки для ботов из таблицы. - Решите, что важнее: видимость в ответах или закрытие текстов от обучения.
- Внесите правки по одному из вариантов выше и проверьте файл в Вебмастере.
- Через 2–4 недели проверьте, появились ли переходы из нейросетей в Метрике.
Источники
- Яндекс Вебмастер: роботы Яндекса
- OpenAI: Overview of OpenAI Crawlers
- Google: common crawlers (Google-Extended)
🚀 Раскройте потенциал своего сайта! Бесплатный SEO-разбор от экспертов покажет, почему вы теряете клиентов из-за низкого трафика, выявит ошибки и точки роста — и подарит план оптимизации. Успейте получить разбор от «Сегмент SEO»!
