Техническое GEO: как открыть сайт для ИИ-ботов, что разметить и нужен ли llms.txt

Коротко: чтобы нейросеть могла вас процитировать, она должна сначала прочитать сайт. Это три отдельных условия: бот не заблокирован в robots.txt, его не режет CDN или файрвол, и контент виден без выполнения JavaScript. Дальше работает разметка и структура текста. А llms.txt, о котором много пишут, на практике почти ничего не даёт: по данным исследования Ahrefs на 137 тысячах сайтов, 97% файлов llms.txt не запрашивались ни разу.

Разбираем по слоям — от доступа до измерения результата.

Слой 1. Какие боты вообще ходят

Главное изменение последних лет: обучающие и поисковые краулеры у крупных компаний разделены. Это позволяет не отдавать контент на обучение моделей, но оставаться видимым в ответах ИИ-поиска.

Крупные операторы заявляют, что их краулеры соблюдают robots.txt. Мелкие и анонимные скраперы — нет, но их правилами всё равно не остановить.

Слой 2. Решение, кого пускать

Три разумные стратегии:

Открыть всё. Подходит бизнесу, которому нужны клиенты из нейросетей, а контент не является товаром. Для большинства компаний услуг это верный выбор.

Открыть поисковых, закрыть обучающих. Компромисс для тех, кому важно не отдавать тексты в обучение: закрываете GPTBot, ClaudeBot, Google-Extended, оставляете OAI-SearchBot, Claude-SearchBot, PerplexityBot. Учтите: эта граница условна и может измениться.

Закрыть всех. Осмысленно для медиа и площадок, живущих на трафике и подписке. Для сервисного бизнеса это отказ от канала.

Пример robots.txt для первой стратегии с явным перечислением:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

Sitemap: https://example.by/sitemap.xml

Явные блоки нужны не для разрешения как такового (разрешено всё, что не запрещено), а чтобы случайный общий Disallow: / из прошлого не перекрыл доступ.

Слой 3. robots.txt — только половина дела

Самая частая и самая незаметная проблема: в robots.txt всё разрешено, а запросы ИИ-ботов отбивает CDN или файрвол. У части хостингов и защитных сервисов блокировка ИИ-краулеров включена по умолчанию или входит в «защиту от ботов».

Проверить просто — запросить страницу от имени бота:

curl -A "GPTBot" -I https://example.by/
curl -A "OAI-SearchBot" -I https://example.by/uslugi/

Ответ должен быть 200. Коды 401, 403, 429, 503 или страница проверки браузера означают, что бот до контента не доходит, что бы ни было написано в robots.txt.

То же стоит проверить на внутренних страницах, а не только на главной: иногда защита срабатывает именно на разделах каталога.

Слой 4. Контент должен быть в HTML

Фоновые краулеры — GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot — забирают HTML и не выполняют JavaScript. Если текст, цены или карточки появляются только после гидратации, бот увидит пустую оболочку.

Отсюда практические требования:

• серверный рендеринг или статическая генерация для всех важных страниц;
• осмысленный контент в первичном HTML, а не только скелет интерфейса;
• отсутствие критичной информации в модалках и вкладках, подгружаемых по клику.

Отдельный нюанс для Next.js. Фреймворк умеет отдавать ботам полностью отрисованный HTML вместо потоковой заглушки, но список таких ботов по умолчанию собран под поисковые системы и соцсети — ИИ-краулеры в него не входят и получают оболочку. Решается расширением списка в конфиге (параметр htmlLimitedBots), куда добавляются GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot. Проверяется тем же curl -A: в ответе должен быть текст страницы.

Как убедиться, что страницы в принципе доступны для индексации, — в статье «Страниц нет в поиске».

Слой 5. Разметка

Разметка не заставляет нейросеть вас процитировать, но делает факты однозначными: кто вы, что продаёте, по какой цене, где находитесь.

Минимальный набор для сервисного бизнеса:

• Organization или LocalBusiness на главной: название, адрес, телефон, часы работы, логотип и — важно — sameAs со ссылками на ваши карточки в справочниках и профили. Именно sameAs связывает сайт с внешними источниками, из которых модели берут рейтинг и отзывы.
• Service на страницах услуг, с offers и ценой, если цена публичная.
• FAQPage на страницах с вопросами — самый цитируемый формат: короткий вопрос и короткий ответ.
• Article в блоге: автор как Person, даты публикации и обновления, издатель.
• BreadcrumbList для понимания структуры сайта.
• Product и Offer для товаров.

Главное правило: разметка должна совпадать с видимым текстом. Цена в разметке и цена на странице обязаны быть одинаковыми.

Слой 6. Структура текста под цитирование

Модель выдёргивает из страницы фрагмент, который отвечает на вопрос. Чем легче его выделить, тем выше шанс попасть в ответ.

Что работает:

• Прямой ответ в начале раздела, до рассуждений. Абзац «Коротко» в начале статьи — это не стиль, а техника.
• Конкретика: цифры, сроки, цены, города. Общие формулировки не цитируются, потому что в них нечего процитировать.
• Короткие вопросы как заголовки и ответы в один-два абзаца под ними.
• Таблицы для сравнений и параметров.
• Даты публикации и обновления на виду: свежесть влияет на выбор источника.
• Автор с именем и ролью — подтверждение, что за текстом стоит человек.
• Самодостаточные абзацы: фрагмент должен быть понятен в отрыве от остальной страницы.

Что не работает: вода, кликбейт, «мы молодая динамично развивающаяся компания», факты без источников.

Слой 7. Нужен ли llms.txt

Коротко — нет, если только вы не делаете это из любопытства.

Идея файла разумна: markdown-карта сайта с указанием важного контента для языковых моделей. Но за ней нет поддержки операторов. OpenAI и Anthropic публично говорили, что предпочитают обычный обход сайта. Исследование Ahrefs по 137 тысячам сайтов показало, что 97% файлов llms.txt не были запрошены ни разу.

Разумный приоритет: сначала доступ ботов, рендеринг и разметка. Файл llms.txt можно добавить последним пунктом — вреда он не принесёт, но и результата сам по себе не даст.

Слой 8. Как измерить

Без измерения вся работа остаётся верой.

Логи сервера. Фильтруйте по User-Agent: заходят ли GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, на какие страницы и как часто. Это первый признак, что доступ открыт на самом деле, а не только на бумаге.

Переходы из ИИ-сервисов. В Яндекс Метрике и GA4 посмотрите источники chatgpt.com, perplexity.ai и другие. Объём обычно небольшой, но это люди, которым вас уже порекомендовали, и конверсия у них выше средней.

Сами ответы нейросетей. Регулярная проверка по списку клиентских запросов — как это делать, описано в статье «Как проверить, что нейросети говорят о вашей компании».

Чек-лист

1. В robots.txt нет общего запрета, перекрывающего ИИ-ботов.
2. Решено, пускать ли обучающие краулеры, и решение отражено в файле.
3. curl -A "GPTBot" возвращает 200 на главной и внутренних страницах.
4. CDN и файрвол не отбивают ИИ-ботов.
5. Контент есть в HTML без выполнения JavaScript.
6. Для Next.js расширен список ботов, получающих полный HTML.
7. Organization с sameAs, Service, FAQPage, Article, BreadcrumbList на своих местах.
8. Разметка совпадает с видимым текстом.
9. На страницах есть прямые ответы, цифры, даты и автор.
10. Логи и переходы из ИИ-сервисов отслеживаются.

Технический слой — необходимое условие, но не достаточное. Нейросети называют компании, о которых есть данные во внешних источниках: каталогах, рейтингах, подборках, отзывах. Почему так устроено — в статье «Клиент больше не гуглит».

Частые вопросы

Нужно ли открывать сайт для ИИ-ботов? Если вам нужны клиенты из нейросетей — да. Можно открыть только поисковых краулеров (OAI-SearchBot, Claude-SearchBot, PerplexityBot) и закрыть обучающих (GPTBot, ClaudeBot, Google-Extended).

Почему нейросети не видят сайт, хотя в robots.txt всё разрешено? Чаще всего запросы режет CDN или защита от ботов, либо контент подгружается скриптами и в HTML его нет. Проверяется запросом с User-Agent бота.

Какая разметка нужна для попадания в ответы ИИ? Organization или LocalBusiness с sameAs, Service с ценой, FAQPage, Article с автором и датами, BreadcrumbList.

Нужен ли llms.txt? Практической пользы почти нет: исследование Ahrefs показало, что 97% таких файлов не запрашивались ни разу. Сначала доступ ботов, рендеринг и разметка.

Как понять, что ИИ-боты заходят на сайт? По логам сервера, отфильтровав запросы по User-Agent: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot.

Хотите, чтобы нейросети находили и цитировали ваш сайт? Проверим доступ ботов, рендеринг и разметку, составим план и будем отслеживать упоминания. Подробнее — на странице продвижения в нейросетях.

Остались вопросы?

Обсудим ваш проект, рассчитаем стоимость и ответим на все вопросы.

Похожие статьи