Две строки в robots.txt закроют сайт от обучения ИИ у четырёх компаний

Если у вас есть сайт и вы не хотите, чтобы на ваших текстах учили нейросети, скоро хватит двух строк в служебном файле сайта. 30 октября OpenAI, Google, Microsoft и Anthropic объявили, что будут учитывать общий запрет на обучение ИИ.

Что придумали?

В файле robots.txt владелец сайта пишет правила для роботов, которые обходят интернет: куда им можно, куда нельзя. Его видно по адресу вида aigenthub.ru/robots.txt. Компании, которые учат нейросети, тоже читают этот файл, но у каждой своё имя: у OpenAI GPTBot, у Anthropic ClaudeBot, у Google Google-Extended. Чтобы закрыться от всех, приходилось перечислять каждое имя.

Теперь появилось общее имя __usage_ai-training. Его предложил Кевин Келли, который занимается стандартами в Anthropic, через IETF (организацию, которая пишет стандарты интернета). Чтобы запретить обучение на всём сайте, добавьте в robots.txt две строки:

User-Agent: __usage_ai-training
Disallow: /

Эти две строки запрещают именно обучение моделей на ваших текстах. Обычные правила для поисковых роботов они не меняют.

Куда вписать эти две строки?

Где править robots.txt, зависит от того, на чём сделан сайт. На своём хостинге это обычный текстовый файл в главной папке сайта. Если его нет, создайте. В конструкторах и системах вроде WordPress ищите настройку robots.txt в разделе про SEO.

Ставьте строки в самый конец файла, отделив пустой строкой. Если вписать их сразу под строкой User-Agent: *, правила склеятся, и Disallow: / закроет сайт для всех роботов, включая Яндекс и Google.

Блог на Дзене или во ВКонтакте так не закрыть: robots.txt там правит площадка.

Когда запрет заработает?

Сроки у компаний разные. Anthropic, по словам Келли, уже начала поддержку, но на все её сервисы уйдёт время. Microsoft начнёт учитывать запрет с 1 февраля 2027 года, когда её робот будет заново обходить страницы. Google обещает поддержку в 2027 году, OpenAI «в ближайшие месяцы», подробности она опубликует позже.

Старые правила продолжат работать. Если в robots.txt уже закрыты GPTBot или ClaudeBot, удалять их не нужно.

Чего этот запрет не делает?

Без этих двух строк запрета нет. Общее правило для всех роботов (User-Agent: *) обучение не запрещает: строки с __usage_ai-training нужно добавить отдельно.

Запрет не убирает сайт из ответов нейросетей. Когда Copilot или ChatGPT ищет ответ в интернете и даёт ссылку на ваш сайт, это не обучение. Для ответов Copilot у Microsoft будет своя настройка, её ставят на каждой странице, а не в robots.txt.

У Google иначе: новый запрет он прочитает как запрет для Google-Extended. Это правило у Google отвечает сразу за обучение и за ссылки на сайты в ответах приложения Gemini.

И это просьба, а не замок. Четыре компании пообещали её соблюдать, другие роботы могут её не заметить. Российских компаний среди объявивших нет.

Что это значит для вас

• Если вы хотите, чтобы ваши тексты попадали в ответы нейросетей и в обучение, ничего делать не нужно.
• Если не хотите, добавьте две строки из примера в конец robots.txt уже сейчас. Anthropic начала их поддержку первой, Google и Microsoft подключатся в 2027 году, OpenAI в ближайшие месяцы.
• Если вам важны переходы из Gemini, у Google придётся выбирать: остаться в ответах Gemini и при этом запретить обучение нельзя.

Если вы делаете сайт с помощью Claude Code (ИИ-помощника, который сам правит файлы сайта), проверить robots.txt и другие технические настройки поможет готовая инструкция seo-audit.

Источники: черновик стандарта в IETF и письмо Кевина Келли, блоги Google, Microsoft Bing и OpenAI, 30.10.2026.