AI-краулери та robots.txt: що дозволити, а що заблокувати
Які AI-краулери дозволити в robots.txt, від OAI-SearchBot до ClaudeBot і PerplexityBot, щоб бути в AI-відповідях і не потрапляти до навчання моделей.
Якщо ви хочете, щоб ваш SaaS з'являвся у відповідях ChatGPT, Claude чи Perplexity, дозвольте в robots.txt пошуковий краулер кожної компанії. Якщо ж ви не хочете, щоб ваші сторінки йшли на навчання моделей, заблокуйте навчальний краулер окремо. Це різні боти для різних завдань, тож можна зробити обидві речі одночасно.
Більшість засновників чують «заблокуйте ШІ-боти» і зачиняють усі двері розом. Так часто зникаєш і з пошуку ШІ. Розберімо, як розділити рішення правильно.
Навіщо AI-компаніям кілька краулерів?
Кожна компанія розділяє три завдання: збір контенту для навчання, індексація сторінок для відповідей у пошуку і завантаження сторінки тоді, коли людина щойно про неї запитала. Документація самих вендорів про це говорить, а назви ботів відповідають цим завданням.
Розглядайте це як три окремі рішення:
- Навчання. Чи дозволяєте ви компанії навчати свою модель на ваших сторінках?
- Пошукова індексація. Чи хочете ви бути джерелом у її відповідях?
- Запити від користувачів. Чи може її асистент відкрити вашу сторінку, коли хтось вставляє посилання або питає про вас?
Що написано в документації OpenAI про краулери?
Огляд краулерів OpenAI перелічує три user-agent:
- GPTBot відповідає за навчання. Якщо його заборонити, OpenAI отримує сигнал не використовувати ваш контент для навчання базових моделей.
- OAI-SearchBot керує пошуком. Сайти, які відмовилися, не показуватимуться у відповідях пошуку ChatGPT, хоча можуть і далі з'являтися як звичайні навігаційні посилання.
- ChatGPT-User обробляє запити, які починає користувач. OpenAI каже, що він не використовується для автоматичного сканування, а оскільки запит ініціює людина, правила robots.txt можуть не діяти.
Два практичні зауваження з тієї ж документації: зміна robots.txt для пошуку може набути чинності приблизно за 24 години, а налаштування GPTBot і OAI-SearchBot незалежні одне від одного. Тож схема «дозволити пошук, заблокувати навчання» є підтримуваною.
А що з ClaudeBot від Anthropic?
Довідковий центр Anthropic про їхні краулери також описує три боти:
- ClaudeBot збирає публічний веб-контент, який може піти на навчання моделей.
- Claude-SearchBot аналізує сторінки, щоб покращити релевантність результатів пошуку. Блокування може знизити вашу видимість там.
- Claude-User завантажує сторінки, коли хтось ставить Claude запитання. Блокування може зменшити видимість у пошуку, який запускає користувач.
Anthropic каже, що її боти дотримуються robots.txt, підтримують нестандартну директиву Crawl-delay і не намагаються обходити CAPTCHA. Правила діють окремо для кожного хоста, тож повторіть їх для кожного піддомену, який для вас важливий.
А Perplexity?
Документація краулерів Perplexity радить дозволити PerplexityBot у robots.txt, якщо хочете, щоб сайт з'являвся в її результатах. За їхніми словами, PerplexityBot потрібен для показу сайтів у пошуку, а не для навчання базових моделей. Там також згадується Perplexity-User, який завантажує сторінки, коли людина ставить запитання. Оскільки запит ініціює користувач, Perplexity каже, що цей фетчер зазвичай ігнорує robots.txt. Компанія публікує діапазони IP-адрес для обох ботів, і це зручно, якщо ви фільтруєте трафік на фаєрволі.
Який варіант підходить SaaS-стартапу?
Короткий огляд трьох поширених варіантів:
| Мета | Дозволити | Заблокувати |
|---|---|---|
| Бути в цитатах ШІ-відповідей і не потрапляти до навчання | OAI-SearchBot, Claude-SearchBot, PerplexityBot | GPTBot, ClaudeBot |
| Максимальна видимість | Усе перелічене вище | Нічого |
| Приватний або платний контент | Нічого на закритих шляхах | Усе на цих шляхах |
Для більшості ранніх продуктів ми б обрали перший рядок. Молодий SaaS має набагато більше виграти від згадок, ніж від приховування маркетингового сайту, який і так відкритий. Виняток становить сайт, цінність якого і є контентом, наприклад платна дослідницька бібліотека. Тоді блокуйте навчання і закривайте найцінніше.
Приклад robots.txt
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
Перш ніж вставляти це, перевірте актуальні назви user-agent у документації кожного сервісу. Назви й продукти змінюються.
Як перевірити, що все працює?
- Відкрийте
yourdomain.com/robots.txtі переконайтеся, що файл відкривається зі статусом 200, а не перенаправляє на сторінку входу. - Зачекайте добу. OpenAI каже, що пошуку може знадобитися близько 24 годин, щоб побачити зміну в robots.txt.
- Перегляньте логи сервера або панель CDN на предмет рядків user-agent. Якщо бот, якого ви заблокували, і далі до вас заходить, порівняйте його IP зі списком, який опублікував вендор.
- Поставте асистентам запитання, на яке може відповісти тільки ваш сайт, і подивіться, чи вони вас цитують.
Robots.txt є проханням, а не замком. Усе, що ви не можете дозволити витекти, має бути за логіном. Для швидкого аудиту решти технічного налаштування скористайтеся безкоштовними SEO-інструментами на Woodander, а більше гайдів знайдете в хабі SEO та видимості в ШІ.
Часті запитання
Чи блокування GPTBot прибирає мене з пошуку ChatGPT?
Ні. За документацією OpenAI, видимістю в пошуку керує OAI-SearchBot, а його налаштування незалежні від GPTBot.
Чи гарантує дозвіл ШІ-ботам цитування?
Ні. Доступ лише робить вас придатними до цитування. Чіткі сторінки, конкретні факти й реальна аудиторія вирішують, чи вас згадають.
Чи слухаються боти, які запускає користувач, robots.txt?
Ні, не завжди. OpenAI каже, що правила robots.txt можуть не діяти для ChatGPT-User, бо запит ініціює людина. Perplexity пояснює так само щодо Perplexity-User, тож розраховуйте на закриття чутливих сторінок, а не на один рядок Disallow.
Як часто переглядати цей файл?
Для більшості команд достатньо раз на квартал. Вендори додають і перейменовують ботів, тож під час перегляду загляньте в їхню документацію та логи.
Хочете, щоб вас знаходили інші, поки ви розбираєтесь із цим? Додайте продукт до Discover і подивіться, хто ще запускає щось у вашій ніші.
