Безкоштовний SEO-інструмент · Технічне SEO
Тестер і валідатор robots.txt
Прочитайте robots.txt сайту так, як це роблять пошукові системи: чи можуть Googlebot і AI-краулери його сканувати, які sitemap він вказує і чи дозволений обраний вами шлях.
- ПРОЙДЕНО GooglebotМоже сканувати головну сторінку
- ПОПЕРЕДЖЕННЯ /blog/Заблоковано для всіх краулерів
- ПРИМІТКА AI-краулериGPTBot і CCBot заблоковано
- ПРИМІТКА Crawl-delayGoogle ігнорує
- ПРОЙДЕНО SitemapОголошено один sitemap
Що аналізує безкоштовний Перевірка robots.txt?
-
1
Наявність
Чи відповідає /robots.txt кодом 200 або 404. Помилки сервера змушують Google призупинити обхід усього сайту.
-
2
Googlebot
Чи може краулер Google завантажувати вашу головну сторінку — найдорожча помилка, яку може зробити robots.txt.
-
3
Будь-який шлях, будь-який бот
Введіть шлях і user-agent, щоб побачити, яке правило діє, за тією ж логікою найдовшого збігу, що й у Google.
-
4
AI-краулери
Які відомі боти для навчання AI та AI-пошуку заблоковано, щоб ви могли вирішувати свідомо.
-
5
Sitemap-файли
Рядки Sitemap і чи є вони абсолютними URL, які можуть використовувати пошукові системи.
-
6
Синтаксис і обмеження
Рядки, які Google не розуміє, правила, які він ігнорує, як-от crawl-delay і noindex, та ліміт розміру 500 КіБ.
Як налаштувати robots.txt
-
1
Розмістіть у корені
Простий текст за адресою /robots.txt на кожному хості, з відповіддю 200 — або 404, якщо правил немає.
-
2
Блокуйте обхід, а не індексацію
Щоб приховати сторінку з видачі, дозвольте сканування й додайте noindex. Перевірка мета-тегів →
-
3
Не блокуйте CSS і JavaScript
Google рендерить сторінки; заблоковані файли можуть виглядати для нього як зламана сторінка.
-
4
Робіть правила конкретними
Перемагає найдовший збіг шляху, тож короткий Disallow може заблокувати більше, ніж ви хотіли.
-
5
Вкажіть свій sitemap
Додайте рядок Sitemap з повною адресою https://. Пошук і валідація sitemap →
-
6
Вирішуйте щодо AI-ботів окремо
Краулери для навчання та AI-пошуку мають різні назви — блокуйте лише те, що справді хочете.
Як тлумачити результати
- ПРОБЛЕМА
- Явна проблема, яку зазвичай варто виправити, наприклад відсутній заголовок або статус, відмінний від 200.
- ПОПЕРЕДЖЕННЯ
- Може бути проблемою залежно від сторінки, наприклад відсутній опис чи canonical або задовгий заголовок.
- ПРОЙДЕНО
- Перевірено, усе гаразд.
- НЕ ПЕРЕВІРЕНО
- Не входить у цю перевірку або заблоковано сайтом. Звіт вказує, що саме, — це ніколи не зараховується як помилка.
Перевірка robots.txt порівняно з Website Audit і SEO Monitor
Перевірка robots.txt
Одна URL · безкоштовно · без облікового запису
Які краулери — пошукові системи й AI-боти — можуть сканувати ваш сайт; перевірте будь-який шлях.
Ви тутАудит сайту
Багато сторінок · безкоштовне швидке сканування
Сканує обмежений набір сторінок і групує проблеми по всьому сайту, як-от дублікати заголовків і потенційні сторінки-сироти.
Запустити аудит сайту →SEO-моніторинг
Підключені дані · обліковий запис
Використовує вашу Search Console і GA4, щоб відстежувати кліки, запити й зміни з часом.
Дізнатися про SEO Monitor →FAQ
Поширені запитання
Про Перевірка robots.txt.
01
Чи прибирає блокування сторінку з Google?
Ні. robots.txt зупиняє сканування, а не індексацію. Щоб сторінка не потрапила в результати, дозвольте сканування й додайте noindex.
02
Чи варто блокувати AI-краулери?
Вирішувати вам. Блокування ботів для навчання не пускає ваш вміст у майбутні моделі; блокування ботів AI-пошуку також прибирає вас із їхніх відповідей.
03
Де має бути robots.txt?
У корені кожного хоста: https://example.com/robots.txt. Кожен піддомен потребує власного файлу; файл у папці ігнорується.
04
Що, якщо robots.txt повертає помилку сервера?
Google сприймає відповідь 5xx як «нічого не скануй» і призупиняє обхід сайту. 404 — нормально: це означає, що правил немає.
05
Чи підтримує Google crawl-delay?
Ні. Google ігнорує crawl-delay. Деякі інші пошукові системи його ще читають.
06
Яке правило перемагає, коли збігаються два?
Найконкретніше — правило з найдовшим збігом шляху. Якщо Allow і Disallow однакової довжини, перемагає Allow.
07
Це безкоштовно?
Так. Обліковий запис не потрібен. Ми обмежуємо, як часто один відвідувач може запускати перевірки, щоб інструменти лишалися швидкими для всіх.
