Якщо файл robots.txt повертає помилку 5xx, то Google не буде сканувати сайт

Якщо Googlebot не може отримати доступ до файлу robots.txt з-за помилки 5xx, то він не буде сканувати сайт. Про це заявив один із співробітників команди пошуку на Google Webmaster Conference, яка пройшла на початку цього тижня в штаб-квартирі компанії GooglePlex.

Згідно з Google, при скануванні robots.txt помилка 5xx повертається в 5% випадків, у 69% — краулер отримує код відповіді сервера 200 або 404, а в 26% — файл robots.txt зовсім недоступний.

Після виходу матеріалу Search Engine Land, в якому спочатку говорилося про те, що Google не буде сканувати сайт, якщо файл robots.txt існує, але недоступний (тобто в 26% випадків), у Twitter почали активно обговорювати це питання. Спільними зусиллями західним фахівцям вдалося з’ясувати, що насправді мова йшла про 5% випадків, коли сервер повертає помилку 5xx.

Відповідна поправка була внесена і в статтю Search Engine Land.

Якщо файлу robots.txt ні, то Google буде вважати, що
ніяких заборон на сканування немає:

Засновник Yoast SEO Джусто де Вальк також поцікавився, яка частина з 26% випадків, коли robots.txt недоступний, відноситься до WordPress, і варто звернути увагу на те, як WP генерує ці файли.

Співробітник Google Гері
Илш
відповів, що з WP зазвичай немає проблем, але він ще додатково перевірить.

Прочитати детальніше про заяви Google з приводу сканування і ознайомитися з іншими цікавими з тезами доповідей співробітників пошуку на Webmaster Conference можна в нашому матеріалі по посиланню.

Читайте також  Google офіційно запустив Duplex Chrome

Степан Лютий

Обожнюю технології в сучасному світі. Хоча частенько і замислююся над тим, як далеко вони нас заведуть. Не те, щоб я прям і знаюся на ядрах, пікселях, коллайдерах і інших парсеках. Просто приходжу в захват від того, що може в творчому пориві вигадати людський розум.

You may also like...

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *