50 руководств по SEO-оптимизации. Часть №2

Веб-сканеры – это особый тип ботов, то есть компьютерные программы, которые в основном используются поисковыми системами для индексации веб-сайтов.

СКАНИРОВАНИЕ СТРАНИЦЫ

Установите соответствующий тег Meta Robots, в противном случае поисковые роботы не найдёт возможность индексировать вашу страницу. А без разрешённого сканирования или индексации ранжирование невозможно. По этой причине вы должны внимательно взглянуть на robots. txt, а также теги мета-роботов. Лучший способ сделать это – использовать Google Search Console.

Карта сайта

Кроме того, все важные и индексируемые URL-адреса должны присутствовать в карте сайта вашего сайта. Что такое карта сайта? Сам Google предоставляет информацию:

«Карта сайта – это файл, в котором вы предоставляете информацию о страницах, видео и других файлах на вашем сайте, а также о связях между этими файлами. Поисковые системы, такие как Google, читают этот файл, чтобы сканировать ваш сайт более точно».

Проще говоря, это означает:

В этом файле вы создаёте всю информацию, которая сообщает Google, где найти все и когда URL-адреса были в последний раз обновлены.

Индексирование сайта

Но как узнать, что все было проиндексировано Google?

Просто введя соответствующий URL-адрес в поиске Google. Он есть? Отлично.

Ещё точнее:

Вы вводите консоль поиска Google для своего объекта (домена) и копируете нужный URL-адрес в поле проверки URL. Теперь, если появляется флажок с сообщением «URL находится в Google», URL-адрес находится в индексе Google.

В дополнение к охвату индекса вы получите подробную информацию о мобильном юзабилити и структурированных данных.

URL-адрес не индексируется?

Затем вы должны перейти к устранению неполадок. Вполне вероятно, что присутствует одна из распространённых следующих проблем:

– noindex: роботу Googlebot было дано указание не индексировать страницу или URL.

– Запретить: в. txt роботов URL-адрес или каталог были исключены.

– Структура вашей страницы: если страница похоронена слишком глубоко в структуре, а ваш сайт имеет слишком малый бюджет сканирования, робот Googlebot может не достичь более глубоких уровней.

В этом случае вам лучше связать URL-адрес внутренне со страницами первого или второго уровня.

– Цепочки перенаправления: робот Googlebot следует только за цепочками пересылки до пяти переходов.

Руководство по специальным возможностям веб-контента (WCAG)

WCAG – Web Content Accessibility Guidelines.