Продвижение порталов и интернет-магазинов

Если портал имеет нормальную структуру, в нем легко выявить кластеры, которые будут иметь URL типа site.ru/klasterl, site.ru/klaster2, site.ru/klasterl/podklasterl и т. п. Крайне желательно составить максимально полный список всех кластеров и подкластеров с масками URL – это позволит упростить изучение индексов.

Сравнение индексов

Изучая поисковые индексы «Яндекс» и Google с помощью операторов inurl: и site, мы можем найти разницу в количестве проиндексированных страниц по сайту в целом и по каждому кластеру в частности.

Это самая простая и эффективная проверка сайта на ошибки, дубликаты, мусор, проблемы индексации, и она позволит нам составить перечень проблем. Например, такой.

? Одна и та же страница расположена по разным URL (дублирование). Причины разнообразны – это и смена системы URL без установки кода ответа 301 (страница перемещена навсегда), и использование кода ответа 302 (страница перемещена временно) вместо 301, просто создание нескольких страниц с одинаковым контентом, неправильное использование тегирования, отсутствие закрывающих инструкций в robots.

txt и многое другое.

? В индексе отражены версии страниц для печати.

? Страница выглядит как сообщение об ошибке, но на уровне сервера отдает код ответа 200 (все в порядке).

? Страницы с практически идентичным контентом.

? Страницы с ошибкой базы данных (страница отдает код ответа 200, но весь контент на ней – ошибка базы данных (БД)).

? Дубли, связанные с индексацией страниц с www и без.

? Дубли, связанные с возможностью зайти на сайт по IP.

? Дубли, связанные с Session ID.

? Дубли, связанные с сортировкой элементов в каталогах.

? Дубли, связанные с пагинацией и календарем событий.

? Индексация страниц внутренней поисковой выдачи (тут следует отметить, что «Яндекс» не желает индексировать такие страницы, но грань между страницей внутренней поисковой выдачи и страницей каталога довольно зыбка).

? Страницы с поддоменов – зеркальных, тестовых и т. п.

Веселая история про тестовый поддомен.

Забавная история из практики связана с тестовыми поддоменами. Клиент звонит в ужасе и говорит: «Мы попали под фильтр». – «Почему?» – «У нас одна страница в выдаче». Смотрим – правда, одна страница в выдаче. Непонятно, как так получилось. Вчера было несколько тысяч страниц, сегодня одна. Оказалось, программист, перенося сайт с тестового домена на основной, поскольку на тестовом все продумано, перенес и robots.txt со строчкой «disallow/». Все.