Поисковая система — не человек, а машина, которая видит все сайты не так, как мы. Красивая графика на сайте, хорошо оформленный текст, интересное видео и т.п. — так представляется для нас сайт. А поисковикам необходимо это все распознать, отделить. После чего текстовая информация преобразуется в определенный словарь с упоминанием каждых слов. Ниже фрагмент html-кода, который ПС предстоит еще разобрать:
ПОЧЕМУ НЕ ВСЕ СТРАНИЦЫ САЙТА ПОПАДАЮТ В ИНДЕКС?
Поисковой робот берет только те страницы, которые ему нужны и отбирает их он по сложному алгоритму. На вашем сайте могут быть очень важные страницы для вашей целевой аудитории, которые робот посчитает не нужными для него.
Задача seo-оптимизатора исправить эту ситуацию, добавив все нужные страницы в индекс, убрав при этом лишние страницы из индекса, которые не имеют никакого значения. Я отдельно разбирал данный вопросом, подробнее можно ознакомиться в материале — почему не индексируется сайт?
КАК УБРАТЬ СТРАНИЦУ ИЗ ИНДЕКСА?
Для того, чтобы очистить индекс, нам необходимо пользоваться файлом robots.txt. Он позволяет управлять поведением поисковых роботов на сайте:
- установить запрет на индексацию сайта
- указать главный адрес сайта
- добавить карту сайта
Фрагмент из файла robots.txt (да, его можно использовать нестандартно!)
ЗАЧЕМ НУЖЕН SITEMAP.XML?
С помощью данного файла вы можете подсказать роботу, какие страницы добавить в базу для индексации при посещении вашего сайта. Sitemap.xml — представляет собой карту сайта, в которую должны быть включены все основные страницы сайта, которые должны присутствовать в индексе.
САЙТ НЕ ВИДЯТ ПОИСКОВЫЕ СИСТЕМЫ
Может возникнуть вопрос: почему сайт не виден в поисковых системах? Вы учли все основные моменты, добавили карту сайта и составили правильный файл robots.txt. На сайте полезная уникальная информация, а его нет в индексе? Я бы рекомендовал, проверить еще раз все перечисленное и просмотреть рекомендации при разработке сайта.
Если вы только что создали сайт, то необходимо время на его индексацию. Чтобы ускорить процесс, разместите несколько упоминаний вашего сайта в твиттере и других социальных сетях. (необходимо, чтобы ваши аккаунты были живые и не созданы только сегодня).
Кроме того, доменное имя сайта раньше могло использоваться на сайтах с плохим качеством. Проверьте историю домена, не находится ли в бане он, присутствует ли в вебархиве? Если да, то необходимо написать письмо в Яндекс о том, что Вы создали новый сайт и перечислить что обнаружили.
Почему сложно работать с клиентскими сайтами, а иногда невозможно? Дело в том, что те, кто разрабатывают сайт вообще не задумываются о том, что их потом придется продвигать. Такое встречается довольно часто:
— Добрый день, мы бы хотели заказать продвижение сайта.
— Добрый. Мы можем продвигать ваш сайт только внешними факторами, но это не очень эффективно. Необходимо доработать сайт.
— Как доработать? Мы вложили в него массу денег, он разрабатывался в течение года. Вы просто хотите с нас больше денег.
— Вы можете заказать доработку сайта в другой студии и прийти к нам на SEO-продвижение.
— Нет, я пойду к другим на продвижение. Они гарантируют высокие позиции через три недели. И наш сайт их устраивает!
— Хорошо. Удачи в продвижении. До скорой встречи.
Проходит месяц — «гарантированных» позиций нет. Пройдет три месяца — запросов нет. Клиент либо вернется к вам, либо начнет искать новую компанию, либо окончательно разочаруется в SEO.
Перед подрядчиками не стоит задача разработать сайт, пригодный для продвижения. Недостаточно просто сказать: «сайт необходимо будет продвигать, а что для этого необходимо внедрить — выберите сами».