Первоочередные меры
Наш сайт вот-вот увидел свет и его еще не проиндексировала ни одна поисковая система, т.е. попросту мы не можем найти его в поисковике, вводя фразу вида site:мойсайт.ру*.
Чтобы наш сайт предстал в лучшем виде перед Яндексом и Google нужно поэтапно выполнять следующие шаги:
Шаг 1. Регистрируем сайт в сервисе Яндекс.Вебмастер - webmaster.yandex.ru. Сервис поможет узнать много полезной информации в дальнейшем.
Шаг 2. Создаем карту нашего сайта в табличном формате с помощью бесплатной программы XENU (программа достаточно проста в работе, поэтому Вы с легкостью сможете экспортировать все данные, полученные XENU, в текстовый файл, а далее открыть их с помощью Open Office):
- ищем все 404 ошибки на сайте (если они есть - исправляем, если нет - идем дальше);
- извлекаем полный список url-ов html-страниц в текстовый документ;
- убеждаемся в том, что страницы сайта (картинки, скрипты и другие файлы) отдают 200-тый ответ (строка отображена зеленым цветом и имеет статус "ОК");
- проверяем отсутствие дублей (страниц сайта, которые имеют разные адреса, но одинаковое содержание). Проверка дублей ведется по следующим полям: название страницы, содержание поля description и конечно по содержанию видимой части страницы;
- убираем ненужные внешние ссылки (большинство ссылок, ведущих на другие интернет-ресурсы с Вашего сайта лучше удалить либо поставить им атрибут rel="nofollow").
Шаг 3. Убеждаемся в существовании "приятной" страницы ошибки (404) и что она действительно отдает 404 ответ сервера, помочь узнать ответ сервера сможет Яндекс.Вебмастер: webmaster.yandex.ru/server-response.xml.
А вот так выглядят 404 страница одного из наших клиентов:
А какая она у Вас?
Шаг 4. Проверяем валидность html-кода на ошибки (нужно убедится что "внутренности" вашего сайта не похожи на Хиросиму 45 года). Проверить можно с помощью HTML валидатора для Firefox, например:
Чем меньше ошибок - тем лучше.
Шаг 5.
Желательно, чтобы на каждой странице сайта в тексте были:
- уникальные картинки (фотографируйте все сами, не используйте фото из поиска);
- списки с маркерами или нумерованные списки;
- таблицы со структурированным содержанием;
- видео материалы (можно завести свой канал на YouTube и вставлять видео с него).
Опыт подсказывает, что сайты имеющие более 100 страниц двигаются успешнее, чем сайты с меньшим количеством страниц.
Шаг 6. Проверяем орфографию - webmaster.yandex.ru/spellcheck.xml, Яндекс очень не любит, когда на сайте есть орфографические ошибки.
Шаг 7. Проверяем уникальность содержимого наших страниц, обычно мы делаем это с помощью программы Etxt (уровень - "Глубокий анализ"). При наличии показателя уникальности менее 80% - не уникальные части страниц переписываются.
Шаг 8. Создаем карту сайта в формате *.xml (обычно карта создается средствами CMS (т.е. автоматически), но если такой возможности нет, то пользуемся: xml-sitemaps.com) и заливаем карту в корень нашего сайта.
Шаг 9. Не забываем про карту в формате *.html (тем самым помогая поисковому роботу проиндексировать все страницы на нашем сайте) - обычно ссылку на карту сайта (в формате *.html) мы располагаем на главной странице.
Шаг 10. Закрываем все ненужные страницы/разделы сайта от индексации в файле robots.txt с помощью следующей записи (примеры записей):
Disallow: /admin #блокирует доступ к страницам, начинающихся с "admin"
Disallow: / #блокирует доступ ко всем сайту
Disallow: *?* #блокирует доступ к страницам, в адресе которых содержится знак вопроса
Чтобы проверить, что мы не закрыли ничего лишнего - берем полный список наших страниц (список URL-ов полученный из программы XENU) и вставляем его в Яндекс.Вебмастер в раздел "Анализ robots.txt"
Шаг 11. Для поисковых систем важно как выглядит адрес вашего сайта:
- так SEOLT.ru
- или так WWW.SEOLT.ru
Для них это два разных сайта, поэтому чтобы не возникло никакого недопонимания с роботами поисковиков - мы сделаем перенаправление с одного адреса на другой (если ваш сайт еще не проиндексирован, то неважно какой вариант Вы выберете).
Для того чтобы указать принудительно адрес вашего сайта (с www или без) - нужно в файле .htaccess (обычно находится в корне вашего сайта) указать следующую конструкцию: (перенаправление с адреса, содержащего "www" на адрес страницы без них):
Options +FollowSymLinks
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.seolt\.ru$ [NC]
RewriteRule ^(.*)$ http://seolt.ru/$1 [R=301,L]
Или если хотите, чтобы ваш сайт был виден с www - указываем следующую конструкцию:
Options +FollowSymLinks
RewriteEngine On
RewriteCond %{HTTP_HOST} ^seolt\.ru$ [NC]
RewriteRule ^(.*)$ http://www.seolt.ru/$1 [R=301,L]
Для этого в поиске Яндеса введите следующую строку:
url:вашсайт.ру*
url:www.вашсайт.ру*
Если по адресу с "www" Яндекс выдает страницы Вашего сайта, значит нужно использовать этот вариант -> с www и наоборот: если находит без www, то нужно использовать вариант "без www".
Есть частные случаи, когда Яндекс видит ваш сайт и так и так - тогда лучше выбрать тот вариант, где страниц проиндексировано больше. Если же Вы не можете ни по одному из предложенных запросов найти Ваш сайт, то значит он еще не проиндексирован - и Вы можете использовать любой вариант.
Проверка для Google - попробуйте ввести следующие строки:
site:seolt.ru
site:www.seolt.ru
Получив результаты, также принимайте решение, как Ваш сайт будут видеть поисковые системы (без www или с).
Естественно, что для Google и Яндекса нужно указывать одинаковое значение.
Итак, проверьте все еще раз и приступайте к следующей части.