Для эффективной работы поисковых роботов желательно :
Наличие правильно оформленного файла robots.txtкоторый регулирует индексацию страниц, путь к карте сайта и др.
Наличие правильно оформленного файла sitemap.xml.
robots.txt
sitemap.xml
указывает поисковым роботам какие страницы нужно индексировать, а какие нет. Например страницы, относящиеся к администрированию сайта не нужно выносить в базы данных поисковых систем.
Он может выглядеть так:
User-agent: *Disallow: здесь указан путь к папке которую нельзя индексироватьAllow: здесь указан путь к папке которую можно индексироватьHost: здесь указан URL вашего сайтаSitemap: здесь указан URL вашей карты сайта
карта сайта содержит информацию о том, как организован контент на сайте (например, веб-страницы, видео и прочие ресурсы). Она помогает поисковым системам более точно индексировать ваши материалы. К примеру, в файле Sitemap можно указать, какие разделы сайта наиболее важны, и сообщить нам дополнительную информацию о них (когда страница последний раз обновлялась, существуют ли ее версии на других языках и т. д.).
Сгенерировать XML фaйл Sitemap можно
с помощью вспомогательных программ;
если сайт содержит не много страниц, его можно создать вручную.
Yoast SEO – плагин для CMS WordPress, помогающий продвигать веб-сайт в топ поисковых систем без подключения специалиста.
Проверить и включить рекомендованные ниже флаги.
Yoast SEO/Инструменты (Tools)/ File editor
При переходе по ссылке File editor будет показано текстовое поле для ввода и изменения файла robots.txt
Исправить его на рекомендованный в этом разделе.
Замечание.
Файл .htaccess желательно не изменять, так как некорректные изменения могут привести к повреждению сайта.
Yoast SEO/Настройки/Функции сайта (Site features)
Включить:
SEO -анализ (SEO analysis)
Анализ удобочитаемости (Readability analysis)
Счетчик текстовых ссылок(Text link counter)
XML-карты сайта (XML sitemaps)
Yoast SEO/Настройки/Функции сайта (Site basics)
Указать:
Название сайта
Альтернативное название сайта
Изображение сайта (используется в качестве запасного варианта для записей/страниц, на которых не установлены никакие изображения)
Оптимизация страниц сайта
После создания сайта необходимо пересмотреть использование ключевых слов в статьях.
Например в статье по переносу сайта в интернет или на другой хостинг в заголовке первоначально применялось «Перенос сайта в Интернет». Ресурс wordstat.yandex.ru показал, что такой текст в запросах встречался 19 раз, а
«КАК ПЕРЕНЕСТИ САЙТ» 6 461 раз за последний месяц.