Main > CMS | SEO | Wordpress > WordPress, robots.txt и левые ссылки в выдаче

WordPress, robots.txt и левые ссылки в выдаче

16.03.2012 0 comments » Views: 2,230

Wordpress

Сегодня решил посмотреть все ли страницы этого блога индексируются. И заметил что в индексе гугла,  было кроме нужных страниц еще куча страничек с именем: session error.. Что же это за зверь подумал я..

Выдача гугла

Разумеется, я увидел, что эти странички генерирует плагин wp-notcaptcha ( о проблемах с которым я кстати недавно писал: WordPress: admin-ajax.php сильно грузит сервер ). Пошел по указанной гуглом ссылке, там оказались картинки, которые генерирует этот плагин. Разумеется, юзерам, эта выдача будет абсолютно не нужна в серпе.

Серп - результаты поиска (от англ. SERP — Search Engine Results Page)

Тогда я решил заблокировать, их через robots.txt, а заодно и всякие другие адреса, по которым поисковикам ходить не нужно. В итоге у меня получился вот такой файлик:

Как Вы видите, первой строчкой идет поисковик YandexBlog, этот поисковик собирает только фиды, именно поэтому я ему разрешил все, чтобы не писать кучу правил. Так просто короче.

Ну, а всем остальным, запретил то, что им не важно. У меня есть сомнения по поводу страниц категорий, архивов и тэгов, поэтому я пока их закомментировал. Так сказать, подготовил на будущее, если это будет необходимо. Вот собственно и всё.

Дальше я этот текст, скопировал в файлик: https://it-rem.phpdev.one/robots.txt и все что мне осталось, это сделать проверку его корректной обработки. Для этого я воспользовался чекером от Янедкса: Я.Вебмастер - Анализ robots.txt (http://webmaster.yandex.ua/robots.xml#results)

Там все просто, указываете адрес файла, нажимаете [Загрузить], добавляете url страниц которые хотите проверить, и нажимаете кнопку [Проверить]. Результатом работы будет сообщение о том какие страницы открыты для индексации, а какие закрыты.

Анализатор robots.txt от Яндекс

Author: | Rating: 4/5 | Tags: , ,

Leave a Reply

Your email address will not be published. Required fields are marked *

Allowed HTML-tags: <a>, <code>, <i>, <em>, <strong>, <b>, <u>, <strike>