avatar

Robots.txt и Sitemap – Ускоряем индексацию сайта
Опубликовано в Интернет бизнес

Robots.txt и Sitemap – Ускоряем индексацию сайта
Всем привет, давно не писал в блоге, времени совсем не хватает на все.Но не об этом.

Я думаю многие слышали про файл robots.txt – если не слышали, этот файл создается для поисковых роботов, в нем вы можете указать роботу какие страницы индексировать можно какие нельзя.Да и этот файл значительно ускорит вашу индексацию сайта.

Создание robots.txt

Создаем текстовый документ, под именем robots.txt и туда записываем(Если у вас WordPress вот вам мой robots.txt, который создан по всем правилам):

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: alians-dv.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap:http://alians-dv.ru/sitemap.xml

Подойдет для пользователей cms wordpress, если у вас другая тут сами думайте что вам изменить, ниже описано как и что значит это все.

Объясню все по порядку.Для начала строка Disallow: */ – указывает запрет индексации страницы, т.е

Disallow: /wp-admin
Запрещает нам индексировать директорию wp-admin

Строка Host: www.sitе.ru – указывает что, ваш сайт находиться и по адресу www.sitе.ru,при этом робот поисковика понимает что это зеркало вашего сайта, тем самым вы можете склеить Тиц.

Строка Sitemap -указывает на ваш sitemap, о нем поговорим чуть позже.Ну вот собственно наш robots.txt.Загружаем данный файлик на ваш сайт, в главный каталог, что бы он был доступен по адресу:

sitе.ru/robots.txt

Теперь о sitemap’e
Sitemap – от слова «site» и «map» – что значит карта сайта.Еще не маловажный момент для ускорения индексации это как раз таки создания карты сайта.

Для WordPress, собственно есть плагин «Sitemap-Generator» скачать.Скачиваете устанавливаете себе на wordpress.

И еще один плагин «DDSitemapGen» скачать – так же для создания карты сайта.

А так же карту сайта можно создать тут:

www.htmlwеb.ru/analiz/sitemap.php

Нужно выбрать карту сайта в формате xml.После создания скачиваете созданную карту сайта и загружаете ее себе на сайт.Ваша карта должна быть по адресу

sitе.ru/sitemap.xml

Эти две вещи делать обязательно для каждого сайта.Полную версию о robots.txt вы можете почитать в Яндекс Вебмастере

На этом статейка заканчивается!

0 комментариев

Чтобы оставить комментарий