You are Here:
Robots.txt для

Автор (Прочитано 1273 раз)

Robots.txt для
« : 08 °ТУгбв 2012, 15:41:01 »
 

MOZG

  • Гость
Работаю в основном с CMS Worpress, поэтому все компоненты отточены до мелочей.
Собственно хочу поделиться своим вариантом Robots.txt

User-agent: *
Disallow: /go.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Sitemap: sait.ru/...
Host: sait.ru

где Disallow: /go.php - компонент, который позволяет делать редирект ссылок. По умолчанию не присутствует в CMS
Sitemap - карта сайта. Важно размещать выше, чем Host, т.к. возможно ошибки чтения со стороны П.С. Gooogle
Host - указывает основное зеркало сайта.
 

Re: Robots.txt для
« Ответ #1 : 16 °ТУгбв 2012, 12:15:49 »
 

Stinger

  • Гость
Как вариант многие опытные SEOшники пишут два следующих друг за другом варианта списка, где в первом идёт для яндекса с директивой Host: sait.ru, а далее тоже самое но без Host для всех поисковиков.