пятница, 2 января 2009 г.

Как написать файл robots txt для Яндекса

- Эх, дружок! Молод ты Не ты выбираешь присягу, а присяга выбирает тебя!.. Прапорщик, запишите эти простые, но, в то же время, великие слова.

А можно ли без насилия над собой разлюбить ближнего?..

Искусство усиливать наслаждение заключается в умении быть скупым на него.

Файл robots.txt управляет индексацией сайта поисковыми системами.

То есть при входе на сайт манипулятор по сути любой поисковой системы сперва пытается искать файл robots.txt для того, чтобы узнать какие файлы или директории запрещены к индексации, а какие разрешены. Кроме того, роботы получают и кое-кто сведения: наличность и местонахождение карты сайта в формате xml, наличие главного зеркала сайта.

Составляем robots.txt для Яндекса.

User-agent Яндекса так и называется Yandex, чего первая строка файла robots.txt будет наглядеть так:

User-agent: Yandex

Позднее определяем какие файлы или директории разрешить индексировать Яндексу, а какие необходимо запретить.

Применяем директивы Disallow и Allow.

Disallow - запрещает индексацию
Allow - разрешает индексацию

Как например:

- разрешает индексировать всё

User-agent: Yandex
Disallow:

- запрещает индексировать всё

User-agent: Yandex
Disallow: /

- запрещает индексировать директорию админки (admin) и страницы новостей (news.php)

User-agent: Yandex
Disallow: /admin/
Disallow: /news

Определяем главное зеркало сайта, используя директиву Host.

В ней указывает лишь только имя хоста без http://, а да слеша. Не используют IP в Host.

Например:

Host: www.seoadvice.ru

Полный пример файла robots.txt для Яндекса

User-agent: Yandex
Disallow: /admin/
Disallow: /news
Host: www.seoadvice.ru

Сильнее полные сведения по применению файла robots.txt для Яндекса можно прочесть между строк на страницах помощи Яндекса (читаем).

Рекомендации:

1. При использовании рекомендаций для Яндекса лучше создавать отдельную секцию в файле robots.txt, которая идёт впереди общей секции (User-agent: *).

2. Между секциями необходимо реальность обязательной бренный строки.

Например:

User-agent: Yandex
Disallow: /admin/
Disallow: /news
Host: www.seoadvice.ru

User-agent: *
Disallow:




Контакты

Эйфелева башня

Система мотивации продавцов

В пролете

Комментариев нет: