Информация
Вся самая полезная и важная информация собрана здесь
Важные ссылки
robots.txt
Информация о файле robots.txt
robots.txt - файл ограничений доступа к содержимому для поисковых роботов. Используется для управлениям индексированием сайта поисковыми машинами.
Файл находится по адресу ваш_форум/robots.txt. Например, robots форума поддержки находится по адресу
Отредактировать его можно в АдминЦентр -> Системные настройки -> Поисковая оптимизация
Основные директивы:
User-agent - определяет, для каких поисковых роботов заданы нижестоящие директивы.
Например: User-agent: YandexBot - для яндекса, User-agent: * - для всех роботов. Причём, если указана запись User-agent: Yandex, то робот яндекса не учитывает директивы для User-agent: *
Disallow: - запрет на индексацию конкретного файла, папки, либо всего сайта в целом.
Allow: - наоборот, разрешение на индексацию. По умолчанию индексация разрешена.
Host: - указывает поисковой системе адрес главного зеркала. Например, если к Вашему форуму прикреплён домен и Вы хотите, чтобы индексировался именно он, необходимо указать Host: домен (без www)
Sitemap: - указывает поисковым роботам адрес заранее сгенерированной sitemap ("карты сайта")
Примеры использования:
|
User-agent: * Disallow: / |
Запрет на индексацию всего форума для всех роботов.
|
User-agent: googlebot Disallow: / |
Запрет на индексацию всего форума только для гугла.
|
User-agent: * Disallow: journal.php |
Запрет на индексацию файла journal.php для всех роботов. Так как модуль "Журналы" работает через этот файл, то они не будут проиндексированы.
|
User-agent: * Disallow: /lofiversion/index.php |
Запрет на индексацию текстовой версии форума для всех роботов. Это бывает полезно, так как поисковики "не любят" дублирование контента.
|
User-agent: YandexBot Disallow: /lofiversion/index.php User-agent: * Disallow: |
Запрет на индексацию текстовой версии форума толко для яндекса. Так как для User-agent: * после Disallow: ничего не указано, запрет на индексацию отсутствует.
|
User-agent: * Disallow: Host: domain.ru |
Указывает поисковым роботам, что основная зеркало сайта - domain.ru (взят для примера) и другие зеркала нужно "склеить" с этим. Индексироваться форум будет по домену domain.ru (естественно, необходимо, чтобы этот домен был прикреплён к форуму).
Готовый вариант файла robots.txt для форумов с запретом на индексацию текстовой версии:
|
User-agent: * Disallow: /lofiversion* Disallow: Host: адрес_форума |
Тема на форуме поддержки, посвящённая robots.txt: