robots.txt - файл ограничений доступа к содержимому для поисковых роботов. Используется для управлениям индексированием сайта поисковыми машинами.
Файл находится по адресу ваш_форум/robots.txt. Например, robots форума поддержки находится по адресу http://support.ipb.su/robots.txt.

Отредактировать его можно в АдминЦентр -> Системные настройки -> Поисковая оптимизация

Основные директивы:
User-agent - определяет, для каких поисковых роботов заданы нижестоящие директивы.
Например: User-agent: YandexBot - для яндекса, User-agent: * - для всех роботов. Причём, если указана запись User-agent: Yandex, то робот яндекса не учитывает директивы для User-agent: *
Disallow: - запрет на индексацию конкретного файла, папки, либо всего сайта в целом.
Allow: - наоборот, разрешение на индексацию. По умолчанию индексация разрешена.
Host: - указывает поисковой системе адрес главного зеркала. Например, если к Вашему форуму прикреплён домен и Вы хотите, чтобы индексировался именно он, необходимо указать Host: домен (без www)
Sitemap: - указывает поисковым роботам адрес заранее сгенерированной sitemap ("карты сайта")

Примеры использования:
User-agent: *
Disallow: /
Запрет на индексацию всего форума для всех роботов.

User-agent: googlebot
Disallow: /
Запрет на индексацию всего форума только для гугла.

User-agent: *
Disallow: journal.php
Запрет на индексацию файла journal.php для всех роботов. Так как модуль "Журналы" работает через этот файл, то они не будут проиндексированы.

User-agent: *
Disallow: /lofiversion/index.php
Запрет на индексацию текстовой версии форума для всех роботов. Это бывает полезно, так как поисковики "не любят" дублирование контента.

User-agent: YandexBot
Disallow: /lofiversion/index.php
User-agent: *
Disallow:
Запрет на индексацию текстовой версии форума толко для яндекса. Так как для User-agent: * после Disallow: ничего не указано, запрет на индексацию отсутствует.

User-agent: *
Disallow:
Host: domain.ru
Указывает поисковым роботам, что основная зеркало сайта - domain.ru (взят для примера) и другие зеркала нужно "склеить" с этим. Индексироваться форум будет по домену domain.ru (естественно, необходимо, чтобы этот домен был прикреплён к форуму).

Готовый вариант файла robots.txt для форумов с запретом на индексацию текстовой версии:
User-agent: *
Disallow: /lofiversion*
Disallow:
Host: адрес_форума


Тема на форуме поддержки, посвящённая robots.txt: здесь


Создать форум | Пример форума | Лучшие форумы