Robots.txt под Fapos CMS

ну впринципе ты прав.

Сашка_из_Шебекино, вообщето я не видел чтобы роботы отправляли какие либо формы самостоятельно. Впервые о таком слышу.

Drunya, на юкозе это было. Для поиска ведь нет никакой каптчи, вот и пишут туда что хотят

К стати, если вернуться к теме разговора, то надо запретить в robots.txt ссылки на загрузки файлов

Disallow: /forum/download_file/
Disallow: /loads/download_file/

Вот это действительно то, что поисковику не надо.

Добавлено2011.07.12 16-58

Вот пример, который мне кажется самым нормальным

Добавлено2011.07.12 16-59

ну и плюс search можно закрыть.

По поводу поиска. Главное, чтобы страницы с результатами поиска не попадали в индекс. А как сам бот яндекса шуршит по сайту роли не играет.

Почему?

Что т время прошло,но все равно отпишусь.
Думаю модули чат и пользователи будут тоже бессмыслены,в итоге у нас получается:
Директива Host тут тоже не к чему,т.к. зеркал нет,а собираем обычный robots,кому надо тот поставит.

LIFE-STALKER, согласен со всем кроме users. Почему бы и не открыть этот модуль для ПС? Там тоже инфа которая может пригодиться. Например вдруг кто то будет искать по нику кого то, вот тут то это и понадобится))

так что впитывать то

BAH0 для кого как.
Drunya считает вот этот robots.txt нормальным

Drunya З.Ы. ещё одна причина почему стоит включить в robots /users/ так это то что ссылки с профилей будут индексироваться.