Robots.txt под Fapos CMS

Drunya

Man of God
Админ
3527
Репутация:110
Предупреждения: 0
Регистрация:
30 Ноя -0001

Отправлено: 22 Сен 2011#21

это всегда можно поправить. закрыть в нофолоу например

Добавлено2011.09.22 11-52

Вот последний вариант

Code:

User-agent: *
Disallow: /sys/cache/
Disallow: /sys/tmp/
Disallow: /sys/logs/
Disallow: /sys/fnc/
Disallow: /sys/inc/
Disallow: /sys/plugins/
Disallow: /sys/settings/
Disallow: /admin/
Disallow: /loads/download_file/
Disallow: /forum/download_file/
Disallow: /chat/
Disallow: /search/
Disallow: /template/
Host: fapos.net

User-agent: Yandex
Disallow: /sys/cache/
Disallow: /sys/tmp/
Disallow: /sys/logs/
Disallow: /sys/fnc/
Disallow: /sys/inc/
Disallow: /sys/plugins/
Disallow: /sys/settings/
Disallow: /admin/
Disallow: /loads/download_file/
Disallow: /forum/download_file/
Disallow: /chat/
Disallow: /search/
Disallow: /template/

Директиву HOST естественно делаем свою.

Я горжусь тем, что создал бесплатную CMS - AtomX. И люблю нашу команду)

Вернуться к началу Профиль site Цитировать

Ater

Атом-мозг
Юзер
750
Репутация:15
Предупреждения: 0
Регистрация:
17 Авг 2010

Отправлено: 22 Сен 2011#22

не забываем указывать карту сайта параметром:

Code:

Sitemap: http://fapos.ru/sitemap.xml

естественно указываем ссылку на свой сайт

да и надо вынести папку files из папки sys и тогда поменьше будет написано

Отредактировано автором 22 Сен 2011

Все мое имхо...
------
Не флуди и не да зафлудим будешь!

Вернуться к началу Профиль site Цитировать

Drunya

Man of God
Админ
3527
Репутация:110
Предупреждения: 0
Регистрация:
30 Ноя -0001

Отправлено: 23 Сен 2011#23

Ater пишет:

да и надо вынести папку files из папки sys и тогда поменьше будет написано [smile]

а тебе что жалко строчек? )) Это все равно людьми не грузится

Отредактировано автором 23 Сен 2011

Я горжусь тем, что создал бесплатную CMS - AtomX. И люблю нашу команду)

Вернуться к началу Профиль site Цитировать

LIFE-STALKER

Истенный Атомовод
Юзер
363
Репутация:6
Предупреждения: 0
Регистрация:
25 Июн 2011

Отправлено: 25 Ноя 2011#24

Что то странное!
Вот мой robots.txt

Code:

User-agent: *
Disallow: /sys/cache/
Disallow: /sys/tmp/
Disallow: /sys/logs/
Disallow: /sys/fnc/
Disallow: /sys/inc/
Disallow: /sys/plugins/
Disallow: /sys/settings/
Disallow: /admin/
Disallow: /loads/download_file/
Disallow: /forum/download_file/
Disallow: /chat/
Disallow: /search/
Disallow: /template/
Disallow: /users/
Disallow: /redirect/
Disallow: /foto/
Host: site.ru

Sitemap: http://site.ru/sitemap.xml

А в панели гугла у некоторых страниц из каталога статей высвечивается что страница запрещена к индексированию в файле robots.txt

Добавлено2011.11.25 21-26

+ можно запретить к индексированию вот эту директиву /forum/user_posts/ и /error.php

Отредактировано автором 25 Ноя 2011

CMS Fapos

Вернуться к началу Профиль site Цитировать