:: Главная :: Новости :: Ссылки :: Видео :: Карта сайта ::
На стартовую DREVAL.COM
Файловый архив Файловый архив
 
Добро пожаловать в
Виртуальный мир JOOMLA !


Навигация
Выбери шаблон Joomla
Авторизация





Забыли пароль?
Главное меню
Главная
Что такое Joomla?
Новости
Статьи
Блог всех разделов
Файловый архив
Демонстрация шаблонов Joomla
Ленты новостей
Полезное в сети
Поиск
Онлайн сервисы
Карта сайта
Календарь статей
«July 2016 
MoTuWeThFrSaSu
    123
45678910
11121314151617
18192021222324
25262728293031
Популярное
Последнее
Кто на сайте?
Сейчас на сайте:
Гостей - 1
Скорость вашего интернета
Нажмите на часики и определите скорость интернет соединения вашего компьютера:
 
Главная arrow Блог всех разделов arrow В корневом каталоге robots.txt
 
В корневом каталоге robots.txt Версия для печати Отправить на e-mail
Написал Administrator   
ImageФайл robots.txt в корневом каталоге сайта задает правила индексации. Можно запретить, например, некоторые разделы, если вы не желаете, чтобы они появились в поисковых системах.

Возможны два вида ограничений:

1) Файл robots.txt в корневом каталоге сервера позволяет удалить из индекса сервер целиком, отдельные директории сервера и, непосредственно перечисленные отдельные файлы.

Семантика директив в файле robots.txt:

User-agent: *
Disallow: /                                                    # Удаляет из индексирования весь сервер целиком

или

User-agent: *
Disallow: /cgi-bin/                                      # Удаляет из индексирования директорию
Disallow: /info/myinfo.html                      # Удаляет из индексирования файл

 

Строка User-agent: указывает, что последующие директивы Disallow: относятся к указанному роботу. Символ * означает, что директивы предназначаются всем роботам. Если робот специфицирован непосредственно, то он рассматривает только предназначающиеся ему директивы, и не учитывает директивы, перечисленные в разделе User-agent: *.

Для указания директив непосредственно например для поисковика Webalta Crawler, необходимо задать имя робота Webalta:

User-agent: Webalta

Файл robots.txt может содержать несколько наборов директив, например, для всех роботов (*) и для некоторох роботов непосредственно, предваряемые соответствующими строками User-agent: *, User-agent:Webalta, User-agent: Googlebot, и т.д.

Количество последующих директив Disallow: не ограничено, и каждая последующая должна размещаться в новой строке.
Каждая директива должна содержать только один путь или имя файла.
Перечисления, например, "Disallow: /cgi-bin/ /mydir/" или "Disallow: /cgi-bin/;/mydir/" не поддерживаются.

Символ # указывает на начало комментария, и часть строки после этого символа роботом не рассматривается.

2) Мета-Теги, внутри HTML страницы позволяют ограничивать индексирование данной страницы сайта.

Мета-Тег добавляется в раздел страницы, и также как и в случае с файлом robots.txt, ограничение может относиться либо ко всем роботам, либо непосредственно к указанному.

Теги:

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

или

<META NAME="WEBALTA" CONTENT="NOINDEX, NOFOLLOW">

запрещают индексировать страницу всем роботам, или только Webalta Crawler, соответственно.

Теги:

<META NAME="ROBOTS" CONTENT="NOFOLLOW">

или

<META NAME="WEBALTA" CONTENT="NOFOLLOW">

Разрешают индексировать страницу, но запрещают переходить по внешним ссылкам всем роботам, или только Webalta Crawler, соответственно.

Теги:

<META NAME="ROBOTS" CONTENT="NOINDEX">

или

<META NAME="WEBALTA" CONTENT="NOINDEX">

запрещают индексировать страницу, но позволяют переходить по внешним ссылкам всем роботам, или только Webalta Crawler, соответственно.

Также, возможно одновременное размещения нескольких Мета-Тегов, ограничивающих индексирование, как для всех роботов, так и для непосредственно указанных. В этом случае, непосредственно указанный робот Webalta Crawler принимает ограничения, как сумму из указанных ему и указанных для всех роботов.

 


В избранное (15) | Ссылка на статью | Просмотров: 33050 | Версия для печати | Отправить на e-mail

Добавить комментарий
RSS комментарии

Только зарегистрированные пользователи могут оставлять комментарии.
Авторизуйтесь или зарегистрируйтесь.

 
< Пред.   След. >
 
Статистика


Избранное
Новые файлы
Файл CMS "Joomla 1.0.15 Lavra Edition 2008" - патч обновления
Файл CMS Joomla 1015 Lavra Edition 2008
Файл Шаблон funkymonkey
Файл Шаблон fv_newsportal
Файл Шаблон fv_business_green
Популярные Файлы
Название. (скачиваний)
Портал Вокруг Света



 

Вверх
Вверх