Яndex индексирует страницы по их истинным адресам. Это значит, что,
если на странице стоит redirect, робот воспримет его как ссылку на новый
адрес и внесет ее в очередь на индексирование (если она удовлетворяет
описанным выше правилам). То же самое произойдет, если в одном из фреймов
будет стоять ссылка на другой сервер. В частности, если эта ссылка
находится вне доменов, разрешенных по умолчанию, страница НЕ будет
проиндексирована. Робот Яndex хранит дату последнего обхода каждой
страницы, дату ее изменения (присланную Web-сервером) и дату внесения
последних изменений в базу поиска (дату индексации). Он оптимизирует обход
Сети таким образом, чтобы чаще посещать наиболее изменяемые
сервера.
Яndex индексирует документ полностью: текст, заголовок,
подписи к картинкам, описание (description), ключевые слова и некоторую
другую информацию.
Как запретить индексацию определенных страниц?
Разрешения и
запрещения на индексацию берутся всеми поисковыми системами из файла
robots.txt. Запрет на индексацию ряда страниц может появиться,
например, из соображений секретности или из желания не индексировать
одинаковые документы в разных кодировках. Чем меньше Ваш сервер, тем
быстрее робот его обойдет. Поэтому запретите в файле robots.txt все
документы, которые не имеет смысла индексировать (например, файлы
статистики или списки файлов в директориях). Обратите особое внимание на
CGI или ISAPI скрипты - наш робот индексирует их наравне с другими
документами.
В простейшем виде (разрешено все, кроме директории
скриптов) файл robots.txt выглядит следующим
образом:
User-Agent: *
Disallow:
/cgi-bin/
Детальное описание спецификации файла можно
прочитать на странице: "Стандарт исключений для роботов".
Как выяснить, что Yandex проиндексировал на моем
сервере?
Если в Расширенном поиске, в
разделе "Сайт/вершина", в поле "Искать только на данном сайте" Вы
укажете свой URL и нажмете кнопку "Найти", то в результате поиска Вы
увидите все страницы Вашего сервера, проиндексированные Яndex'ом.
Источник: http://www.yandex.ru/ |
