Разумеется, следует поступать очень осторожно и не действовать по принципу "все что не разрешено - запрещено", как это продемонстрировано в листинге 3.32. Не стоит сразу же запрещать посещение страницы роботам, кото-РЫе кажутся подозрительными. Поисковые роботы всегда работают во благо ресурса, позволяя посетителям быстро находить ваш ресурс. Гораздо интереснее учитывать число посещений роботами страницы, например, для того Чтобы выяснить, какие страницы были проиндексированы поисковыми системами.

Если необходимо, чтобы поисковые роботы не индексировали часть страниц вашего ресурса (внутренние форумы, страницы администрирования, служебную информацию), не следует прибегать к вышеописанному способу, для этого нужно разместить в заголовках HTTP-документа строку <МЕТА NAME="robots" CONTENT="noindex">.

Описываемый в данной главе способ борьбы с нежелательной закачкой содержимого сайта при помощи менеджеров не является универсальным. Так как строку $_SERVER[ 'HTTP_USER_AGENT' ] формирует клиентская сторона, а тем более менеджер, цель которого - во что бы та ни стало скачать страницу, она часто подделывается или просто остается пустой. Так строка "Mozilla/4.04 [en] (Win95; I; Nav)", якобы относящаяся к посетителю сгоперационной системой Windows 95, является на самом деле некогда распространенным менеджером NetVampire. Тем не менее предложенный способ позволит оградить ваш сайт от неискушенных пользователей.

Не следует использовать именно эти строки для запрета. Сначала нужно выяснить, есть ли вообще проблема, связанная с использованием менеджеров, и какими именно менеджерами злоупотребляют посетители. Для этого необходимо собрать статистику, создав ловушку в начале каждого файла, фиксирующую переменную $_SERVER['HTTP_USER_AGENTo] каждого из посетителей с сохранением ее в файле или базе данных.