Около 3,5% сайтов зоны .gov запрещают всем поисковым роботам индексировать свои страницы. Это удалось выяснить членам некоммерческой организации CommonCrawl Foundation, разработавшим специальный бот ccBot. Как сообщает один из руководителей этой организации и известный защитник информации, являющейся общественным достоянием, Карл Маламуд (Carl Malamud), Из 32 000 поддоменов зоны .gov по крайней мере 1188 содержат robots.txt с инструкцией, запрещающей любым "паукам" индексировать страницы расположенных на этих доменах сайтов. По мнению Маламуда, robots.txt должен использоваться на государственных сайтах только в целях безопасности и открытости, а не потому, что какой-то там вебмастер своевольно решил, что их не нужно индексировать. Маламуд также отметил, что в некоторых случаях их ccBot намеренно игнорировал такие инструкции, "поскольку нам показалось, что это было своевольной и незаконной попыткой не допустить общественность". "Ещё более любопытно, — отмечает Маламуд, — что на 175 из этих сайтов, несмотря на глобальный запрет, имеется специальная обходная инструкция для Googlebot, позволяющая ему индексировать данные". Маламуд не видит большого смысла в том, чтобы допускать к информации только некоторых роботов-пауков, а остальных "не пущать". Отметим, впрочем, что некоторые поисковые боты отличаются гиперактивностью, которая может оказать на сайт существенную нагрузку. Не говоря уже о том, что отдельным роботам вообще никакой robots.txt не указ. Что до российских государственных сайтов, то здесь царит практически повсеместная гласность и открытость. Файлом robots.txt здесь вообще не пользуются, за редкими исключениями — например, на сайтах Министерства иностранных дел и Генеральной прокуратуры. Но и здесь блокировку нельзя назвать тотальной. Так, на сайте МИД всем поисковикам запрещается индексировать лишь определённые разделы, а в опале по какой-то причине находится только китайский YodaoBot. С другой стороны, российские госсайты используют более надежные способы сокрытия информации - например, они просто не публикуют ее. Кроме того, в этом году получил известность такой трюк пессимизации, как замена некоторых русских букв на латинские - благодаря этому некоторые госзаказы оказались невидимы для поисковиков.
Подробнее