По подсчетам специалистов компании Distil Networks, 59% посещений веб-сайтов в этом году приходится на долю ботов. В прошлом году посещения ботов составляли только 45%. Рост активности ботов в Distil связывают главным образом с работой поисковых систем. В частности, более агрессивную стратегию индексации стала применять Bing. В сети появляются и новые поисковые системы. 36% посещений приходится на долю «хороших ботов», как их называют в Distil — ботов, которые соблюдают правила, перечисленные администраторами сайтов в файлах "robots.txt" и приносят сайтам пользу. 23% составляют «плохие боты». Большая часть из них занимается сбором данных, в частности, информации о ценах конкурентов. Вторую категорию составляют боты, ищущие уязвимые места сайтов, а третью — боты, занимающиеся мошенничеством с рекламными ссылками, пытающиеся опубликовать на сайте спам или подобрать пароль для входа. Самой популярной платформой для создателей ботов является облачная система Amazon. 78% трафика, выходящего с облака Amazon, принадлежит ботам. Сама Amazon тоже создает множество ботов. Они генерируют 70% трафика с адресов Amazon.com. Доля трафика «плохих ботов», исходящая с мобильных устройств, выросла менее чем с 1% в 2013 году до 6%.
Источник