Вы получили неверные данные по Интимсити. Вы, видимо, не учли, что анкеты перемешиваются для каждого посетителя индивидуально, при этом ключем для перемешивания служит IP посетителя.

Попробуйте сделать следующее: не обходите основной рейтинг (48-50 страниц, начиная с главной страницы сайта) по несколько раз, меняя IP в каждом проходе, а обойдите его один раз, но с постоянным IP.

Дело в том, что сайт последние 2-3 года подвергается регулярным ddos-атакам и мы вынуждены были установить на сервере защиту от пользователей (роботов), запрашивающих с сервера нереально большое число страниц (тысячи) или делающих это с чрезмерно высокой скоростью (несколько страниц в секунду). Для того, чтобы защита не заблокировала Вашего робота, делайте паузу между запросами, например, 3-10 секунд. На одни проходит таким образом уйдет около 150-500 секунд.