Тут на днях бот MSN походил по сайту cpantesters.org, да так активно, что администраторы его забанили, о чем сообщили в посте под заголовком «MSNBOT must die!».
(Про это написали и на linux.org.ru, причем аж дважды, хотя в комментариях никакого интересного срача.)
В сообщении на blogs.perl.org говорится, что каждые несколько секунд поступали запросы с 20-30 IP-адресов MSN (Microsoft in their incompetent wisdom decided to unleash 20-30 bots every few seconds). Собственно, эта фраза ничего не разъясняет о том, как же часто на самом деле были запросы. 30 пользователй за несколько секунд — это же нормально. Я погрепал логи своих сайтов, и увидел, что клиент со строкой USER_AGENT msnbot-media/1.1 (+http://search.msn.com/msnbot.htm) действительно ходит часто и со многих IP, но не чаще чем раз в секунду (обычно еще реже). Максимум, что удалось увидеть — два запроса за секунду, причем один из них — к файлу robots.txt.
Cpantesters приняли совершенно неразумное решение и заблокировали диапазон IP-адресов /^65\.55\.(106|107|207)/, записанный за Microsoft Corp, и, соответственно, бот MSN (читай: Bing) не сможет индексировать cpantesters.org. Впрочем, bing.com на запрос cpan testers пока еще дает релевантный ответ.
С одной стороны, Perl-сообщество открывает конкурс Iron Man, чтобы популяризировать Perl именно через индексирование записей в поисковых системах, а с другой, — закрывает один из них.
Предлагаю внести во все конфигурационные файлы еще и такие строки:
RewriteCond %{HTTP_REFERER} php [NC]
RewriteRule .* /404 [R,L]
Я что "Iron Man" - все еще конкурс? А когда он завершается? Я думал, что это просто призыв популизировать Perl.
Чесговоря, проще перечитать правлила или пересмотреть видео :-) Было еще что-то про того, кто полгода продержится в нужном темпе и обгонит Мэтта. Ничем не закончилось, ага.