Тестирование на принадлежность к русским сетям.

[ocehb]

rusnet-0.01.tar.gz

Что делает: закачивает с зенона данные по российским сетям, парсит их и локально складывает.
Затем можно использовать для тестирования на принадлежность адреса к россии.
Если чего кому надо -- могу добавить. Первый опыть чисто скриптового perl-модуля.

Необходимы: LWP, Prase::RecDescent, Net::Patricia. Скорострельность на текущей базе порядка 7 70 000 запросов в секунду.

ps. если кто знает деление по другим странам -- сообщите, приделаю :)

Comments

[ico.livejournal.com]

И что, зенона где-то гарантирует 100% попадание в российский сегмент отдельно взятой сети?

[ocehb]

а я разве гарантирую это?

[ico.livejournal.com]

Тогда зачем стягивать?
Пишем так:

sub isRussianNet { rand() > 0.5 }

И все нормально! :)

[ocehb]

это официальный совет сотрудника зенона?

[ico.livejournal.com]

Казалось бы, причем тут зенон? :)

[ocehb]

"И что, зенона где-то гарантирует..." ?

[ico.livejournal.com]

Ну дык ты на этот вопрос тоже не ответил.

[ocehb]

как я могу что-то гарантировать, если сотрудник зенона предлагает использовать sub isRussianNet { rand() > 0.5 } в качестве определителя.

кстати, российских сетей в мире ~50%? я правильно понял? :)

[ico.livejournal.com]

Ты пытаешься использовать некие данные для своих целей (ну это ладно) и предлагаешь остальным использовать эти же данные для определения чего-либо, не выяснив, для чего эти данные опубликованы. :) Более того, ты сам ничего никому не гарантируешь. Ну тебе и предложили раз такое дело использовать sub isRussianNet { rand() > 0.5 } :)

ps: А мне вот кажется, что в мире 50% китайских сетей, в моем листе их значительно больше. :)

[ocehb]

где я предлагаю его использовать?
как я могу гарантировать правильность неизвестных данных, кроме как http://www.zenon.net/support/0578.html ссылаясь.

скорее "смотрите, какой прикольный скрипт" :)

[ico.livejournal.com]

То есть твои слова
"для тестирования на принадлежность адреса к россии"
надо интерпретировать именно так? :)

[ocehb]

да. странно, что это надо так долго объяснать.

[jerom.livejournal.com]

хм, 7 запросов в секунду??? У меня тысячи при парсинге netflow!

[ocehb]

сколько вы готовы заплатить за работу по повышению производительности данного скрипта? :)

[jerom.livejournal.com]

У меня скрипт на перле справляется с тысячами запросов, занимает 30 очень понятных строк и не требует модулей. Показать?

[ocehb]

угу

[jerom.livejournal.com]

#!/usr/bin/perl -I/home/jerom/rus

use IPc;
use Socket;

while( $name = <STDIN> ) {
@ip = ();
chomp $name;
if($name =~ /^(q|quit|exit|logout|stop|finish)$/i) { exit; }
if($name =~ /^\d+\.\d+\.\d+\.\d+$/) { $ip[4] = inet_aton($name); }
else { @ip = gethostbyname("$name"); }

for$ip(@ip[4..$#ip]) {
$ip = inet_ntoa($ip);
$zone = &compare($ip);
if($zone == 0) { print "$ip\tis local or free IP\tisrus\n"; }
if($zone == 1) { print "$ip\tis NON-RUSSIAN IP\tNONRUS\n"; }
}
}

[ocehb]

лучше ссылку, lj съел много знаков... :(

[ocehb]

я его кое-как подредактировал, если надо -- выложу.

# perl cmp.pl 128
Benchmark: timing 128 iterations of A, B...
         A: 23 wallclock secs (23.32 usr +  0.01 sys = 23.33 CPU) @  5.49/s (n=128)
         B: 187 wallclock secs (185.99 usr +  0.03 sys = 186.02 CPU) @  0.69/s (n=128)

скрипт:

#! /usr/bin/perl

use Benchmark qw(timethese);

use Net::Patricia;
use Socket;
use IPs;

my $file = "/opt/tmp/russian.net";
my $pt = new Net::Patricia;

my @test = map { sprintf "%d.%d.%d.%d",int rand (255),int rand (255),
        int rand (255),int rand (255) } 1..10240;

open F,$file or return;
while () {
        chomp;
        $pt->add_string (split "\\s+",$_,2);
}
close F;

timethese ($ARGV[0],{'A' => sub { foreach (@test) { $pt->match_string ($_); } },
                     'B' => sub { foreach (@test) { compare ($_); } } });

exit;

в общем, я даже знаю, где я напортаюил в цифрах, 7 в секунду, это было по 10 000 сравнений :)

[jerom.livejournal.com]

http://gambit.com.ru/~jerom/forocenh.tar.gz

[jerom.livejournal.com]

А мой вариант?

[jerom.livejournal.com]

Мой, правда, не заточен под парсинг миллионов случайных чисел, оно для логов сделано.

[ocehb]

а тут так (первый файл -- мой, второй -- /dev/null), все остальное такое же:

# perl cmp.pl 128
Benchmark: timing 128 iterations of A, B...
         A: 24 wallclock secs (23.50 usr +  0.00 sys = 23.50 CPU) @  5.45/s (n=128)
         B: 186 wallclock secs (185.47 usr +  0.05 sys = 185.52 CPU) @  0.69/s (n=128)

[ocehb]

'B'. cmpthese я недолюбливаю.

[ocehb]

можно на логе сравнить.
кеширование приделывается 2 строчками :)

[jerom.livejournal.com]

прикольно, я думал будет быстрее с &

[ocehb]

& -- вызов функции или "и" логическое?
по первому:

# perl -MBenchmark=timethese -e 'sub a { return 1+1; }; timethese ($ARGV[0],{'A' => sub { a(); },'B' => sub { &a; }});' 10240000
Benchmark: timing 10240000 iterations of A, B...
         A: 11 wallclock secs ( 9.86 usr +  0.00 sys =  9.86 CPU) @ 1038539.55/s (n=10240000)
         B:  8 wallclock secs ( 8.43 usr +  0.00 sys =  8.43 CPU) @ 1214709.37/s (n=10240000)

быстее, но не на много.

а вообще, у Net::Patricia используется библиотека патриции, сильно ускоряет по сравнению с чистым перлом.