(no subject)

[ocehb]

имеется два файла, вытащить из них совпадающие слова.


проблема в определении "слова". пойдем по легкому пути: "\w+", и тогда:

# perl -e 'open A1,$ARGV[0]; open A2,$ARGV[1];
 while () { $hash{$&} = 1 while (m|\w+|g); }
 while () { $hash{$&}++ while (m|\w+|g); }
 foreach (grep { $hash{$_} > 1 && m|\D| } keys %hash) { printf "$_ "; }' /etc/passwd /etc/group
nobody rpm nscd nfsnobody postgres haldaemon games svn squid sshd bin mailnull postfix apache dbus xfs named mailman uucp rpc mysql news netdump gdm ldap smmsp rpcuser pcap gopher root ntp adm vcsa lp x ftp mail dovecot daemon exim webalizer
# 

или, если покрасивше:

#! perl
#

use strict;

open A1,$ARGV[0] or
        die sprintf "%s error: can't open '%s': %s\n",$0,$ARGV[0],$!;

open A2,$ARGV[1] or
        die sprintf "%s error: can't open '%s': %s\n",$0,$ARGV[1],$!;

my %hash;

while (<A1>) {
        $hash{$&} = 1 while (m|\w+|g);
}

while (<A2>) {
        $hash{$&}++ while (m|\w+|g);
}

close (A1); close (A2);

foreach (grep { $hash{$_} > 1 && m|\D| } keys %hash) {
        print "$_ ";
}

exit;

Comments

[ocehb]

для примера. они почти у всех есть :)

задача сформулирована тут.

[ocehb]

а вывести как? :)

[ocehb]

ну добавить тогда &&= 0 во втором while и добавить проверки на 0 в grep.

[ocehb]

замечание про "Zhopa" было дельным :)

[jerom.livejournal.com]

#!/usr/bin/perl -ln

$i++ if(eof);
$hash[$i]{$&} = 1 while (m|\w+|g);

END {
    for(keys %{$hash[0]}) {
        print if($hash[1]{$_})
    }
}

[ocehb]

да, минус один loop, но 2 раза больше памяти.

perl проникает прямо в моск

[jerom.livejournal.com]

#!/usr/bin/perl -n0aF/\W+|\d+/
$i++;
$h{$_} |= $i for(@F);
END{
for (grep { $h{$_} == 3 } keys %h) { print "$_ " }
}

[ocehb]

# perl test.pl 10240
Benchmark: timing 10240 iterations of A, J...
         A: 72 wallclock secs ( 0.31 usr  1.29 sys + 38.59 cusr 26.94 csys = 67.13 CPU) @ 6400.00/s (n=10240)
         J: 63 wallclock secs ( 0.30 usr  1.31 sys + 33.65 cusr 23.91 csys = 59.17 CPU) @ 6360.25/s (n=10240)

test.pl:

#! perl
#

use strict;

use Benchmark qw(timethese);

my $file1 = "/etc/passwd";
my $file2 = "/etc/group";

timethese ($ARGV[0],{ 'A' => sub { system "perl a.pl $file1 $file2 > /dev/null"; },
                      'J' => sub { system "perl j.pl $file1 $file2 > /dev/null"; } });

exit;

a.pl:

#! perl
#

use strict;

open A1,$ARGV[0] or
        die sprintf "%s error: can't open '%s': %s\n",$0,$ARGV[0],$!;

open A2,$ARGV[1] or
        die sprintf "%s error: can't open '%s': %s\n",$0,$ARGV[1],$!;

my %hash;

while () {
        $hash{$&} = 1 while (m|\w+|g);
}

while () {
        $hash{$&} &&= 0 while (m|\w+|g);
}

foreach (grep { $hash{$_} == 0 } keys %hash) {
        print;
}

exit;

j.pl:

#!/usr/bin/perl -ln

$i++ if(eof);
$hash[$i]{$&} = 1 while (m|\w+|g);

END {
    for(keys %{$hash[0]}) {
        print if($hash[1]{$_});
    }
}

Re: perl проникает прямо в моск

[ocehb]

# perl test.pl 10240 Benchmark: timing 10240 iterations of A, J, J2...
         A: 70 wallclock secs ( 0.32 usr  1.36 sys + 38.13 cusr 26.68 csys = 66.49 CPU) @ 6095.24/s (n=10240)
         J: 68 wallclock secs ( 0.30 usr  1.31 sys + 34.05 cusr 24.03 csys = 59.69 CPU) @ 6360.25/s (n=10240)
        J2: 79 wallclock secs ( 0.29 usr  1.33 sys + 40.86 cusr 24.77 csys = 67.25 CPU) @ 6320.99/s (n=10240)

кого волнует производительность?

[jerom.livejournal.com]

Пофигу производительность, сокращай количество символов !

[ex-svpv.livejournal.com]

Есть же comm(1)!


words() { sed 's/[^a-z]/\n/g' ${1+"$@"} |grep .. |sort -u; }
comm -12 <(words "$1") <(words "$2")


$ bash -ef test.sh /etc/passwd /etc/passwd |wc -l
99
$ bash -ef test.sh /etc/passwd /etc/group |wc -l 
42
$

[ex-svpv.livejournal.com]

Кстати извлечь слова можно еще шикарнее.

$ grep -Po '\w+' /etc/passwd |head
root
x
0
0
System
Administrator
root
bin
bash
bin
$
Правда не каждый греп такое сможет сделать.

[ocehb]

у меня мой вариант выдает 60 слов, ваш 59 :)