比较两个文件的英文和日文数据

| 我被要求比较两个包含日语和英语信息的文件。我使用一种慢速的方法,读取两个文件并将它们放入两个数组中,然后使用while循环检查File_B的术语是否在File_A的行内。 File_A: 这是个男孩。 ハンカ 她是个女孩子。 我是男人 这个苹果很大。 那橘子很小。 File_B: 是一个 ハンカ 小 输出: 我是男人 这个苹果很大。 我写的程序效果很好。但是,我正在处理的文件非常大。如果我使用这样的循环,运行时间太慢了。我的朋友告诉我,我可以将文件放入散列中,它将更快地运行。我可以看到使用它的要点,但是我拥有的文件是随机的,而且File_B中的术语可以在File_A的任何部分中。以前的一些文章建议我可以使用File_A的行拆分,将行放入哈希并将其与File_B进行比较(也将File_B放在另一个哈希中)。但是,除了使用〜//来检查该行是否得到术语,我不知道该怎么做。
open(A_FILE, \"<\", \"FILE_A.txt\");
my(@a_lines) = <A_FILE>; # read file into list
close(A_FILE);
open(B_FILE, \"<\", \"FILE_B.txt\");
my(@b_lines) = <B_FILE>; # read file into list
my($b_lines);
close(B_FILE);
open(my $out, \">\",  \"Useful.txt\") or die \"Can\'t open Useful.txt: $!\";
$number = @b_lines;

foreach $a_line (@a_lines) # loop thru list
{
   $found = 0;
   my $sentence = $a_line;
   $i = 0;
   chomp($sentence);
   while (($i <= $number-1) and ($found == 0)){
       chomp($b_lines[$i]);
       if ($sentence =~ /$b_lines[$i]/){
           $found = 1;
       }
       $i++;
   }

   if ($found == 1) {
       print $out $sentence.\"\\n\";
   }
}
    
已邀请:
我看不到哈希表如何帮助您搜索子字符串。不过,这对于精确匹配很有用。 如果您的内存不是一个限制,那么也许您可以从所有File A条目中构建一个后缀树,这将为您在File B条目上提供非常快的
O(N)
搜索时间。     
如果您在Linux上运行,则可以编写一个shell脚本对文件进行排序,然后使用\'uniq \'程序。首先对大型文件进行排序,使您可以比较它们,而无需将整个文件读入内存。     

要回复问题请先登录注册