幫我看看這個perl程式究竟什麼地方出錯了

Beta

為了去除詞庫文件中的重複詞條，我寫了下面這個名為「only.pl」的perl程式：

1. 
   
2. $file1 = "e:\大詞庫.txt";
   
3. $file2 = "e:\處理過的大詞庫.txt";
   
4. open (FILE1, "$file1") || die "讀唔倒文檔 $file1";
   
5. open (FILE2, ">$file2") || die "創建唔倒文檔 $file2";
   
6. select FILE2;
   
7. $new="";
   
8. while ($line=<FILE1>)
   
9. {
   
10.         chomp $line;
    
11.         if ($new =~ /$line/s){
    
12.                 ;
    
13.         }
    
14.         else{
    
15.         $new = "$new"."\n"."$line";
    
16.         }
    
17. }
    
18. print $new;
    
19. close FILE1;
    
20. close FILE2;
    

复制代码

試驗下邊格式的文檔：

1. 
   
2. 狼心
   
3. 狼烟
   
4. 狼崽
   
5. 莨绸
   
6. 狼心
   
7. 莨苕
   
8. 廊道
   
9. 狼心
   
10. 廊坊
    
11. 廊庙
    
12. 廊台
    
13. 莨苕
    
14. 廊道
    
15. 狼心
    
16. 廊坊
    
17. 廊庙
    
18. 莨苕
    
19. 廊道
    
20. 狼心
    
21. 廊坊
    
22. 廊庙
    

复制代码

可以成功得到預期結果：

1. 
   
2. 狼心
   
3. 狼烟
   
4. 狼崽
   
5. 莨绸
   
6. 莨苕
   
7. 廊道
   
8. 廊坊
   
9. 廊庙
   
10. 廊台
    

复制代码

但是當我用它處理一個非常大的內含重複詞條的詞庫文檔（格式同上），運行十多分鐘後，出現錯誤：
/琅玕/: trailing \ in regexp at only.pl line 13; <FILE1> line 338442.
程式退出。

真是奇怪，不知道是什麼原因，誰能幫幫我找找原因？

待處理的非常大的內含重複詞條的詞庫文檔放在這裏：
http://free.ys168.com/?sxgpic
「詞條處理」目錄下「待去除相同詞條的合併大詞庫.rar」即是。

饭饭

perl 我也是新手 ,不知道怎么解决, 不过你那个可以用shell 来解决的

你的意思是不是要去除掉文件里重复的行.

如果 是的话 , 可以用 sort -u 来解决 !

#!/usr/bin/perl -w

use strict;

print `cat test.txt|sort -u`;

你那个待处理的 我下载了 试了下 , 应该是没问题的 , 速度也比较快 ,

没整理之前的大詞庫.txt   是618629 条  , 整理过之后是442259  , 大致的看了下,没重复的,应该符合要求

Beta

我寫了另一個程式，解決了問題。利用哈希，處理速度很快。
如果改一下還可以統計出每一個詞重複的次數。

1. $file1 = "大詞庫.txt";
   
2. $file2 = "處理過的大詞庫.txt";
   
3. open (FILE1, "$file1") || die "讀唔倒文檔 $file1";
   
4. open (FILE2, ">$file2") || die "創建唔倒文檔 $file2";
   
5. select FILE2;
   
6. while ($line=<FILE1>)
   
7. {
   
8.         chomp $line;
   
9.         $wordlist{$line}+=1;
   
10. }
    
11. @mygod = keys (%wordlist);
    
12. foreach $word (@mygod){
    
13.         print "$word\n";
    
14. }
    
15. close FILE1;
    
16. close FILE2;

复制代码

不過我先前寫的那個程式也應該沒有問題啊，就是奇怪啦。

ZenInPalm

我没有找到你的词库，不过，问题应该是出在你直接使用$line进行内插，试试看改成qr($line)，应该可以解决！