C语言写的批量下载程序for linux

liquid_zigong

本程序使用wget下载一批量的URL,最多进程数为5个.
用法:

1. mdown http://www.abc.com/track/track[001-2].mp3

复制代码

将下载:
http://www.abc.com/track/track001.mp3
http://www.abc.com/track/track002.mp3
等文件,GPL发布,希望对你有用.

对fork(), execve()和信号没懂的朋友也是一个帮助.

Mdown.c

1. 
   
2. /* Author: liquid_zigong@www.linuxsir.cn */
   
3. 
   
4. #include<stdio.h>
   
5. #include<string.h>
   
6. #include<stdlib.h>
   
7. #include<signal.h>
   
8. #include<unistd.h>
   
9. 
   
10. /* 最大进程数 */
    
11. #define MAXPROC 5                       
    
12. 
    
13. /* 下载工具的位置 */
    
14. #define PROG "/usr/bin/wget"
    
15. 
    
16. /* 临时文件记录名前缀 */
    
17. #define TMPPREF "/tmp/.moviedownloader"
    
18. 
    
19. void cleanup(void);
    
20. void sig_cleanup(int sig);
    
21. int usage(int argc, char* argv[]);
    
22. int url2file(char* outfile, char *url);
    
23. int start_download_proc(char *outfile, int maxproc);
    
24. int detail_info(char *outfile);
    
25. 
    
26. int main(int argc, char *argv[])
    
27. {
    
28.     char outfile[80];
    
29. 
    
30.     if(argc < 2) {
    
31.         usage(argc, argv);
    
32.         exit(1);
    
33.     }
    
34. 
    
35.     /*注册退出时清理函数*/
    
36.     atexit(&cleanup);
    
37.     signal(SIGINT, &sig_cleanup);
    
38.    
    
39.     sprintf(outfile, "%s%d", TMPPREF, getpid());
    
40. 
    
41.     url2file(outfile, argv[1]);
    
42.     detail_info(outfile);
    
43.     start_download_proc(outfile, MAXPROC);
    
44. 
    
45.     return 0;
    
46. }
    
47. 
    
48. int usage(int argc, char* argv[])
    
49. {
    
50.     fprintf(stderr, "%s: url[start-end]\n", argv[0]);
    
51.     return 0;
    
52. }
    
53. 
    
54. /*把转换后的URL写入outfile*/
    
55. int url2file(char* outfile, char *url)
    
56. {
    
57.     char prefix[BUFSIZ], suffix[BUFSIZ], fmt[40], *p;
    
58.     FILE *fp;
    
59.     int start, end, zerocnt = 0, i;
    
60. 
    
61.     fp = fopen(outfile, "w");
    
62.     if(!fp) {
    
63.         perror("url2file");
    
64.         exit(1);
    
65.     }
    
66.    
    
67.     if((p=strchr(url, '[')) == NULL) {
    
68.         fclose(fp);
    
69.         fprintf(stderr, "Bad URL assigned\n");
    
70.         exit(1);
    
71.     }
    
72.    
    
73.     if((p=strchr(p, '-')) == NULL) {
    
74.         fclose(fp);
    
75.         fprintf(stderr, "Bad URL assigned\n");
    
76.         exit(1);
    
77.     }
    
78.    
    
79.     if((p=strchr(p, ']')) == NULL) {
    
80.         fclose(fp);
    
81.         fprintf(stderr, "Bad URL assigned\n");
    
82.         exit(1);
    
83.     }
    
84. 
    
85.     p = strchr(url, '[');
    
86.     p++;
    
87.     while(*p == '0') {
    
88.         p++;
    
89.         zerocnt ++;
    
90.     }
    
91. 
    
92.     p = strchr(url, '[');
    
93.     start = atoi(p+1);
    
94.     p = strchr(p, '-');
    
95.     end = atoi(p+1);
    
96.    
    
97.     strncpy(prefix, url, strchr(url, '[') - url);
    
98.     p = strchr(strchr(url, '['), ']');
    
99. 
    
100.     p++;
     
101.     strcpy(suffix, p);
     
102. 
     
103.    
     
104.     sprintf(fmt, "%%s%%0%dd%%s\n", zerocnt+1);
     
105.     for(i = start; i <= end; i++) {
     
106.         fprintf(fp, fmt, prefix, i, suffix);
     
107.     }
     
108.    
     
109.     fclose(fp);
     
110.     return 1;
     
111. }
     
112. 
     
113. /*开maxproc个进程同时下载*/
     
114. int start_download_proc(char *outfile, int maxproc)
     
115. {
     
116.     int result;
     
117.     int proc = 0;
     
118.     pid_t pid;
     
119.     FILE *fp, *logger;
     
120.     char line[BUFSIZ], *argv[] = {
     
121.         PROG,          /* 第一个参数 */
     
122.         line,             /* 第二个参数 */
     
123.         NULL           /* 这是参数的结束,必须的 */
     
124.     };
     
125. 
     
126.     if((fp = fopen(outfile, "r")) == NULL) {
     
127.         perror("start_download_proc");
     
128.         exit(1);
     
129.     }
     
130.    
     
131.     while(fgets(line, sizeof(line), fp) != NULL) {
     
132.         /* fgets() 会在字符串后加上个'\n',删掉它 */
     
133.         line[strlen(line) - 1] = '\0';
     
134. 
     
135.         pid = fork();
     
136.         if(pid < 0) {
     
137.             perror("fork");
     
138.             exit(1);
     
139.         }
     
140. 
     
141.         if(pid == 0) {
     
142.             /* 关闭STDIN_FILENO和STDOUT_FILENO */
     
143.             /* 这样就看不到wget终端输出
     
144.             close(0);
     
145.             close(1);
     
146.             /* close(2); */
     
147.             
     
148.             execve(PROG, argv, NULL);
     
149.             abort();
     
150.         }
     
151. 
     
152.         proc++;
     
153.         if(proc == maxproc) {
     
154.             wait(&result);
     
155.             printf("A download finished\n");
     
156.             proc--;
     
157.         }
     
158.    }
     
159. 
     
160.    /*如果还有没下载完的*/
     
161.    printf("All task assigned, waiting for children\n");
     
162.    while(proc != 0) {
     
163.        wait(&result);
     
164.        proc --;
     
165.    }
     
166.    
     
167.    printf("All downloads finisned\n");
     
168.    return 1;
     
169. }
     
170. 
     
171. /*用户按下Ctrl-C键时,清理文件*/
     
172. void sig_cleanup(int sig)
     
173. {
     
174.     char filename[20];
     
175.     sprintf(filename , "%s%d", TMPPREF, getpid());
     
176.     unlink(filename);
     
177.     exit(0);
     
178. }
     
179. 
     
180. /*正常退出时清理文件*/
     
181. void cleanup(void)
     
182. {
     
183.     char filename[20];
     
184.     sprintf(filename , "%s%d", TMPPREF, getpid());
     
185.     unlink(filename);
     
186. }
     
187. 
     
188. /*显示下载文件细节*/
     
189. int detail_info(char *outfile)
     
190. {
     
191.     FILE *fp;
     
192.     char line[BUFSIZ];
     
193.    
     
194.     if((fp = fopen(outfile, "r")) == NULL) {
     
195.         perror("detail_inf");
     
196.         exit(0);
     
197.     }
     
198.    
     
199.     printf("Going to download:\n");
     
200.     while(fgets(line, sizeof(line), fp) != NULL) {
     
201.        printf("%s", line);
     
202.     }
     
203. 
     
204.     printf("\n");
     
205.     return sleep(1);
     
206. }
     

复制代码

pupilzeng

作为编程练习还行
其实干这种事情，最简单的办法是使用脚本语言来编写
可能就那么几行代码

小锁

我以为是多线程下载呢，以为是全是自己实现的，原来还要exec啊！
不过作为示例，不错啊！