贡献三个脚本，下载nationalgeographic的图片

downcloud

我的blog,
http://eagleisyou.spaces.live.com/default.aspx
三个bash脚本，现在总共可以下载到五千张图片，全是来自nationalgeographic网站。

使用方法：把三个脚本放在同一个目录下，运行pod.sh ;运行callphotos.sh ;不要直接运行photos.sh
解释:
1 pod.sh就是原来的ngpod.sh修改版,专门下载nationalgeographic.com/photography/photo-of-the-day这个栏目的图片，大约有2500张图片。
2 每张photo-of-the-day都有它的related pics;callphotos.sh和photos.sh就负责下载这些。
3 callphotos.sh是对为了加快速度，同时调用多个photos.sh脚本；photos.sh是下载ng网站其它栏目的图片，大约也有2500张图片。
4 现在可“断点续传”，当脚本运行到一半时你可以用ctrl+D中断，注意不要手动删除隐藏的临时文件，下次再运行脚本会自动接到上次中断的地方。
5 pod.sh可自动下载最新的图片，不再需要修改脚本来改变开始／结束时间。
6 运行时间，在我的网络状态，晚上睡觉前运行，早上起来脚本就成功结束了。
7 生成的介绍html有些还是有错误，still need to be done.

2. #!/bin/bash
3. #####################################
4. #pod.sh
5. #update 2008/4/5,
6. # to get last version,visit http://eagleisyou.spaces.live.com
8. # the script will download photos of NGPOD
9. #NGPOD: "National Geographic Photo Of the Day"
10. #http://photography.nationalgeographic.com/photography/photo-of-the-day
13. ######################################
15. #the earliest ngpod is the  April 21, 2001
16. #declare  BYEAR=1 BMONTH=4 BDAY=21
17. declare  BYEAR=1 BMONTH=4 BDAY=21
19. #the script will auto use today as the end day
20. declare  EYEAR EMONTH EDAY
21. #or you can manual set EYAER variables
22. #declare  EYEAR=8 EMONTH=3 EDAY=29
23. ###############################################################
24. #download year,month,day
25. declare  DYEAR DMONTH DDAY
26. declare JPGNAME
30. TMP1=.tmpngpod1
31. TMP2=.tmpngpod2
32. TMP3=.tmpngpod3
33. TMP4=.tmpngpod4
34. TMP5=.tmpngpod5
35. TMPJPG=.tmpngpodjpg
36. TMPINTRO=.tmpngpodintro
37. EXLINK="http://photography.nationalgeographic.com"
39. declare JUDGE
41. ###############################################
42. #function difinition area
44. getendday()
45. {
46.         if [ ! -z "$EYEAR" ];then
47.                 return
48.         fi
50.         EYEAR=`date | awk '{print $6}' `
51.         EMONTH=`date | awk '{print $2}' `
52.         EDAY=`date | awk '{print $3}' `
54.         EYEAR=`expr $EYEAR - 2000 `
56.         if [ "$EMONTH" == "Jan" ];then
57.                 EMONTH=1
58.         elif [ "$EMONTH" == "Feb" ];then
59.                 EMONTH=2
60.         elif [ "$EMONTH" == "Mar" ];then
61.                 EMONTH=3
62.         elif [ "$EMONTH" == "Apr" ];then
63.                 EMONTH=4
64.         elif [ "$EMONTH" == "May" ];then
65.                 EMONTH=5
66.         elif [ "$EMONTH" == "Jun" ];then
67.                 EMONTH=6
68.         elif [ "$EMONTH" == "Jul" ];then
69.                 EMONTH=7
70.         elif [ "$EMONTH" == "Aug" ];then
71.                 EMONTH=8
72.         elif [ "$EMONTH" == "Sep" ];then
73.                 EMONTH=9
74.         elif [ "$EMONTH" == "Oct" ];then
75.                 EMONTH=10
76.         elif [ "$EMONTH" == "Nov" ];then
77.                 EMONTH=11
78.         elif [ "$EMONTH" == "Dec" ];then
79.                 EMONTH=12
80.         fi
82. }
84. getday()
85. {
86.         if [ $BYEAR -gt $EYEAR ];then
87.                 BYEAR=0
88.                 return
89.         elif [ $BYEAR -eq $EYEAR ];then
90.                 if [ $BMONTH -gt $EMONTH ];then
91.                         BYEAR=0
92.                         return
93.                 elif [ $BMONTH -eq $EMONTH ];then
94.                         if [ $BDAY -gt $EDAY ];then
95.                                 BYEAR=0
96.                                 return
97.                         fi
98.                 fi
99.         fi
103.         if [ $BMONTH -eq 2 ];then
104.                 if [ $BDAY -eq 30 ];then
105.                         BDAY=1;
106.                         BMONTH=3;
107.                 fi
109.                 if [ $BDAY -eq 29 ];then
110.                         if [ $BYEAR -ne 4 ];then #not 2004.2.29
111.                                 if [ $BYEAR -ne 8 ];then # not 2008.2.29
112.                                         if [ $BYEAR -ne 12 ];then #not 2008.2.29
113.                                                 BDAY=1;
114.                                                 BMONTH=3;
115.                                         fi
116.                                 fi
117.                         fi
118.                 fi
119.                
120.         fi
122.         if [ $BDAY -eq 32 ];then
123.                 BMONTH=`expr $BMONTH + 1 ` ;
124.                 BDAY=1;
125.         fi
127.         if [ $BDAY -eq 31 ];then
128.                 case  $BMONTH in
129.                         4)
130.                         BMONTH=5;
131.                         BDAY=1;
132.                         ;;
133.                         6)
134.                         BMONTH=7;
135.                         BDAY=1;
136.                         ;;
137.                         9)
138.                         BMONTH=10;
139.                         BDAY=1;
140.                         ;;
141.                         11)
142.                         BMONTH=12;
143.                         BDAY=1;
144.                         ;;
145.                 esac
147.         fi
149.         if [ $BMONTH -eq 13 ];then
150.                 BMONTH=1;
151.                 BYEAR=`expr $BYEAR + 1 `
152.         fi
154.                 if [ $BYEAR -lt 10 ];then
155.                 DYEAR="0$BYEAR";
156.         else
157.                 DYEAR=$BYEAR;
158.         fi
160.         if [ $BMONTH -lt 10 ];then
161.                 DMONTH=0$BMONTH;
162.         else
163.                 DMONTH=$BMONTH;
164.         fi
165.        
166.         if [ $BDAY -lt 10 ];then
167.                 DDAY=0$BDAY;
168.         else
169.                 DDAY=$BDAY;
170.         fi
172.        
174. }
177. call_iconv()
178. {
179.         iconv -f iso8859-1 -t utf8 -o $1.utf8 $1
180.         rm -f $1
181.         mv $1.utf8 $1
183. }
185. getfile()
186. {
187.         local TEST
189.         #download $1 htmllink,save as file $1
190.        
191.         wget -O "$1" "$2" 2>/dev/null
192.         #wget -O "$1" "$2"
193.        
194.         TEST=`echo "$2" |sed -n -e 's/\.jpg//p' `
196.         #not jpg,need to iconv
197.         if [ -z "$TEST" ];then
198.                 call_iconv $1
199.         fi
200. }
202. check_jpg()
203. {
204.         local TEST
205.         local SIZE
206.         if [ ! -f $1 ];then
207.                 #file not exist,do not need to check
208.                 return
209.         fi
211.         # if a jpeg filesize is less than 6KByte,
212.         # delete it
213.         SIZE=`wc -c $1 | awk '{print $1}'`
214.         if [  $SIZE -lt 6000 ];then
215.                 rm -f $1
216.                 return
217.         fi
218.         TEST=`file $1 `
219.     # if the jpg is not cracked,TEST will be zero
220.         TEST=`echo "$TEST" |sed -n -e 's/JPEG//p' `
222.         if [ -z "$TEST" ];then
223.                         rm -f $1
224.         fi
227. }
228. s_alpha()
229. {       
230.         # read first alpha of jpgname
231.         #sed -n -e 's/.*\/\([a-zA-Z]\).*jpg/\1/p'  $1
232.         sed -n -e 's/\(^.\).*jpg/\1/p'  $1
233. }
235. s_relateddir()
236. {       
237.         # get relateddir
238.         sed -n -e 's/.*\/\([a-zA-Z]*\/[a-zA-Z]*\)\/.*html/\1/p'  $1
239. }
241. s_relatedlink()
242. {
243.         sed -n -e '/<h3>/{N;N;s/.*<a href="\(.*html\).*>\(.*\)<\/a>.*/\1 \2/p}' $1
244. }
245. s_walllink()
246. {
247.         sed -n -e 's/.*class="wallpaper" href="\(.*html\)">.*/\1/p' $1
248. }
249. s_walllink2()
250. {
251.         sed -n -e 's/.*class="enlarge" href="\(.*html\)">.*/\1/p' $1
252. }
254. sg_jpgname()
255. {
257.         JPGNAME=`sed -n -e 's/.*<a href="\(.*jpg\)">.*1280 x 1024 pixels.*/\1/p'  $1`
258.        
259.         if [ -z ${JPGNAME} ] ;then
260.                 JPGNAME=`sed -n -e 's/.*<a href="\(.*jpg\)">.*1024 x 768 pixels.*/\1/p' $1`
261.         fi
262.         # only has 800x600 jpg
263.         if [ -z ${JPGNAME} ] ;then
264.                 JPGNAME=`sed -n -e 's/.*src="\(.*sw\.jpg\)".*/\1/p'  $1`
265.         fi
266.         if [ -z ${JPGNAME} ] ;then
267.                 JPGNAME=`sed -n -e 's/.*src="\(.*800.*jpg\)".*/\1/p'  $1`
268.         fi
269. }
272. s_title()
273. {
274. #        sed -n -e 's/.*<td><h1>\(.*\)<\/h1><\/td>.*/\1/p' $1
275.         sed -n -e '/<div class="summary"/{N;N;N;s/.*<h3>\(.*\)<\/h3>.*/\1/p}' $1
276. }
279. s_date()
280. {
281.         sed -n -e 's/.*<div class="date">\(.*\)<\/div>.*/\1/p' $1
282. }
283. s_who()
284. {
285.         #sed -n -e 's/.*<div class="credit">\(.*\)<\/div>.*/\1/p'  $1
286.         sed -n -e 's/.*<p class="credit">\(.*\)<\/p>.*/\1/p'  $1
287. }
288. s_intro()
289. {
290.         sed -n -e '/<div class="description"/{N;N;N;N;N;N;N;N;s/.*<div class="description">\(.*\)<\/div>.*/\1/p}' $1 \
291.         | sed -e 's/<a.*\/a>//p'
293. }
295. create_introhead()
296. {
297.         local INTROFILE YEAR MONTH
298.         local -i DAY COUNT TMP
299.         if [ $# -ne 3 ];then
300.                 return
301.         fi
302.        
303.         INTROFILE=$1
304.         if [ ! -f $INTROFILE ];then
305.                 touch $INTROFILE;
306.         else
307.                 return
308.         fi
309.         echo "<html><head>" >>$INTROFILE;
310.         echo "<meta http-equiv=Content-Type content="text/html; charset=utf8">" >> $INTROFILE;
311.         echo "<title>National Geographic Photo of the Day</title></head>" >>$INTROFILE
312.         case $3 in
313.                 01) MONTH=January; DAY=31 ;;
314.                 02) MONTH=February;
315.                         if [ "$2" == "04" ];then
316.                                 DAY=29
317.                         elif [ "$2" == "08" ];then
318.                                 DAY=29
319.                         elif [ "$2" == "12" ];then
320.                                 DAY=29
321.                         else
322.                                 DAY=28
323.                         fi
324.                    ;;
325.                 03) MONTH=March        ;DAY=31 ;;
326.                 04) MONTH=April        ;DAY=30 ;;
327.                 05) MONTH=May        ;DAY=31 ;;
328.                 06) MONTH=June        ;DAY=30 ;;
329.                 07) MONTH=July        ;DAY=31 ;;
330.                 08) MONTH=August        ;DAY=31 ;;
331.                 09) MONTH=September        ;DAY=30 ;;
332.                 10) MONTH=October        ;DAY=31 ;;
333.                 11) MONTH=November        ;DAY=30 ;;
334.                 12) MONTH=December        ;DAY=31 ;;
335.                
336.                 ?) return  ;;
337.         esac
338.        
339.         YEAR=20$2
340.         echo "<body bgcolor="gray">" >>$INTROFILE
341.         echo "<table border="0" width="90%">" >>$INTROFILE
342.         echo "  <tr><td align="center">" >>$INTROFILE
343.         echo "      <h1><a target="_blank" href="http://photography.nationalgeographic.com/photography/photo-of-the-day"> National Geographic Photo of the Day</a></h1>" >>$INTROFILE
344.         echo "  </td></tr>" >>$INTROFILE
345.         echo "  <tr><td align="center">" >>$INTROFILE
346.         echo "      <h2>${YEAR} , ${MONTH}</h2>" >>$INTROFILE
347.         echo "  </td></tr>" >>$INTROFILE
348.     echo "</table>" >>$INTROFILE
349.        
350.         echo "<table width="90%" border=1>" >>$INTROFILE
351.         COUNT=1
352.         TMP=0
353.         while [ $COUNT -le $DAY ]
354.         do
355.                 TMP=`expr $COUNT % 5`;
356.                 if [ $TMP -eq 1 ];then
357.                         echo "<tr>" >>$INTROFILE
358.                 fi
359.                
360.                 if [ $COUNT -le 9 ];then
361.                         echo "<td width="20%"><a href="#day0$COUNT">day 0$COUNT</a></td>" >>$INTROFILE
362.                 else
363.                         echo "<td width="20%"><a href="#day$COUNT">day $COUNT</a></td>" >>$INTROFILE
364.                 fi
365.                 TMP=`expr $COUNT % 5`
366.                 if [ $TMP -eq 0 ];then
367.                         echo "</tr>" >>$INTROFILE
368.                 fi
369.                 COUNT=`expr $COUNT + 1`
370.         done
372.         if [ $DAY -eq 28 ];then
373.                         echo "<td width="20%">&nbsp;</td>" >>$INTROFILE
374.                         echo "<td width="20%">&nbsp;</td>" >>$INTROFILE
375.                         echo "</tr>" >>$INTROFILE
376.         elif [ $DAY -eq 29 ];then
377.                         echo "<td width="20%">&nbsp;</td>" >>$INTROFILE
378.                         echo "</tr>" >>$INTROFILE
379.         elif [ $DAY -eq 31 ];then
380.                         echo "<td width="20%">&nbsp;</td>" >>$INTROFILE
381.                         echo "<td width="20%">&nbsp;</td>" >>$INTROFILE
382.                         echo "<td width="20%">&nbsp;</td>" >>$INTROFILE
383.                         echo "<td width="20%">&nbsp;</td>" >>$INTROFILE
384.                         echo "</tr>" >>$INTROFILE
385.         fi
386.        
387.        
388.         echo "</table><br><br>" >>$INTROFILE
390.         return
391. }
395. create_introtail()
396. {        local INTROFILE YEAR MONTH DAY
398.         if [ $# -ne 4 ];then
399.                 return
400.         fi
401.        
402.         INTROFILE=$1
403.         YEAR=$2
404.         MONTH=$3
405.         DAY=$4
407.         #if is a month end,create_tail
408.         if [ "$DAY" == "28" ] &&  [ "$MONTH" == "02" ] ;then
409.                 if [ ! "$YEAR" == "04" ];then
410.                         if [ ! "$YEAR" == "08" ];then
411.                                 if [ ! "$YEAR" == "12" ];then
412.                                         echo "</body></html>" >>$INTROFILE
413.                                 fi
414.                         fi
415.                 fi
416.                 return
417.         fi
419.         if [ "$DAY" ==  "29" ] && [ "$MONTH" == "02" ] ;then
420.                         echo "</body></html>" >>$INTROFILE
421.                 return
422.         fi
423.        
424.         if [ "$DAY" == "30" ]  ;then
425.                 if [ "$MONTH" == "04" ] || [ "$MONTH" == "06" ] || [ "$MONTH" == "09" ] || [ "$MONTH" == "11" ] ;then
426.                         echo "</body></html>" >>$INTROFILE
427.                 fi
428.                 return
429.         fi
430.        
431.         if [ "$DAY" == "31" ] ;then
432.                 echo "</body></html>" >>$INTROFILE
433.         fi
434. }
438. update_intro()
439. {
440.         local INTROFILE DAY JPGLOCAL  HTMLINK
441.         local TITLE DATE  WHO INTRO
442.         local JPGLOCAL
445.         INTROFILE=$1;
446.         DAY=$3
447.         JPGLOCAL=$4
448.         HTMLINK=$5
449.        
450.         TITLE=`s_title $2`
451.         #for some page,title may be empty
452.         TITLE=${TITLE:-"National Geographic Photo of the Day:"}
453.          
454.         DATE=`s_date $2`
455.         WHO=`s_who $2`
456.         INTRO=`s_intro $2`
457.         #echo "INTRO is +++   $INTRO"
458.        
460.         s_relatedlink $2 > $TMP4
462.         echo "<br><a name="day${DAY}"></a><br>" >> $INTROFILE
463.         echo "<table border="0" width="90%">" >>$INTROFILE
464.         echo "        <table border="0"  width="100%" bgcolor="\#666666"><tr>" >>$INTROFILE
465.         echo "                <td width="45%" align="left" >${TITLE}</td>" >>$INTROFILE
466.         echo "                <td align="center"><a href="${HTMLINK}">${DATE}</a></td>" >>$INTROFILE
467.         echo "        </tr></table>" >>$INTROFILE
468.         echo "         <table border="0"  width="100%">" >>$INTROFILE
469.         echo "                 <tr><td align="right" width="50%">" >>$INTROFILE
470.         echo "                        <table border="0" width="100%">" >>$INTROFILE
471.         echo "                                 <tr><td><br>${INTRO}<br></td></tr>" >>$INTROFILE
472.         echo "                                 <tr><td>${WHO}<br><hr></td></tr>" >>$INTROFILE
473.         echo "                         </table></td>" >>$INTROFILE
474.         echo "                         <td align="center" width="500"><a target="_blank" href="../../${JPGLOCAL}"><img src="../../${JPGLOCAL}" width=480 align=right></a></td>" >>$INTROFILE
475.         echo "                 </tr>" >>$INTROFILE
476.         echo "         </table>" >>$INTROFILE
477.        
478.                
479.         echo "</table>" >>$INTROFILE
480.        
481.         return        
482. }
484. #download ngpod
485. downloadngpod()
486. {
487.         local YEAR MONTH DAY
488.         local DIR JPGLOCAL  INTROFILE
489.         local HTMLINK1 HTMLLINK2
490.         local JPGTYPE JPGALPHA JPGBASENAME JPGREMOTE        
491.         local DAY10 DAY1
492.        
493.         YEAR=$DYEAR
494.         MONTH=$DMONTH
495.         DAY=$DDAY
496.         DIR="photography/pod"
497.         if [ ! -d $DIR ];then
498.                 mkdir -p $DIR;
499.         fi
501.     INTROFILE="${DIR}/pod20${YEAR}${MONTH}.htm"
502.        
503.     if [ ! -f ${INTROFILE} ];then
504.                 create_introhead ${INTROFILE}  ${YEAR}  ${MONTH};
505.         else
506.                 if [ !  -z `sed -n -e 's/<\/html>//p' ${INTROFILE} ` ];then
507.                         #the intro file has end.skip to next month
508.                         echo "file end,skipped 20${YEAR}/${MONTH} month "
509.                         BMONTH=`expr $BMONTH + 1`
510.                         BDAY=0
511.                         return
512.                 else
513.                         # get last <a name="day${DAY10}${DAY1}"><\/a>
514.                         DAY10=`sed -n  '/<a name/h;${g;s/.*"day\([0-9]\)[0-9]".*/\1/p}' ${INTROFILE}`
515.                         DAY1=`sed -n  '/<a name/h;${g;s/.*"day[0-9]\([0-9]\)".*/\1/p}' ${INTROFILE}`
516.                         if [ ! -z "$DAY10" ];then
517.                                 DAY10=`expr $DAY10 \* 10 `
518.                                 DAY10=`expr $DAY10 + $DAY1 `
519.                                 #the day has created before
520.                                 if [ !  $DAY10 -lt $BDAY ];then
521.                                         BDAY=$DAY10
522.                                         echo "exist,last is 20${YEAR}/${MONTH}/${BDAY} ngpod "
523.                                         return
524.                                 fi
525.                         fi
526.                 fi
527.         fi
529.         HTMLINK1="${EXLINK}/cgi-bin/pod/PhotoOfTheDay.cgi?month=${MONTH}&day=${DAY}&year=${YEAR}"
530.         getfile  ${TMP1} ${HTMLINK1}
532.        
533.         if [ ! -f ${TMP1} ];then
534.                 echo "get htm fail get 20${YEAR}/${MONTH}/${DAY} ngpod "
535.                 return
536.         elif [ ! -s ${TMP1} ];then
537.                 echo "zero file;fail get 20${YEAR}/${MONTH}/${DAY} ngpod"
538.                 return
539.         fi
541.         # get wallpaper html description
542.         HTMLLINK2=`s_walllink ${TMP1}`
543.         # save as tmpfile 2
544.         getfile ${TMP2} ${EXLINK}${HTMLLINK2}
545.         #get $JPGNAME
546.         sg_jpgname ${TMP2}
548.         #some do not has wallpaper,for example
549.         #http://photography.nationalgeographic.com/cgi-bin/pod/PhotoOfTheDay.cgi?month=07&day=11&year=01
550.         if [ -z $JPGNAME ];then
551.                 echo "       find 800x600 instead"
552.                 #wallpaper link could not get jpg
553.                 rm -f ${TMP2}
555.                 # get jpgname from enlarge
556.                 # get wallpaper html description
557.                 HTMLLINK2=`s_walllink2 ${TMP1}`
558.                 # save as tmpfile 2
559.                 getfile ${TMP2} ${EXLINK}${HTMLLINK2}
560.                 #get $JPGNAME
561.                 sg_jpgname ${TMP2}
563.         fi
565.         # some ngpod is losing
566.         if [  -z $JPGNAME ];then
567.                 echo "could not find jpg; fail get 20${YEAR}/${MONTH}/${DAY}"
568.                 return
569.         fi
570.         JPGBASENAME=`basename ${JPGNAME}`       
571.         JPGALPHA=`echo ${JPGBASENAME}  | s_alpha `
572.         DIR="image/${JPGALPHA}"
573.         if [ ! -d $DIR ];then
574.                 mkdir -p $DIR;
575.         fi
576.         JPGLOCAL="${DIR}/${JPGBASENAME}"
577.        
578.         JPGREMOTE="${EXLINK}${JPGNAME}"
579.        
580.         check_jpg $JPGLOCAL
581.         if [ ! -f ${JPGLOCAL} ];then
582.                         rm -f ${TMPJPG}
583.                         getfile ${TMPJPG} ${JPGREMOTE}
584.                         check_jpg ${TMPJPG}
585.                         if [  -f ${TMPJPG} ];then
586.                                 mv -f ${TMPJPG} ${JPGLOCAL}
587.                         fi
588.         fi
589.        
590.         #echo "updateintro get $YEAR $MONTH $DAY "
591.         rm -f $TMPINTRO
592.         update_intro ${TMPINTRO} ${TMP1} ${DAY} ${JPGLOCAL}  ${HTMLINK1}
593.         create_introtail ${TMPINTRO} $YEAR $MONTH $DAY
594.        
595.         cat $TMPINTRO >> $INTROFILE
597.         echo  "OK get 20${YEAR}/${MONTH}/${DAY} ngpod"
598.        
599.         return
600. }
603. ########################################
604. # all begin
605. # if $EYEAR not set,auto set variables
606. getendday
609. echo "This shell need wget,sed,iconv in your \$PATH variable"
610. echo "ngpod is national geographic photo of the day"
611. echo "This shell will download ngpod pictures and related "
612. echo " from ${BYEAR}/${BMONTH}/${BDAY} to ${EYEAR}/${EMONTH}/${EDAY}"
613. echo "To change begin/end day, edit this shell"
615. read -p "Now begin download(Y/N):" JUDGE
617. if [ ! $JUDGE = "y" ];then
618.         if [ ! $JUDGE = "Y" ];then
619.                 echo "This shell will exit now"
620.                 exit
621.         fi
622. fi
624. echo -n "run begin at:"
625. date
626. ##########################################
627. # function run from here
629. getday
630. while [  0 -lt $BYEAR ]
631. do
632.         downloadngpod         $DYEAR $DMONTH $DDAY;
633.         # to next day
634.         BDAY=`expr $BDAY + 1`;
635.         getday
636. done
638. echo -n "end at:"
639. date
641. rm -f ${TMP1}
642. rm -f ${TMP2}
643. rm -f ${TMP3}
644. rm -f ${TMP4}
645. rm -f ${TMP5}
646. rm -f ${TMPJPG}
647. rm -f ${TMPINTRO}
649. # end of pod.sh
650. ####################

复制代码

2. #!/bin/bash
3. #callphotos.sh
4. #update 2008/4/5,
5. # to get last version,visit http://eagleisyou.spaces.live.com
7. declare TOPTOTAL TOPLINK MAXPROID
8. declare LOGFILE=.calllog
10. #you can call photos.sh `expr $MAXPROID + 1` processes at a time
11. MAXPROID=9
14. #########################
15. # function definition area begin
16. init_data()
17. {
19.         #initial links
20.         TOPLINK[0]="http://www3.nationalgeographic.com/places/directory.html"
21.         TOPLINK[1]="http://science.nationalgeographic.com/science/atoz.html"
22.         TOPLINK[2]="http://animals.nationalgeographic.com/animals/a-to-z"
23.         TOPLINK[3]="http://photography.nationalgeographic.com/photography/photographers"
24.         TOPLINK[4]="http://photography.nationalgeographic.com/photography/photogalleries/adventure-exploration"
25.         TOPLINK[5]="http://photography.nationalgeographic.com/photography/photogalleries/animals"
26.         TOPLINK[6]="http://photography.nationalgeographic.com/photography/photogalleries/nature-weather"
27.         TOPLINK[7]="http://photography.nationalgeographic.com/photography/photogalleries/people-culture"
28.         TOPLINK[8]="http://photography.nationalgeographic.com/photography/photogalleries/science-space"
29.         TOPLINK[9]="http://photography.nationalgeographic.com/photography/photogalleries/travel"
30.         TOPLINK[10]="http://photography.nationalgeographic.com/photography/photogalleries/underwater"
31.         TOPLINK[11]="http://photography.nationalgeographic.com/photography/article/patterns-nature-galleries.html"
32.         TOPLINK[12]="http://photography.nationalgeographic.com/photography/wallpapers/people-culture"
33.         TOPLINK[13]="http://photography.nationalgeographic.com/photography/wallpapers/travel"
34.         TOPLINK[14]="http://photography.nationalgeographic.com/photography/wallpapers/underwater"
35.         TOPLINK[15]="http://photography.nationalgeographic.com/photography/article/patterns-nature-wallpapers.html"
36.         TOPLINK[16]="http://photography.nationalgeographic.com/photography/wallpapers/science-space"
37.         TOPLINK[17]="http://photography.nationalgeographic.com/photography/wallpapers/nature-weather"
38.         TOPLINK[18]="http://photography.nationalgeographic.com/photography/wallpapers/animals"
39.         TOPLINK[19]="http://photography.nationalgeographic.com/photography/wallpapers/adventure-exploration"
40.        
42.         TOPTOTAL=${#TOPLINK[@]}
43. }
45. send_last()
46. {
47.         local LAST LASTNAME PROCOUNT COUNT
48.         local LASTNUM
51.         LASTNUM=`ls .process* 2>/dev/null`
53.         if [ -z "$LASTNUM" ];then
54.                 return
55.         fi
57.         # to check if need to run from last interrupt
58.         # use RELLINK,RELNAME as temp viraible
59.         for LASTNAME in .process* ;do
60.                         exec 3<&0 0<$LASTNAME
61.                         # keep last run status,$COUNT to keep useless variable
62.                         read PROCOUNT COUNT
63.                         exec 0<&3
64.                        
65.                         if [ -z "$PROCOUNT" ];then
66.                                 rm -f $LASTNAME
67.                                 continue
68.                         fi
71.                         # last run process number
72.                         COUNT=`echo $LASTNAME | sed -n -e 's/\.process\([0-9]*\)/\1/p' `
73.                        
74.                         if [ $MAXPROID -lt $COUNT ];then
75.                                 MAXPROID=$COUNT
76.                         fi
77.                         echo "re-run last interrput link, use process $COUNT "
78.                         ./photos.sh ".process$COUNT" "$PROCOUNT"  "${TOPLINK[$PROCOUNT]}" $LOGFILE &
79.                        
80.                         # remove ${TOPLINK[$PROCOUNT]}
81.                                 TOPLINK[$PROCOUNT]=""
82.                                        
83.         done
85.         # remenber last-run finish links
86.         if [ -f $LOGFILE ];then
87.                         exec 3<&0 0<$LOGFILE
88.                         # keep last run status,$COUNT to keep useless variable
89.                         read PROCOUNT
91.                         while [ ! -z "$PROCOUNT" ] ;do
92.                                 #no need to do these link again
93.                                 if [ $PROCOUNT -lt $TOPTOTAL ];then
94.                                         TOPLINK[$PROCOUNT]=""
95.                                 fi
97.                                 read PROCOUNT
98.                         done
99.                         exec 0<&3
101.         fi
103. }
105. send_parallel()
106. {
107.         local COUNT=0
108.         local PROCOUNT=0
109.         local LAST LASTNAME
110.         local LASTNUM=0
111.         local SLEEP=0
112.        
113.         send_last
115.         PROCOUNT=0
116.         COUNT=0
118.         while [ true ];do
119.                 if [ ! -f .process$COUNT ];then
120.                         if [ -z "${TOPLINK[$PROCOUNT]}" ];then
121.                                 PROCOUNT=`expr $PROCOUNT + 1`
122.                                 if [ $PROCOUNT -eq $TOPTOTAL ];then
123.                                         # send process end
124.                                         return
125.                                 fi
126.                                 continue
127.                         fi
128.                         echo "$PROCOUNT link, use process $COUNT "
129.                         ./photos.sh ".process$COUNT" "$PROCOUNT"  "${TOPLINK[$PROCOUNT]}"  $LOGFILE  &
130.                         PROCOUNT=`expr $PROCOUNT + 1`
131.                 fi
132.                
133.                 if [ $PROCOUNT -eq $TOPTOTAL ];then
134.                         # send process end
135.                         return
136.                 fi
138.                 if [ $COUNT -eq $MAXPROID ];then
139.                         COUNT=0
140.                        
141.                         if [ "$SLEEP" -eq 0 ];then
142.                                 echo "no more process free,sleep:"
143.                                 sleep 60
144.                         else
145.                                 echo -n "$SLEEP:"
146.                                 sleep 60
147.                         fi
149.                         SLEEP=`expr $SLEEP + 1`
150.                         if [ 20 -eq $SLEEP ];then
151.                                 echo  "$SLEEP:"
152.                                 SLEEP=0
153.                         fi
154.                         continue
155.                 fi
157.                 COUNT=`expr $COUNT + 1`
159.         done
160. }
162. wait_parallel()
163. {
164.         local COUNT=0
165.         local SLEEP=0
167.         while [ $COUNT -lt $MAXPROID ];do
169.                 if [ -f .process$COUNT ];then
170.                         if [ "$SLEEP" -eq 0 ];then
171.                                 echo -n "process $COUNT still run,sleep:"
172.                                 sleep 60
173.                         else
174.                                 echo -n "$SLEEP:"
175.                                 sleep 60
176.                         fi
178.                         SLEEP=`expr $SLEEP + 1`
179.                         if [ 20 -eq $SLEEP ];then
180.                                 echo  "$SLEEP:"
181.                                 SLEEP=0
182.                         fi
183.                         continue;
184.                 fi
186.                 COUNT=`expr $COUNT + 1`
187.         done
189. }
191. if [ ! -x ./photos.sh ];then
192.         exit
193. fi
195. # the script run begin
196. init_data
198. # show begin time
199. echo -n "Begin at:"
200. date
202. # exist means last interrupt,no keep to create_links
204. send_parallel
206. sleep 10
207. #wait the script to end
208. wait_parallel
210. #all finish,no need to keep this logfile
211. rm -f $LOGFILE
212. #show end time
213. echo -n "end at:"
214. date
216. # end of callphotos.sh
217. ####################

复制代码

2. #!/bin/bash
4. #photos.sh
5. #update 2008/4/5,
6. # to get last version,visit http://eagleisyou.spaces.live.com
8. TMP1=.tmp1pro
9. TMP2=.tmp2pro
10. TMP3=.tmp3pro
11. TMP4=.tmp4pro
12. TMP5=.tmp5pro
13. TMP6=.tmp6pro
14. TMPJPG=.tmp7pro
16. declare INTRO1 INTRO2 FLINK1 JPGNAME bLINK DIRLEVEL
17. declare PROCESSNUM INTIMFILE
18. declare CURRENTLINK
19. ###############################################
20. #function difinition area
22. s_toplink()
23. {
24. #sed -n -e 's/.*<a href="\(.*html\).*>\(.*\)<\/a>.*/\1 \2/p' $1
25. sed -n -e 's/.*<a href="\(.*html\)">\([^<]*\)<\/a>.*/\1 \2/p' $1
26. }
27. s_linkpre()
28. {
29. sed -n -e 's/\(http.*com\)\/.*/\1/p' $1
31. }
32. get_dirlevel()
33. {
34.         # get the number of '/' in dirname
35.         DIRLEVEL=`echo  -n "$1" | sed   's/[^/]*[^/]//g'  | wc -c`
36.         DIRLEVEL=`expr $DIRLEVEL + 1`
38. }
39. getfile()
40. {
41.         local TEST
43.         #download $1 htmllink,save as file $1
44.         wget -T 30 -O "$1" "$2" 2>/dev/null
45.         #wget -O "$1" "$2"
46.        
47.         TEST=`echo "$2" |sed -n -e 's/\.jpg//p' `
49.         #not jpg,need to iconv
50.         if [ -z "$TEST" ];then
51.                 iconv -f "iso8859-1" -t "utf8" -o "$1.utf8" "$1"
52.                 rm -f $1
53.                 mv "$1.utf8" "$1"
54.         fi
55. }
59. #related link for the related
60. sr_next()
61. {
62.         sed -n -e 's/.*<a href="\(.*html\)">NEXT<\/a>.*/\1/p' $1
63. }
65. srel_picfile()
66. {
67.         FLINK1=`sed -n -e 's/.*<a href="\(.*\/wallpaper\/.*html\)">.*/\1/p' $1`
69.         #some just has enlarge
70.         if [ -z "$FLINK1" ];then
71.                 #echo "zero picfile"
72.                 FLINK1=`sed -n -e 's/.*<a href="\(.*\/enlarge\/.*html\)">.*/\1/p' $1`
73.         fi
74.         if [ -z "$FLINK1" ];then
75.                 FLINK1=`sed -n -e 's/.*<a href="\(.*html\)"><img src=".*enlarge_icon.*/\1/p' $1`
76.                 #echo "icon $FLINK1"
77.         fi
78. }
80. srel_who()
81. {
82.         INTRO2=`sed -n -e 's/<div class="photocredit">\(.*\)<\/div>/\1/p' $1`
84.         if [ -z "$INTRO2" ];then
85.                 INTRO2=`sed -n -e 's/<div class="credit">\(.*\)<\/div>/\1/p' $1`
86.         fi
88. }
90. srel_intro()
91. {
92.         INTRO1=`sed -n -e '/<div class="caption"/{N;N;N;N;N;N;N;N;N;N;N;N; s/.*<div class="caption"[^<]*>\(.*\)<\/div>.*<div.*/\1/p}'   $1`
93.         if [ -z "$INTRO1" ];then
94.                 INTRO1=`sed -n -e '/<div class="photogallerytext"/{N;N;N;N;N;N;N;N;N;N;N;N; s/.*<div class="photogallerytext"[^<]*>\(.*\)<\/div>.*<div.*/\1/p}'   $1`
95.         fi
97.         if [ -z "$INTRO1" ];then
98.                 INTRO1=`sed -n -e '/<div class="photocaption"/{N;N;N;N;N;N;N;N;N;N;N;N; s/.*<div class="photocaption"[^<]*>\(.*\)<\/div>.*<div.*/\1/p}'   $1`
99.         fi
100.         if [ -z "$INTRO1" ];then
101.                 INTRO1=` sed -n -e 's/.*<div class="wmDarkGreyBodyText"[^<]*>\(.*\)<\/div>/\1/p' $1`
102.         fi
105. }
108. srel_jpgname()
109. {
111.         JPGNAME=`sed -n -e 's/.*<a href="\(.*jpg\)">.*1280 x 1024 pixels.*/\1/p'  $1`
112.        
114.         if [ -z "${JPGNAME}" ] ;then
115.                 JPGNAME=`sed -n -e 's/.*<a href="\(.*jpg\)">.*1024 x 768 pixels.*/\1/p' $1`
116.         fi
118.         # only has 800x600 jpg
119.         if [ -z "${JPGNAME}" ] ;then
120.                 JPGNAME=`sed -n -e 's/.*src="\(.*sw\.jpg\)".*/\1/p'  $1`
121.         fi
123.         if [ -z "${JPGNAME}" ] ;then
124.                 JPGNAME=`sed -n -e 's/.*src="\(.*800.*jpg\)".*/\1/p'  $1`
125.         fi
127.         if [ -z "${JPGNAME}" ] ;then
128.                 JPGNAME=`sed -n -e 's/.*src="\(.*photo_lg.*jpg\)".*/\1/p'  $1`
129.         fi
131.         if [ -z "${JPGNAME}" ] ;then
132.                 JPGNAME=`sed -n -e 's/.*src="\(.*ga\.jpg\)".*/\1/p'  $1`
133.         fi
134. }
136. s_alpha()
137. {       
138.         # read first alpha of jpgname
139.         #sed -n -e 's/.*\/\([a-zA-Z]\).*jpg/\1/p'  $1
140.         sed -n -e 's/\(^.\).*jpg/\1/p'  $1
141. }
143. s_relateddir1()
144. {       
145.         # get relateddir
146.         sed -n -e 's/.*com\/\(.*\)\/.*\.html/\1/p' $1
147. }
148. s_relateddir2()
149. {       
150.         # get relateddir
151.         sed -n -e 's/\/\(.*\)\/.*\.html/\1/p' $1
152. }
154. s_relatedlink()
155. {
156.         sed -n -e '/<h3>/{N;N;N;N;N;N;s/.*<a href="\(.*html\).*>\(.*\)<\/a>.*/\1 \2/p}' $1
157. }
158. s_relatedlink2()
159. {
160.         sed -n -e '/<div class="WhatsHotTitle/{s/.*<a href="\(.*html\).*>\(.*\)<\/a>.*/\1 \2/p}' $1
161. }
162. s_reltype()
163. {       
164.         sed -n -e 's/\([a-zA-Z]*\)\/.*/\1/p'  $1
165. }
167. check_jpg()
168. {
169.         local TEST
170.         local SIZE
171.         if [ ! -f $1 ];then
172.                 #file not exist,do not need to check
173.                 return
174.         fi
176.         # if a jpeg filesize is less than 6KByte,
177.         # delete it
178.         SIZE=`wc -c $1 | awk '{print $1}'`
179.         if [  $SIZE -lt 6000 ];then
180.                 rm -f $1
181.                 return
182.         fi
183.         TEST=`file $1 `
184.     # if the jpg is not cracked,TEST will be zero
185.         TEST=`echo "$TEST" |sed -n -e 's/JPEG//p' `
187.         if [ -z "$TEST" ];then
188.                         rm -f $1
189.         fi
192. }
193. judge_type()
194. {
196.         bLINK=0
198.         if [ -z $1 ];then
199.                 return
200.         fi
203.         if [ "animals" == "$1" ];then
204.                 bLINK=1
205.         elif [ "photography" == "$1" ];then
206.                 bLINK=2
207.         elif [ "science" == "$1" ];then
208.                 bLINK=3
209.         elif [ "places" == "$1" ];then
210.                 bLINK=4
211.         elif [ "history" == "$1" ];then
212.                 bLINK=5
214.         fi
217. }
219. create_head()
220. {
221.         local FNAME TITLE LINK
222.         FNAME=$1
223.         TITLE=$2
224.         LINK=$3
226.                 echo "<html><head>" >> ${FNAME}
227.                 #echo "<meta http-equiv=Content-Type content="text/html; charset=iso8859-1">" >>  ${FNAME}
228.                 echo "<meta http-equiv=Content-Type content="text/html; charset=utf8">" >>  ${FNAME}
229.                 echo "<title>${TIILE}</title></head>" >> ${FNAME}
230.                
231.                 echo "<body bgcolor="gray">" >>$FNAME
232.                 echo "<table border="0" width="90%">" >>$FNAME
233.                 echo "<tr><td align="center">" >>$FNAME
234.                 echo "<h1><a target="_blank" href="${LINK}">${TITLE}</a></h1>" >>$FNAME
235.                 echo "</td></tr>" >>$FNAME
236.                     echo "</table>" >>$FNAME
237. }
239. create_single()
240. {
241.         local FNAME LINKPRE NUM REALNAME
242.         local HTMLINK HTMNAME
243.         local JPGLOCAL JPGALPHA JPGBASENAME JPGREMOTE
244.         local COLOR
245.         local DIR
246.         FNAME="$1"
247.         LINKPRE="$2"
248.         NUM="$3"
249.         REALNAME="$4"
250.         HTMLINK="$5"
251.        
252.         HTMNAME=$6
253.        
255.         if [ -z "$7" ];then
256.                 color=888888
257.         else
258.                 color=FF0000
259.         fi       
262.                 #save to $INTRO1 $INTRO2
263.                 srel_intro ${TMP1}
264.                 srel_who ${TMP1}
265.                 #now link is point to wallpaper
266.                 srel_picfile ${TMP1}
267.                 # $FLINK1 may be null; that means no wallpaper pic,only small pic
268.                 if [ ! -z "${FLINK1}" ];then
269.                         rm -f        ${TMP1}
270.                         getfile  ${TMP1} ${LINKPRE}${FLINK1}
271.                         if [ -z "$INTRO1" ];then
272.                                 #save to $INTRO1 $INTRO2
273.                                 srel_intro ${TMP1}
274.                                 srel_who ${TMP1}
275.                         fi
276.                        
277.                         # try to get wallpaper
278.                         # use FLINK1 to store temp result
279.                         FLINK1=`echo "$FLINK1" | sed -n -e 's/wallpaper//p'`
280.                         if [ -z "$FLINK1" ];then
281.                                 FLINK1=`sed -n -e 's/.*<a href="\(.*\/wallpaper\/.*html\)">.*/\1/p' ${TMP1}`
282.                                 if [ ! -z "${FLINK1}" ];then
283.                                         rm -f        ${TMP1}
284.                                         getfile  ${TMP1} ${LINKPRE}${FLINK1}
285.                                 fi       
286.                         fi
287.        
288.                 fi
289.                 # save to $JPGNAME
290.                 srel_jpgname ${TMP1}
291.                
292.                 # there make be no pic,only reference link
293.                 # for examples,http://photography.nationalgeographic.com/photography/photographers/photography-timeline.html
294.                 if [ -z "${JPGNAME}"  ];then
295.                         echo "<hr><br>" >> $FNAME
296.                         if [ ! -z "${INTRO1}" ];then
297.                                 echo "<table border="0" width="100%">" >>$FNAME
298.                                 echo "                 <tr><td align="right" width="50%">" >>$FNAME
299.                                 echo "                                 <tr><td>${INTRO1}<br></td></tr>" >>$FNAME
300.                                 echo "                                 <tr><td>${INTRO2}</td></tr>" >>$FNAME
301.                                 echo "                 </tr>" >>$FNAME
302.                                 echo "</table>" >>$FNAME
303.                         fi       
304.                        
305.                         return
306.                 fi
307.                 if [ ! -z "${JPGNAME}" ];then
308.                         JPGBASENAME=`basename "${JPGNAME}"`       
309.                         JPGALPHA=`echo ${JPGBASENAME}  | s_alpha `
310.                         DIR="image/${JPGALPHA}"
311.                         if [ ! -d $DIR ];then
312.                                 mkdir -p $DIR;
313.                         fi
315.                 JPGLOCAL="${DIR}/${JPGBASENAME}"
316.        
317.                 JPGREMOTE="${LINKPRE}${JPGNAME}"
318.                 check_jpg $JPGLOCAL
319.                 if [ ! -f ${JPGLOCAL} ];then
320.                         rm -f ${TMPJPG}
321.                         getfile ${TMPJPG} ${JPGREMOTE}
322.                         check_jpg ${TMPJPG}
323.                         if [  -f ${TMPJPG} ];then
324.                                 mv -f ${TMPJPG} ${JPGLOCAL}
325.                         fi
326.                 fi
327.                        
328.                 echo "        <table border="0"  width="100%" bgcolor="\#${COLOR}"><tr>" >>$FNAME
329.                 echo "                <td align="center"><a href="${HTMLINK}">${HTMNAME}</a></td>" >>$FNAME
330.                 echo "        </tr></table>" >>$FNAME
332.                 echo "<table border="0" width="100%">" >>$FNAME
333.                 echo "                 <tr><td align="right" width="50%">" >>$FNAME
334.                 echo "                        <table border="0" width="100%">" >>$FNAME
335.                 echo "                                 <tr><td><br>${INTRO1}<br></td></tr>" >>$FNAME
336.                 if [ ! -z "${INTRO2}" ];then
337.                         echo "                                 <tr><td><hr>${INTRO2}</td></tr>" >>$FNAME
338.                 fi       
339.                 echo "                         </table></td>" >>$FNAME
340.                 # dirlevel must be 2 or 3
341.                 if [ 2 -eq $DIRLEVEL ];then
342.                         echo "                         <td align="center" width="500"><a target="_blank" href="../../${JPGLOCAL}"><img src="../../${JPGLOCAL}" width=480 align=right></a></td>" >>$FNAME
343.                 else
344.                         echo "                         <td align="center" width="500"><a target="_blank" href="../../../${JPGLOCAL}"><img src="../../../${JPGLOCAL}" width=480 align=right></a></td>" >>$FNAME
346.                 fi
347.                 echo "                 </tr>" >>$FNAME
348.                 echo "</table>" >>$FNAME
349.        
350.                 fi # end of if [ ! -z ${JPGNAME} ]
354. }
356. get_relrel()
357. {
358.         local FNAME  NUM LPRE TYPE TEST
359.         local RELNAME RELLINK RELDIR  RELLOCAL
360.         local ARRAYLINK ARRAYDIR ARRAYNAME TOTAL
361.         local COUNT
363.         FNAME=$1
364.         NUM=$2
365.         TOTAL=0
366.        
367.                         s_relatedlink $TMP3 > $TMP5
368.                         if [ ! -s $TMP5 ];then
369.                                 s_relatedlink2 $TMP3 >$TMP5
370.                         fi
371.                         echo "<br><hr>" >>$FNAME
372.                         exec 4<&0 0< "$TMP5"
373.                         while read RELLINK RELNAME ;do
375.                                 TEST=`echo $RELLINK | sed -n -e 's/index\.html//p'`
376.                                 if [ ! -z "$TEST" ];then
377.                                         continue
378.                                 fi
379.                                 TEST=`echo $RELLINK |sed -n -e 's/screensaver//p' `
380.                                 if [ ! -z "$TEST" ];then
381.                                         continue
382.                                 fi
383.                                 TEST=`echo $RELLINK |sed -n -e 's/photo-of-the-day//p' `
384.                                 if [ ! -z "$TEST" ];then
385.                                         continue
386.                                 fi
388.                                 RELDIR=`echo $RELLINK | s_relateddir1`
389.                                 if [ -z "$RELDIR" ];then
390.                                         RELDIR=`echo $RELLINK | s_relateddir2`
391.                                 fi
392.                                 TYPE=`echo ${RELDIR} | s_reltype `
393.                                 judge_type $TYPE
394.                                 if [ 0 -eq $bLINK ];then
395.                                         continue
396.                                 fi
397.                                
398.                                 RELLOCAL=`basename $RELLINK`
399.                                
400.                                 LPRE=`echo $RELLINK | s_linkpre `
401.                                 if [ -z "$LINKPRE" ];then
402.                                         if [ $bLINK == 1 ];then
403.                                                 RELLINK="http://animals.nationalgeographic.com${RELLINK}"
404.                                         elif [ $bLINK == 2 ];then
405.                                                 RELLINK="http://photography.nationalgeographic.com${RELLINK}"
406.                                         elif [ $bLINK == 3 ];then
407.                                                 RELLINK="http://science.nationalgeographic.com${RELLINK}"
408.                                         else
409.                                                 RELLINK="http://www3.nationalgeographic.com${RELLINK}"
410.                                                 fi
411.                                 fi
412.                                 # dirlevel must be 2 or 3
413.                                 if [ 2 -eq $DIRLEVEL ];then
414.                                         echo "<br><a href="../../${RELDIR}/${RELLOCAL}">${RELNAME}</a>" >>$FNAME
415.                                 else
416.                                         echo "<br><a href="../../../${RELDIR}/${RELLOCAL}">${RELNAME}</a>" >>$FNAME
418.                                 fi
419.                                 ARRAYLINK[TOTAL]=${RELLINK}
420.                                 ARRAYDIR[TOTAL]=${RELDIR}
421.                                 ARRAYNAME[TOTAL]="${RELNAME}"  # may has space
422.                                 TOTAL=`expr $TOTAL + 1`
424.                         done
425.                           exec 0<&4
426.                
427.                         rm -f $TMP5
428.                         #create html file end
429.                         echo "<br></body></html>" >>$FNAME
430.                         # use $COUNT to store temp result
431.                         COUNT=`sed -n -e 's/<\/html>//p' ${3} `
432.                         if [ !  -z "$COUNT"  ];then
433.                                 # file exist and finish
434.                                 return
435.                         fi
436.                         # create file
437.                         cat $FNAME > $3
438.                         COUNT=0
439.                         if [  0 -lt $NUM ];then
440.                                 while [ $COUNT -lt $TOTAL ] ;do
441.                                         update_rel  "${ARRAYLINK[$COUNT]}" "${ARRAYDIR[$COUNT]}"  "${ARRAYNAME[$COUNT]}" $NUM
442.                                         COUNT=`expr $COUNT + 1`
443.                                 done
444.                         fi
447. }
450. update_rel()
451. {
452.         local FNAME NAME REALNAME
453.         local DIR LINK LINKPRE LPRE
454.         local TEST T T1 T2 DIR2
455.         local NUM  TYPE TITLE
456.         local CLUSTER HTMNAME
457.         local CTYPE CUR C1 C2
459.         if [  $# -ne  4 ];then
460.                 return
461.         fi
463.         NUM=$4
464.         if [ $NUM -lt 1 ];then
465.                 return
466.         fi
467.        
468.         if [ -z $2 ];then
469.                 return
470.         fi
471.        
472.         if [ 9 -lt $NUM ];then
473.                 NUM=9
474.         fi
475.         NAME=`basename $1`
476.         DIR=$2
477.         TITLE=$3
479.         get_dirlevel $DIR
480.         if [ ! -d "${DIR}" ];then
481.                 mkdir -p ${DIR}
482.         fi
484.         FNAME="${DIR}/${NAME}"
485.        
486.         NUM=`expr $NUM - 1 `
488.         LINKPRE=`echo $1 | s_linkpre `
489.         if [ -z "$LINKPRE" ];then
491.                 judge_type `echo ${DIR} | s_reltype `
492.                 if [ $bLINK == 1 ];then
493.                         LINKPRE="http://animals.nationalgeographic.com"
494.                 elif [ $bLINK == 2 ];then
495.                         LINKPRE="http://photography.nationalgeographic.com"
496.                 elif [ $bLINK == 3 ];then
497.                         LINKPRE="http://science.nationalgeographic.com"
498.                 else
499.                         LINKPRE="http://www3.nationalgeographic.com"
500.                         fi
501.                 LINK=${LINKPRE}${1}
503.         else
504.                 LINK=$1
505.         fi
507.         if [ -f $FNAME   ];then
508.                
509.                 #use REALNAME to store temp resule
510.                 REALNAME=`sed -n -e 's/<\/html>//p' $FNAME`
511.                 if [ ! -z "$REALNAME" ];then
512.                         # last-run finish parsing $FNAME,
513.                         # so return
514.                         return
515.                 fi
516.                 # $FNAME should be empty
517.                 # means last-run is interrupt
518.                 # continue to parse
519.         else
520.                 touch $FNAME
521.         fi
522.        
523.         CLUSTER=`echo "$LINK" | sed -n -e 's/.*\/\([^.]*\)\.html/\1/p' `
524.         C1=0
525.         CTYPE=`echo "$DIR" | sed -n -e 's/.*\/\([^/]*\)/\1/p' `
526.        
527.         REALNAME=$FNAME
528.         #first write it to tmp introfile
529.         FNAME=$TMP6
530.         rm -f $TMP6
532.         getfile  ${TMP1} ${LINK}
533.                
534.         #save tmp1 to tmp3,for get_relrel() use
535.         cp -f ${TMP1} ${TMP3}
536.                
537.         HTMNAME=`echo $LINK | sed -n -e 's/.*\/\([^.]*\)\.html/\1/p' `
538.         create_head ${FNAME} ${HTMNAME} ${LINK}
539.        
540.         TEST=`sed  -n -e 's/<a href="\([^>]*\.html\)"[^>]*><img[^>]*><\/a>/\1 /gp' $TMP1 `
541.        
542.                
543.         T=0
544.         while [ ! -z "TEST" ];do
545.                 T1=`echo $TEST | sed -n -e 's/\([^ ]*\) \(.*\)/\1/p' `
546.                 T2=`echo $TEST | sed -n -e 's/\([^ ]*\) \(.*\)/\2/p' `
547.                 TEST=$T2
548.                 if [ -z "$T1" ];then
549.                         break
550.                 fi
551.                 DIR2=`echo $T1 | sed -n -e 's/.*\/\([^/]*\)\/[^.]*\.html/\1/p' `
552.                 HTMNAME=`echo $T1 | sed -n -e 's/.*\/\([^.]*\)\.html/\1/p' `
553.                 #save related htm of current pic
554.                 if [ "$DIR2" == "$CTYPE" ];then
555.                         T1=`basename $T1`
556.                         CUR[$C1]="${LINKPRE}/${DIR}/${T1}"
557.                         C1=`expr $C1 + 1`
558.                 fi
561.                 #get related pic of current html
562.                 if [ "$DIR2" == "$CLUSTER" ];then
563.                         T=`expr $T + 1`
564.                         if [ 1 -eq $T ];then
565.                                 #ingore the first piclink,cause it direct same with current html
566.                                 # for example, http://photography.nationalgeographic.com/photography/photos/digital-photography-tips.html
567.                                 #get pic of current html ,cuase the first piclink mayby empty
568.                                 create_single ${FNAME} ${LINKPRE} ${NUM} ${REALNAME} ${LINK} ${HTMNAME}
569.                                 continue
570.                         fi
572.                         # related pic link may appear in current html but empty
573.                         # for example, http://animals.nationalgeographic.com/animals/photos/monkeys.html
574.                         # has 11 pic link,but link0 link1 could not get from website
575.                        
576.                         LPRE=`echo $T1 | s_linkpre `
577.                         if [ -z "$LPRE" ];then
578.                                 getfile  ${TMP1} ${LINKPRE}${T1}
579.                                 create_single "${FNAME}" "${LINKPRE}" "${NUM}" "${HTMNAME}" "${LINKPRE}${T1}" ${HTMNAME}
580.                         else
581.                                 getfile  ${TMP1} $T1
582.                                 create_single "${FNAME}" "${LINKPRE}" "${NUM}" "${REALNAME}" "${T1}" "${HTMNAME}"
584.                         fi
585.                 fi
587.         done
589.         if [ 0 -eq "$T" ];then
590.                 cp -f ${TMP3} ${TMP1}
591.                 #get pic of current html
592.                 HTMNAME=`echo $LINK | sed -n -e 's/.*\/\([^.]*\)\.html/\1/p' `
593.                 create_single ${FNAME} ${LINKPRE} ${NUM} ${REALNAME} ${LINK} ${HTMNAME}
594.         fi
595.        
596.         C2=0       
597.         while [ "$C2" -lt "$C1" ];do
598.                 HTMNAME=`echo ${CUR[$C2]} | sed -n -e 's/.*\/\([^.]*\)\.html/\1/p' `
599.                 getfile  ${TMP1} "${CUR[$C2]}"
600.                 create_single "${FNAME}" "${LINKPRE}" "${NUM}" "${REALNAME}" "${CUR[$C2]}" "${HTMNAME}" 1
602.                 C2=`expr $C2 + 1`
603.         done
605.         # get related links of current html
606.         get_relrel $FNAME   $NUM $REALNAME
607.                        
608. }
610. parse_toplink()
611. {
612.         local LPRE RELLINK RELNAME RELDIR EXLINK
613.         local TEST
614.         local COUNT=0 TMPCOUNT=0
615.         local LINKS NAMES DIRS
616.         local LINKSTOTAL=0
618.         getfile $TMP1 "$1"
619.         s_toplink $TMP1 >"$TMP5"
620.        
621.         EXLINK=`echo $1 |s_linkpre  `
625.         exec 3<&0 0<$TMP5
626.         while read RELLINK RELNAME; do
627.                 TEST=`echo $RELLINK | sed -n -e 's/index\.html//p'`
628.                 if [ ! -z "$TEST" ];then
629.                         continue
630.                 fi
631.                 TEST=`echo $RELLINK |sed -n -e 's/screensaver//p' `
632.                 if [ ! -z "$TEST" ];then
633.                         continue
634.                 fi
635.                 TEST=`echo $RELLINK |sed -n -e 's/photo-of-the-day//p' `
636.                 if [ ! -z "$TEST" ];then
637.                         continue
638.                 fi
640.                 RELDIR=`echo $RELLINK | s_relateddir1`
641.                 if [ -z "$RELDIR" ];then
642.                         RELDIR=`echo $RELLINK | s_relateddir2`
643.                 fi
644.                 TYPE=`echo ${RELDIR} | s_reltype `
645.                 judge_type $TYPE
646.                 if [ 0 -eq $bLINK ];then
647.                         continue
648.                 fi
650.                 LPRE=`echo $RELLINK | s_linkpre `
651.                 if [ -z "$LPRE" ];then
652.                         RELLINK=${EXLINK}${RELLINK}
653.                 fi
654.                 LINKS[$LINKSTOTAL]=$RELLINK
655.                 DIRS[$LINKSTOTAL]=$RELDIR
656.                 NAMES[$LINKSTOTAL]=$RELNAME
657.                 LINKSTOTAL=`expr $LINKSTOTAL + 1`
659.         done
660.         exec 0<&3
662.         exec 3<&0 0<$INTIMFILE
663.         read TMPCOUNT COUNT
664.         exec 0<&3
666.         if [ -z "$COUNT" ];then
667.                 COUNT=0
668.         fi
669.        
670.         while [ $COUNT -lt $LINKSTOTAL ];do
671.                 echo "$PROCESSNUM $COUNT" >$INTIMFILE
672.                 update_rel  "${LINKS[$COUNT]}" "${DIRS[$COUNT]}"  "${NAMES[$COUNT]}" 6
673.                 COUNT=`expr $COUNT + 1`
674.         done
676. }
680. ##################################################
681. # the script run from here
682. if [  $# -ne  4 ];then
683.         echo "this shell should be call by ngpod.sh"
684.         echo "do not directly run this shell"
685.         exit
686. fi
688. INTIMFILE=$1
689. touch $INTIMFILE
691. PROCESSNUM=$2
694. #for each process,the tmp files should be differ
695. TMP1=${TMP1}$2
696. TMP2=${TMP2}$2
697. TMP3=${TMP3}$2
698. TMP4=${TMP4}$2
699. TMP5=${TMP5}$2
700. TMP6=${TMP6}$2
701. TMPJPG=${TMPJPG}$2
703. parse_toplink "$3"
705. # need to delete tmpfiles
706. rm -f $TMP1 $TMP2 $TMP3 $TMP4 $TMP5
707. rm -f $TMP6 $TMPJPG
708. # so callphotos.sh can know these script finish
709. rm -f $INTIMFILE
711. # write to logfile,to let callphotos.sh know it finish  
712. echo $PROCESSNUM >> $4
714. # end of photos.sh
715. ####################

复制代码

mascot

感谢分享。。。。。。。。。。。。。。