ngpod

downcloud

国家地理改版了，原来的shell不行了，
制作了version 2,供大家使用

---------------------------------------------------------

献上一个下载national geographic Photo Of the Day的脚本，并请指正

NGPOD是National Geographic Photo Of the Day的缩写形式。这是美国国家地理杂志的一个栏目，网址为：http://lava.nationalgeographic.com/pod/。该栏目每天向大家提供一幅配有背景资料介绍的国家地理杂志上的照片。并提供两种分辨率（800x600以及1024x768）的Windows壁纸（wallpaper）下载。目前网络上到处流传的一些国家地理杂志的照片绝大多数来自这个栏目。

上面的话来自某位网友写的 windows的下ngpod的程序,NGPOD收藏家，
我是觉得，它的数据管理不爽，才想起写这个程序的。

1. 
   
2. #!/bin/bash
   
3. #####################################
   
4. #version 2. 20060807. downcloud@hotmail.com
   
5. #edit  on 20050920,downcloud@hotmail.com
   
6. 
   
7. ######################################
   
8. #NGPOD:national geographic Photo Of the Day
   
9. 
   
10. #the earliest ngpod is the  April 21, 2001
    
11. declare  BYEAR=1 BMONTH=4 BDAY=21
    
12. declare  EYEAR=6 EMONTH=8 EDAY=7
    
13. 
    
14. #download year,month,day
    
15. declare  DYEAR DMONTH DDAY
    
16. 
    
17. TRUE=1
    
18. FALSE=0
    
19. 
    
20. LOGFILE=.ngpod.log
    
21. 
    
22. declare JUDGE
    
23. 
    
24. ###############################################
    
25. #function difinition area
    
26. getday()
    
27. {
    
28.         if [ $BYEAR -gt $EYEAR ];then
    
29.                 exit
    
30.         elif [ $BYEAR -eq $EYEAR ];then
    
31.                 if [ $BMONTH -gt $EMONTH ];then
    
32.                         exit
    
33.                 elif [ $BMONTH -eq $EMONTH ];then
    
34.                         if [ $BDAY -gt $EDAY ];then
    
35.                                 exit;
    
36.                         fi
    
37.                 fi
    
38.         fi
    
39. 
    
40.         if [ $BYEAR -lt 10 ];then
    
41.                 DYEAR="0$BYEAR";
    
42.         else
    
43.                 DYEAR=$BYEAR;
    
44.         fi
    
45. 
    
46.         if [ $BMONTH -lt 10 ];then
    
47.                 DMONTH=0$BMONTH;
    
48.         else
    
49.                 DMONTH=$BMONTH;
    
50.         fi
    
51.        
    
52.         if [ $BDAY -lt 10 ];then
    
53.                 DDAY=0$BDAY;
    
54.         else
    
55.                 DDAY=$BDAY;
    
56.         fi
    
57. 
    
58.         echo "now is year:month:day====$DYEAR $DMONTH $DDAY"
    
59. 
    
60. 
    
61.         BDAY=`expr $BDAY + 1`;
    
62. 
    
63.         if [ $BMONTH -eq 2 ];then
    
64.                 if [ $BDAY -eq 29 ];then
    
65.                         if [ $BYEAR -ne 4 ];then
    
66.                                 BDAY=1;
    
67.                                 BMONTH=3;
    
68.                         fi
    
69.                         if [ $BYEAR -ne 8 ];then
    
70.                                 BDAY=1;
    
71.                                 BMONTH=3;
    
72.                         fi
    
73.                 fi
    
74.                
    
75.                 if [ $BDAY -eq 30 ];then
    
76.                         BDAY=1;
    
77.                         BMONTH=3;
    
78.                 fi
    
79.         fi
    
80. 
    
81.         if [ $BDAY -eq 32 ];then
    
82.                 BMONTH=`expr $BMONTH + 1 ` ;
    
83.                 BDAY=1;
    
84.         fi
    
85. 
    
86.         if [ $BDAY -eq 31 ];then
    
87.                 case  $BMONTH in
    
88.                         4)
    
89.                         BMONTH=5;
    
90.                         BDAY=1;
    
91.                         ;;
    
92.                         6)
    
93.                         BMONTH=7;
    
94.                         BDAY=1;
    
95.                         ;;
    
96.                         9)
    
97.                         BMONTH=10;
    
98.                         BDAY=1;
    
99.                         ;;
    
100.                         11)
     
101.                         BMONTH=12;
     
102.                         BDAY=1;
     
103.                         ;;
     
104.                 esac
     
105. 
     
106.         fi
     
107. 
     
108.         if [ $BMONTH -eq 13 ];then
     
109.                 BMONTH=1;
     
110.                 BYEAR=`expr $BYEAR + 1 `
     
111.         fi
     
112. 
     
113.         return $TRUE;
     
114. }
     
115. 
     
116. 
     
117. 
     
118. sedget_title1()
     
119. {
     
120.         sed -n -e 's/.*<title>National Geographic Photo of the Day:\(.*\)<\/title>.*/\1/p' $1
     
121. }
     
122. 
     
123. sedget_title2()
     
124. {
     
125.         sed -n -e 's/.*<title>\(.*\)<\/title>.*/\1/p' $1
     
126. }
     
127. 
     
128. sedget_titledate()
     
129. {
     
130.         sed -n -e 's/.*<span class="date">\(.*\)<\/span>.*/\1/p' $1
     
131. }
     
132. 
     
133. sedget_jpgname()
     
134. {
     
135.         sed -n -e 's/.*\/sm_wallpaper\/\(.*\)"><img.*/\1/p' $1
     
136. }
     
137. 
     
138. sedget_where()
     
139. {
     
140.         sed -n -e '/place-photographer" style=".*">/{N;s/.*>\(.*\)/\1/p}' $1
     
141. }
     
142. sedget_when()
     
143. {
     
144. sed -n -e '/.*place-photographer-sub/{s/[[:blank:]]*\([^ ].*\)<\/div.*/\1/p}' $1
     
145. }
     
146. sedget_who()
     
147. {
     
148.         sed -n -e 's/.*Photograph by\(.*\)<\/div>/\1/p' $1
     
149. }
     
150. sedget_intro()
     
151. {
     
152. 
     
153.         sed -n -e '/<div class="pod-caption"/{N;N;N;N;N;s/.*10px;">\(.*\)/\1/p}' $1 \
     
154.            | sed 's/<\/div><\/td>//p' \
     
155.         | sed 's/<td .*>//p' \
     
156.         | sed 's/<IF .*>//p' \
     
157.         | sed -n -e 's/[[:blank:]]*\([^ ].*\)/\1/p'
     
158. }
     
159. sedget_relatedlink()
     
160. {
     
161.         sed -n -e '/<REPEAT_LINKS>/{N;s/.*href="\(.*\)">\(.*\)<\/a>.*/\1/p}' $1
     
162. }
     
163. sedget_relatedname()
     
164. {
     
165.         sed -n -e '/<REPEAT_LINKS>/{N;s/.*href="\(.*\)">\(.*\)<\/a>.*/\2/p}' $1
     
166. }
     
167. 
     
168. 
     
169. create_introhead()
     
170. {
     
171.         local INTROFILE YEAR MONTH
     
172.         local -i DAY COUNT TMP
     
173.         if [ $# -ne 3 ];then
     
174.                 return $FALSE
     
175.         fi
     
176.        
     
177.         INTROFILE=$1
     
178.         if [ ! -f $INTROFILE ];then
     
179.                 touch $INTROFILE;
     
180.         else
     
181.                 return $FALSE
     
182.         fi
     
183.         echo "<html><head>" >>$INTROFILE;
     
184.         echo "<meta http-equiv=Content-Type content="text/html; charset=iso8859-1">" >> $INTROFILE;
     
185.         echo "<!-- htm file create and translate by downcloud@hotmail.com -->" >>$INTROFILE
     
186.         echo "<title>National Geographic Photo of the Day</title></head>" >>$INTROFILE
     
187.         YEAR=20$2
     
188.         case $3 in
     
189.                 01) MONTH=January; DAY=31 ;;
     
190.                 02) MONTH=February;
     
191.                         if [ $YEAR = "04" ];then
     
192.                                 DAY=29
     
193.                         else
     
194.                                 DAY=28
     
195.                         fi
     
196.                    ;;
     
197.                 03) MONTH=March        ;DAY=31 ;;
     
198.                 04) MONTH=April        ;DAY=30 ;;
     
199.                 05) MONTH=May        ;DAY=31 ;;
     
200.                 06) MONTH=June        ;DAY=30 ;;
     
201.                 07) MONTH=July        ;DAY=31 ;;
     
202.                 08) MONTH=August        ;DAY=31 ;;
     
203.                 09) MONTH=September        ;DAY=30 ;;
     
204.                 10) MONTH=October        ;DAY=31 ;;
     
205.                 11) MONTH=November        ;DAY=30 ;;
     
206.                 12) MONTH=December        ;DAY=31 ;;
     
207.                
     
208.                 ?) return $FALSE ;;
     
209.         esac
     
210.         echo "<body bgcolor="gray">" >>$INTROFILE
     
211.         echo "<table border="0" width="90%">" >>$INTROFILE
     
212.         echo "  <tr><td align="center">" >>$INTROFILE
     
213.         echo "      <h1><a target="_blank" href="http://lava.nationalgeographic.com/pod/index.html"> National Geographic Photo of the Day</a></h1>" >>$INTROFILE
     
214.         echo "  </td></tr>" >>$INTROFILE
     
215.         echo "  <tr><td align="center">" >>$INTROFILE
     
216.         echo "      <h2>${YEAR} , ${MONTH}</h2>" >>$INTROFILE
     
217.         echo "  </td></tr>" >>$INTROFILE
     
218.     echo "</table>" >>$INTROFILE
     
219.        
     
220.         echo "<table width="90%" border=1>" >>$INTROFILE
     
221.         COUNT=1
     
222.         TMP=0
     
223.         while [ $COUNT -le $DAY ]
     
224.         do
     
225.                 TMP=`expr $COUNT % 5`;
     
226.                 if [ $TMP -eq 1 ];then
     
227.                         echo "<tr>" >>$INTROFILE
     
228.                 fi
     
229.                
     
230.                 if [ $COUNT -le 9 ];then
     
231.                         echo "<td width="20%"><a href="#day0$COUNT">day 0$COUNT</a></td>" >>$INTROFILE
     
232.                 else
     
233.                         echo "<td width="20%"><a href="#day$COUNT">day $COUNT</a></td>" >>$INTROFILE
     
234.                 fi
     
235.                 TMP=`expr $COUNT % 5`
     
236.                 if [ $TMP -eq 0 ];then
     
237.                         echo "</tr>" >>$INTROFILE
     
238.                 fi
     
239.                 COUNT=`expr $COUNT + 1`
     
240.         done
     
241. 
     
242.         if [ $DAY -eq 28 ];then
     
243.                         echo "<td width="20%">&nbsp;</td>" >>$INTROFILE
     
244.                         echo "<td width="20%">&nbsp;</td>" >>$INTROFILE
     
245.                         echo "</tr>" >>$INTROFILE
     
246.         elif [ $DAY -eq 29 ];then
     
247.                         echo "<td width="20%">&nbsp;</td>" >>$INTROFILE
     
248.                         echo "</tr>" >>$INTROFILE
     
249.         elif [ $DAY -eq 31 ];then
     
250.                         echo "<td width="20%">&nbsp;</td>" >>$INTROFILE
     
251.                         echo "<td width="20%">&nbsp;</td>" >>$INTROFILE
     
252.                         echo "<td width="20%">&nbsp;</td>" >>$INTROFILE
     
253.                         echo "<td width="20%">&nbsp;</td>" >>$INTROFILE
     
254.                         echo "</tr>" >>$INTROFILE
     
255.         fi
     
256.        
     
257.        
     
258.         echo "</table><br><br>" >>$INTROFILE
     
259. 
     
260.         return $TRUE
     
261. }
     
262. 
     
263. create_tail()
     
264. {
     
265.         local INTROFILE
     
266. 
     
267.         if [ $# -ne 1 ];then
     
268.                 return $FALSE
     
269.         fi
     
270.        
     
271.         INTROFILE=$1
     
272. 
     
273.         echo "</body></html>" >>$INTROFILE
     
274. 
     
275.         if [ -e /usr/bin/dos2unix ];then
     
276.                 dos2unix $INTROFILE
     
277.         elif [ -e /bin/dos2unix ];then
     
278.                 dos2unix $INTROFILE
     
279.         fi
     
280.        
     
281. 
     
282. }
     
283. 
     
284. 
     
285. create_introtail()
     
286. {        local INTROFILE YEAR MONTH DAY
     
287. 
     
288.         if [ $# -ne 4 ];then
     
289.                 return $FALSE
     
290.         fi
     
291.        
     
292.         INTROFILE=$1
     
293.         YEAR=$2
     
294.         MONTH=$3
     
295.         DAY=$4
     
296. 
     
297.         #if is a month end,create_tail
     
298.         if [ $DAY="28" ] &&  [ $DAY="02" ] ;then
     
299.                 if [ ! $YEAR="04" ];then
     
300.                         if [ ! $YEAR="08" ];then
     
301.                                 create_tail $INTROFILE
     
302.                         fi
     
303.                 fi
     
304.                 return $TRUE
     
305.         fi
     
306. 
     
307.         if [ $DAY="29" ] && [ $DAY="02" ] ;then
     
308.                         create_tail $INTROFILE
     
309.                 return $TRUE
     
310.         fi
     
311.        
     
312.         if [ $DAY="30" ]  ;then
     
313.                 if [ $MONTH="04" ] || [ $MONTH="06" ] || [ $MONTH="09" ] || [ $MONTH="11" ] ;then
     
314.                         create_tail $INTROFILE
     
315.                 fi
     
316.                 return $TRUE
     
317.         fi
     
318.        
     
319.         if [ $DAY="31" ] ;then
     
320.                 create_tail $INTROFILE
     
321.         fi
     
322. }
     
323. 
     
324. update_intro()
     
325. {
     
326.         local INTROFILE DAY JPG1024 JPG400 HTMLINK
     
327.         local TITLE TITLEDATE WHERE WHEN WHO INTRO RELATEDLINK RELATEDNAME
     
328.         local ORIGNAME       
     
329.        
     
330.         INTROFILE=$1;
     
331.         DAY=$3
     
332.         JPG1024=$4
     
333.         JPG400=$5
     
334.         HTMLINK=$6
     
335.         ORIGNAME=$7
     
336.        
     
337.         TITLE=`sedget_title1 $2`
     
338.        
     
339.         TITLE=${TITLE:-`sedget_title2 $2`}
     
340.         #for some page,title may be empty
     
341.         TITLE=${TITLE:-"National Geographic Photo of the Day:"}
     
342.        
     
343.         TITLEDATE=`sedget_titledate $2`
     
344.         WHERE=`sedget_where $2`
     
345.         WHEN=`sedget_when $2`
     
346.         WHO=`sedget_who $2`
     
347.         INTRO=`sedget_intro $2`
     
348.         RELATEDLINK=`sedget_relatedlink $2`
     
349.         RELATEDNAME=`sedget_relatedname $2`
     
350.        
     
351.        
     
352.         echo "<br><a name="day${DAY}"></a><br>" >> $INTROFILE
     
353.         echo "<table border="0" width="90%">" >>$INTROFILE
     
354.         echo "        <table border="0"  width="100%" bgcolor="\#666666"><tr>" >>$INTROFILE
     
355.         echo "                <td width="45%" align="right" >${TITLE}</td>" >>$INTROFILE
     
356.         echo "                <td align="center"><a href="${HTMLINK}">${TITLEDATE}</a></td>" >>$INTROFILE
     
357.         echo "        </tr></table>" >>$INTROFILE
     
358.         echo "         <table border="0"  width="100%">" >>$INTROFILE
     
359.         echo "                 <tr><td align="right" width="40%">" >>$INTROFILE
     
360.         echo "                        <table border="0" width="100%">" >>$INTROFILE
     
361.         echo "                                 <tr><td width="5" >Name:</td><td>${ORIGNAME}</td></tr>" >>$INTROFILE
     
362.         echo "                                 <tr><td width="5" >Where:</td><td>${WHERE}</td></tr>" >>$INTROFILE
     
363.         echo "                                 <tr><td width="5" >When:</td><td>${WHEN}</td></tr>" >>$INTROFILE
     
364.         echo "                                 <tr><td width="5" >Photographer:</td><td>${WHO}</td></tr>" >>$INTROFILE
     
365.         echo "                                 <tr><td width="5" >Related:</td><td ><a href="${RELATEDLINK}">${RELATEDNAME}</a></td></tr>" >>$INTROFILE
     
366.         echo "                         </table></td>" >>$INTROFILE
     
367.         echo "                         <td align="center" width="400"><a target="_blank" href="${JPG1024}"><img src="${JPG400}" border="0"></a></td>" >>$INTROFILE
     
368.         echo "                 </tr>" >>$INTROFILE
     
369.         echo "         </table>" >>$INTROFILE
     
370.         echo " <tr><td><br>${INTRO}<br></td>" >>$INTROFILE
     
371.         echo " <p>" >>$INTROFILE
     
372.         echo " </p></tr>" >>$INTROFILE
     
373.         echo "</table>" >>$INTROFILE
     
374.        
     
375.         return $TRUE;       
     
376. }
     
377. 
     
378. #download ngpod
     
379. downloadngpod(){
     
380.         local YEAR MONTH DAY
     
381.         local DIR JPG1024 JPG400 INTROFILE
     
382.         local HTMLINK1 JPGLINK1024 JPGLINK400        EXLINK
     
383.         local TMPFILE1  FLIST
     
384.         local JPGNAME
     
385.        
     
386.         EXLINK="http://lava.nationalgeographic.com/"
     
387.         FLIST=./ngpod/filelist.txt
     
388.         TMPFILE1=.ngpod.tmp
     
389.        
     
390.         YEAR=$DYEAR
     
391.         MONTH=$DMONTH
     
392.         DAY=$DDAY
     
393.        
     
394.         DIR="ngpod/20${YEAR}/${MONTH}"
     
395.         mkdir -p "${DIR}_1024x768"
     
396.         mkdir -p "${DIR}_400x300"
     
397.        
     
398.        
     
399.             INTROFILE="ngpod/20${YEAR}/ngpod20${YEAR}${MONTH}intro.htm"
     
400.        
     
401.             if [ ! -f ${INTROFILE} ];then
     
402.                 create_introhead ${INTROFILE}  ${YEAR}  ${MONTH};
     
403.         fi
     
404.        
     
405.         HTMLINK1="${EXLINK}cgi-bin/pod/PhotoOfTheDay.cgi?month=${MONTH}&day=${DAY}&year=${YEAR}"
     
406.         `curl -o   ${TMPFILE1} ${HTMLINK1}  2>/dev/null`
     
407.         if [ ! -f ${TMPFILE1} ];then
     
408.                 echo "download ${THMLINK1} fail"
     
409.                 echo "download ${THMLINK1} fail" >>${LOGFILE}
     
410.                 return $FALSE;
     
411.         fi
     
412.         #get 1024x768 & 400x300 jpeg file link
     
413.         JPGNAME=`sedget_jpgname ${TMPFILE1}`
     
414. 
     
415.             JPG1024="${MONTH}_1024x768/ngpod20${YEAR}${MONTH}${DAY}_1024x768.jpg"
     
416.         JPG400="${MONTH}_400x300/ngpod20${YEAR}${MONTH}${DAY}_400x300.jpg"
     
417.        
     
418.         update_intro ${INTROFILE} ${TMPFILE1} ${DAY} ${JPG1024} ${JPG400} ${HTMLINK1} ${JPGNAME}
     
419.         create_introtail ${INTROFILE} $YEAR $MONTH $DAY
     
420.        
     
421.        
     
422.         JPG1024="ngpod/20${YEAR}/${JPG1024}"
     
423.         JPG400="ngpod/20${YEAR}/${JPG400}"
     
424. 
     
425.        
     
426.         JPGLINK400="${EXLINK}pod/pictures/normal/${JPGNAME}"
     
427.         JPGLINK1024="${EXLINK}pod/pictures/lg_wallpaper/${JPGNAME}"
     
428.         if [ ! -f ${JPG400} ];then
     
429.                 ` curl -o ${JPG400} ${JPGLINK400} 2>/dev/null`
     
430.         fi
     
431.         if [ ! -f ${JPG1024} ];then
     
432.                 ` curl -o ${JPG1024} ${JPGLINK1024} 2>/dev/null`
     
433.         fi
     
434.        
     
435.            if [ -f ${JPG1024} ];then
     
436.                 echo "------------------------------------ get $YEAR $MONTH $DAY ngpod  OK"
     
437.                 echo "get $YEAR $MONTH $DAY ngpod  OK" >>${LOGFILE}
     
438.         else
     
439.                 echo "?????????????? get $YEAR $MONTH $DAY ngpod  fail"
     
440.                 echo "get $YEAR $MONTH $DAY ngpod  fail">>${LOGFILE}
     
441.         fi
     
442.        
     
443.         #write jpg filelist
     
444.         echo "=========ngpod====20$YEAR:$MONTH:$DAY======" >>$FLIST
     
445.         echo "intro: $HTMLINK1" >>$FLIST
     
446.         echo " $JPGLINK1024" >>$FLIST
     
447.        
     
448.         rm -f ${TMPFILE1}
     
449.         return $TRUE
     
450. }
     
451. 
     
452. 
     
453. ##################################3
     
454. 
     
455. if [ ! -e /usr/bin/curl ];then
     
456.         if [ ! -e /bin/curl ];then
     
457.                 echo "could not find download program:curl "
     
458.         else
     
459.                 echo "/bin/curl exist. go on"
     
460.         fi
     
461. else
     
462.         echo "/usr/bin/curl exist. go on"
     
463. fi       
     
464. 
     
465. 
     
466. ########################################
     
467. echo "ngpod is national geographic photo of the day"
     
468. echo "This shell will download ngpod pictures"
     
469. echo " from ${BYEAR}/${BMONTH}/${BDAY} to ${EYEAR}/${EMONTH}/${EDAY}"
     
470. echo "To change begin/end day, edit this shell,line 10,11"
     
471. 
     
472. read -p "Now begin download(Y/N):" JUDGE
     
473. 
     
474. if [ ! $JUDGE = "y" ];then
     
475.         if [ ! $JUDGE = "Y" ];then
     
476.                 echo "This shell will exit now"
     
477.                 exit
     
478.         fi
     
479. fi
     
480. 
     
481. 
     
482. if [ ! -f ${LOGFILE} ];then
     
483.         touch ${LOGFILE}
     
484. fi
     
485. ##########################################
     
486. # function run from here
     
487. 
     
488. while [ $TRUE ]
     
489. do
     
490.        
     
491.         getday
     
492.         downloadngpod         $DYEAR $DMONTH $DDAY;
     
493. done
     
494. 
     
495. 
     

复制代码

2006 08 05 debug OK

downcloud

请教大家，怎么让 read从管道里读输入？
现在我的程序是先生成临时文件，在让read从临时文件里读

downcloud

enjoy

downcloud

顶上去，
ps:我这个程序只下载1024x768的和400x300的图片

kiron

Post by downcloud
请教大家，怎么让 read从管道里读输入？
现在我的程序是先生成临时文件，在让read从临时文件里读

read只能从标准输入或是文件描述符中得到输入，管道不行。这个在man里有描述了，我简略看了一下兄弟的脚本，很不错：）
下面这句：
tail -1 $LOGFILE
改成
mytmp=$(tail -1 $LOGFILE)

可以吗？就不必用临时文件了  :rolleyes:

downcloud

这个脚本还是有些问题的，最严重的是生成的htm在ie里不是想要的效果（好象不能算bug^_^）
中午我把下载完的图片给同事看才发现，还有其它的小问题，不一一说了

过两天改完再发一版本上来

seamonkey

我正想要一个下载国家地理POD的脚本，但现在Windows下，进入Linux后一定去研究一下。

yongjian

Post by kiron
read只能从标准输入或是文件描述符中得到输入，管道不行。这个在man里有描述了，我简略看了一下兄弟的脚本，很不错：）
下面这句：
tail -1 $LOGFILE
改成
mytmp=$(tail -1 $LOGFILE)

可以吗？就不必用临时文件了  :rolleyes:

under zsh, this can be done.

2. echo "abc" | read a
3. echo $a
4. abc

复制代码

under bash, you do something like

2. read a < <(echo "abc")
3. echo $a
4. abc

复制代码

downcloud

国家地理改版了，原来的shell不行了，
制作了version 2,供大家使用，见主贴

seamonkey

怎么从code框中把文本一次性全部复制下来？