设为首页收藏本站

LinuxSir.cn，穿越时空的Linuxsir!

 找回密码
 注册
搜索
热搜: shell linux mysql
LinuxSir.cn，穿越时空的Linuxsir!»论坛 › Linux 发行版讨论区 —— LinuxSir.cn › Archlinux讨论区 › 发一个利用web进行镜像同步的脚本， 写的比较随意， 但 ...
12下一页
返回列表 发新帖
查看: 2186|回复: 11

发一个利用web进行镜像同步的脚本， 写的比较随意， 但思路还算清晰！！

[复制链接]
发表于 2008-1-29 11:03:00 | 显示全部楼层 |阅读模式

  2. #!/bin/bash
  3. RSYNC_HOST=rsync://mirrors.easynews.com
  4. RSYNC_ROOT=mirrors/linux/archlinux

  6. DOWN_HOST=http://mirror.pacific.net.au
  7. DOWN_ROOT=linux/archlinux

  9. RSYNC_PROXY="10.1.32.232:808"
  10. HTTP_PROXY="http://10.1.32.232:808"

  12. SECTIONS="core extra community"

  14. ARCH=i686

  16. MAX_ERRORS=20
  17. ERROR_NUM=0

  19. cd /home/cyqdev/archlinux
  20. CWD=`pwd`

  22. TMP="${CWD}/.tmp"

  24. export RSYNC_PROXY="$RSYNC_PROXY"
  25. export http_proxy="$HTTP_PROXY"

  27. mkdir -p $TMP
  28. get_pkg_list() {
  29.    for section in $SECTIONS
  30.    do
  31.       syncpkglistfile=${TMP}/${section}_sync
  32.       if [ -f "$syncpkglistfile" ]; then
  33.          rm -v $syncpkglistfile
  34.       fi
  35.       echo "Get $section sync informations..."
  36.       rsync -avzn --no-l --no-H --no-p --no-o --no-g --delete \
  37.                     ${RSYNC_HOST}/${RSYNC_ROOT}/${section}/os/${ARCH}/ ${CWD}/${section}/ > ${syncpkglistfile}
  38.       echo "Get $section sync informations done."
  39.       if [ "$?" != "0" ]; then
  40.          echo "Get package list error"
  41.          exit 1
  42.       fi
  43.    done
  44. }

  46. download_pkgs() {
  47.    for section in $SECTIONS
  48.    do
  49.       syncpkglistfile=${TMP}/${section}_sync
  50.       section_dir=${CWD}/${section}

  52.       if [ ! -d "$section_dir" ]; then
  53.          mkdir -p $section_dir
  54.       fi

  56.       # remove deleting files
  57.       for delfile in `grep '^deleting*' $syncpkglistfile`
  58.       do
  59.          rm ${section_dir}/${delfile}
  60.       done

  62.       # download packages
  63.       for pkg in `grep '\.pkg\.tar\.gz$' $syncpkglistfile`
  64.       do
  65.          pkg_url=${DOWN_HOST}/${DOWN_ROOT}/${section}/os/${ARCH}/${pkg}
  66.          wget -c -T 10 -nv -a ${CWD}/syncmirror_log $pkg_url -O ${section_dir}/${pkg}
  67.          if [ "$?" != "0" ]; then
  68.             echo "Download package $pkg_url error"
  69.             ERROR_NUM=`expr $ERROR_NUM + 1`
  70.             if [ "$ERROR_NUM" = "$MAX_ERRORS" ]; then
  71.                echo "Error number had arrived at max, exit!!!"
  72.                exit 1
  73.             fi
  74.          fi
  75.       done
  76.    done
  77. }

  79. get_pkg_list   >> ${CWD}/syncmirror_log
  80. download_pkgs  >> ${CWD}/syncmirror_log
复制代码
回复

使用道具 举报

zlowly
发表于 2008-1-29 12:56:44 | 显示全部楼层
严重支持！
另外建议加上这样的功能：
1、可以从命令行传mirror url参数,不局限于rsync://mirrors.easynews.com
2、可以命令行传如repo参数。自主决定同步哪个仓库（不带参数则同步所有）

这样的好处是，我可以同时执行三个这样的脚本，同时同步三个仓库（为提高速率可以是三个不同的镜像地址），效率更高，自由度更大。
回复 支持 反对

使用道具 举报

 楼主| 发表于 2008-1-29 13:39:57 | 显示全部楼层

New version!!!


  2. #!/bin/bash

  4. #---------------------------------------------------------------------------
  5. # - Argument list:
  6. # - 1,  RSYNC_HOST
  7. # - 2,  RSYNC_ROOT
  8. # - 3,  DOWN_HOST
  9. # - 4,  DOWN_ROOT
  10. # - 5,  ARCH
  11. # - 6,  SECTIONS
  12. # - 7,  LOG FILE PATH
  13. # - 8,  DEST DIRECTORY
  14. #--------------------------------------------------------------------------

  16. if [ ! -z "$1" ]; then
  17.    RSYNC_HOST=$1
  18. else
  19.    RSYNC_HOST=rsync://mirrors.easynews.com
  20. fi
  21. if [ ! -z "$2" ]; then
  22.    RSYNC_ROOT=$2
  23. else
  24.    RSYNC_ROOT=mirrors/linux/archlinux
  25. fi

  27. if [ ! -z "$3" ]; then
  28.    DOWN_HOST=$4
  29. else
  30.    DOWN_HOST=http://mirror.pacific.net.au
  31. fi
  32. if [ ! -z "$4" ]; then
  33.    DOWN_ROOT=$4
  34. else
  35.    DOWN_ROOT=linux/archlinux
  36. fi

  38. #RSYNC_PROXY="10.1.32.232:808"
  39. #HTTP_PROXY="http://10.1.32.232:808"

  41. if [ ! -z "$6" ]; then
  42.    SECTIONS=$6
  43. else
  44.    SECTIONS="core extra community"
  45. fi

  47. if [ ! -z "$5" ]; then
  48.    ARCH=$5
  49. else
  50.    ARCH=i686
  51. fi

  53. MAX_ERRORS=20
  54. ERROR_NUM=0

  56. if [ ! -z "$8" ]; then
  57.    DEST_DIR=$8
  58. else
  59.    DEST_DIR=/home/cyqdev/archlinux
  60. fi

  62. cd $DEST_DIR
  63. CWD=`pwd`

  65. TMP="${CWD}/.tmp"

  67. if [ ! -z "$7" ]; then
  68.    LOG_FILE=$7
  69. else
  70.    LOG_FILE=${CWD}/websync_log
  71. fi

  73. export RSYNC_PROXY="$RSYNC_PROXY"
  74. export http_proxy="$HTTP_PROXY"

  76. mkdir -p $TMP
  77. get_pkg_list() {
  78.    for section in $SECTIONS
  79.    do
  80.       syncpkglistfile=${TMP}/${section}_sync
  81.       if [ -f "$syncpkglistfile" ]; then
  82.          rm -v $syncpkglistfile
  83.       fi
  84.       echo "Get $section sync informations..."
  85.       rsync -avzn --no-l --no-H --no-p --no-o --no-g --delete \
  86.                     ${RSYNC_HOST}/${RSYNC_ROOT}/${section}/os/${ARCH}/ ${CWD}/${section}/ > ${syncpkglistfile}
  87.       echo "Get $section sync informations done."
  88.       if [ "$?" != "0" ]; then
  89.          echo "Get package list error"
  90.          exit 1
  91.       fi
  92.    done
  93. }

  95. download_pkgs() {
  96.    for section in $SECTIONS
  97.    do
  98.       syncpkglistfile=${TMP}/${section}_sync
  99.       section_dir=${CWD}/${section}

  101.       if [ ! -d "$section_dir" ]; then
  102.          mkdir -p $section_dir
  103.       fi

  105.       # remove deleting files
  106.       for delfile in `grep '^deleting*' $syncpkglistfile`
  107.       do
  108.          rm ${section_dir}/${delfile}
  109.       done

  111.       # download packages
  112.       for pkg in `grep '\.pkg\.tar\.gz$' $syncpkglistfile`
  113.       do
  114.          pkg_url=${DOWN_HOST}/${DOWN_ROOT}/${section}/os/${ARCH}/${pkg}
  115.          wget -c -T 10 -nv -a ${LOG_FILE} $pkg_url -O ${section_dir}/${pkg}
  116.          if [ "$?" != "0" ]; then
  117.             echo "Download package $pkg_url error"
  118.             ERROR_NUM=`expr $ERROR_NUM + 1`
  119.             if [ "$ERROR_NUM" = "$MAX_ERRORS" ]; then
  120.                echo "Error number had arrived at max, exit!!!"
  121.                exit 1
  122.             fi
  123.          fi
  124.       done
  125.    done
  126. }

  128. get_pkg_list   >> ${LOG_FILE}
  129. download_pkgs  >> ${LOG_FILE}

复制代码


没时间搞了！  改进一下吧！  参数列表在注释中已经写明了， 注意必须给出所有参数，因为参数解析是按照顺利来的， 该脚步可根据自己的需要修改！！
回复 支持 反对

使用道具 举报

cwjiof
发表于 2008-1-29 14:01:43 | 显示全部楼层
看上去挺不错的。
回复 支持 反对

使用道具 举报

zlowly
发表于 2008-1-29 15:37:42 | 显示全部楼层
core extra community，i686和x86_64一起有18G，着实不少啊。
回复 支持 反对

使用道具 举报

 楼主| 发表于 2008-1-29 16:18:03 | 显示全部楼层
由于工作的原因在加上网络速度受限， 不得已而为之的， 其实把对应的ARCH镜像下载下来，

放到自己的硬盘上, 定时的去更新我觉得这样做比较适合我自己，i686的共计才8G多，对于debian来说算不了什么！！

实在是受不了rsync那速度， 如果网速可以的话开启多线程，我想很快就同步完了！ 呵呵！！

如果下载完了， 要想保证下载中没有出现错误，推荐还是在使用一下rsync的比较好， 上面的

脚步只能起到镜像同步加速！

以下是加了rsync校验功能的脚步：
  2. #!/bin/bash
  4. RSYNC_HOST=rsync://mirrors.easynews.com
  5. RSYNC_ROOT=mirrors/linux/archlinux
  6. DOWN_HOST=http://mirror.pacific.net.au
  7. DOWN_ROOT=linux/archlinux
  9. #RSYNC_PROXY="10.1.32.232:808"
  10. #HTTP_PROXY="http://10.1.32.232:808"
  12. SECTIONS="core extra community"
  14. ARCH=i686
  16. MAX_ERRORS=20
  17. ERROR_NUM=0
  19. DEST_DIR=/home/cyqdev/archlinux
  21. cd $DEST_DIR
  22. CWD=`pwd`
  24. TMP="${CWD}/.tmp"
  26. LOG_FILE=${CWD}/websync_log
  28. if [ ! -z "$RSYNC_PROXY" ]; then
  29.    export RSYNC_PROXY="$RSYNC_PROXY"
  30. fi
  31. if [ ! -z "$HTTP_PROXY" ]; then
  32.    export http_proxy="$HTTP_PROXY"
  33. fi
  35. mkdir -p $TMP
  36. get_pkg_list() {
  37.    for section in $SECTIONS
  38.    do
  39.       syncpkglistfile=${TMP}/${section}_sync
  40.       if [ -f "$syncpkglistfile" ]; then
  41.          rm -v $syncpkglistfile
  42.       fi
  43.       echo "Get $section sync informations..."
  44.       rsync -avzn --no-l --no-H --no-p --no-o --no-g --delete \
  45.                     ${RSYNC_HOST}/${RSYNC_ROOT}/${section}/os/${ARCH}/ ${CWD}/${section}/ > ${syncpkglistfile}
  46.       echo "Get $section sync informations done."
  47.       if [ "$?" != "0" ]; then
  48.          echo "Get package list error"
  49.          exit 1
  50.       fi
  51.    done
  52. }
  54. do_rsync() {
  55.   rsync -avz -no-l --no-H --no-p --no-o --no-g --delete \
  56.      ${RSYNC_HOST}/${RSYNC_ROOT}/${section}/os/${ARCH}/ ${CWD}/${1}/
  57.   if [ "$?" != "0" ]; then
  58.      echo "rsync section $1 error"
  59.      exit 1
  60.   fi
  61. }
  63. download_pkgs() {
  64.    for section in $SECTIONS
  65.    do
  66.       syncpkglistfile=${TMP}/${section}_sync
  67.       section_dir=${CWD}/${section}
  69.       if [ ! -d "$section_dir" ]; then
  70.          mkdir -p $section_dir
  71.       fi
  73.       # remove deleting files
  74.       for delfile in `grep '^deleting*' $syncpkglistfile`
  75.       do
  76.          rm ${section_dir}/${delfile}
  77.       done
  79.       # download packages
  80.       for pkg in `grep '\.pkg\.tar\.gz$' $syncpkglistfile`
  81.       do
  82.          pkg_url=${DOWN_HOST}/${DOWN_ROOT}/${section}/os/${ARCH}/${pkg}
  83.          wget -c -T 10 -nv -a ${LOG_FILE} $pkg_url -O ${section_dir}/${pkg}
  84.          if [ "$?" != "0" ]; then
  85.             echo "Download package $pkg_url error"
  86.             ERROR_NUM=`expr $ERROR_NUM + 1`
  87.             if [ "$ERROR_NUM" = "$MAX_ERRORS" ]; then
  88.                echo "Error number had arrived at max, exit!!!"
  89.                exit 1
  90.             fi
  91.          fi
  92.       done
  94.       # rsync
  95.       do_rsync $section
  96.    done
  97. }
  99. get_pkg_list   >> ${LOG_FILE}
  100. download_pkgs  >> ${LOG_FILE}
复制代码

其他有什么需要兄弟们自己去改吧！！
回复 支持 反对

使用道具 举报

发表于 2008-1-31 21:28:14 | 显示全部楼层
我原先已将所有的软件包下载了，如果现在使用该脚本，不用从头开始吧。对rsync不熟悉。
回复 支持 反对

使用道具 举报

 楼主| 发表于 2008-1-31 22:12:35 | 显示全部楼层
不需要从头开始，在使用rsync之前，最好先man一下rsync使用说明，如果操作不当，可能会把你已经存在文件给删除掉！！
回复 支持 反对

使用道具 举报

发表于 2008-1-31 23:09:07 | 显示全部楼层
读了一下脚本，有点不明白，rsync有传送文件和删除本地没有的多余的文件的功能，为什么还要用wget下载文件？既然可以用wget,为什么不用aria2c?
rsync的检验方法是什么呢？
我想将新下载的文件进行md5检验。
可以解析一下这个语句吗？
rsync -avzn --no-l --no-H --no-p --no-o --no-g --delete \
                    ${RSYNC_HOST}/${RSYNC_ROOT}/${section}/os/${ARCH}/ ${CWD}/${section}/ > ${syncpkglistfile}
回复 支持 反对

使用道具 举报

 楼主| 发表于 2008-2-1 08:31:59 | 显示全部楼层
这个命令只是获取要进行同步的包列表，并不进行实际的同步！

-n         显示要实际进行同步的操作
--no-l    不跟踪软连接
--no-H  不跟踪硬连接
--no-p   不进行权限同步
--no-o   不进行文件宿主同步
--no-g   不进行文件组同步
--delete 删除不在同步列表中存在的包

rsync 是使用md5进行校验的， 你可以自行参考rsync手册！！
回复 支持 反对

使用道具 举报

下一页 »
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则

快速回复 返回顶部 返回列表