Wget - выкачиваем сайт целиком

Версия для печатиОтправить другуPDF version

Рано или позндно, возникает необходимость загрузки файлов с веб-ресурсов напрямую на сервер. Конечно, можно пользоваться инструментом, поставляемым по умолчанию в FreeBSD - fetch. Однако он не предоставляет тех возможностей, которые есть у wget. На страницах ресурса множество примеров загрузок выполнено именно с использованием wget.

Для того, чтобы воспользоваться возможностями wget, необходимо выполнить его установку из портов:

# cd /usr/ports/ftp/wget && make install && rehash

Опции сборки устанавливаю следующие:

 

Options for wget 1.12_4

[ ] GNUTLS   Support for SSL via GnuTLS
[ ] IPV6     Support for IPv6
[X] NLS      Native Language Support with gettext
[X] OPENSSL  Support for SSL via OpenSSL
[X] IDN      Support IDN (Internationalized Domain Names)

Установка прошла не очень быстро, в основном за счет устанавливаемых зависимостей.

С возможностями wget можно ознакомиться на странице man-руководства.  Я же наведу только один пример - выкачка сайта целиком (как и было указано в названии статьи):

# wget -r -k -p -N -l 1 http://muff.kiev.ua/

Значение используемых ключей:

  • -r рекурсия
  • -k конвертация ссылок на полученных страницах
  • -p включать все содержимое страниц (картнки и т.п.)
  • -N включить time-stamping. Понадобится, если потом нужно будет скачать только обновившиеся ресурсы
  • -l глубина ссылок(по умолчанию 5)
  •  

 

Ваша оценка: Нет Средняя: 5 (2 голоса)

Re: Wget - выкачиваем сайт целиком

какая ос?

free bsd или Linux?

Можно такое сделать на CentOs?
 

Re: Wget - выкачиваем сайт целиком

OS FreeBSD

Можно и под Linux - wget только нужно установить. Можно даже под виндой - wget для windows тоже есть :)

Настройки просмотра комментариев

Выберите нужный метод показа комментариев и нажмите "Сохранить установки".

Вставай, Україно!

Литература