Скачивание сайта с wget

Постоянно забываю о том, как скачивать сайт при помощи wget. Требуется это нечасто, но иногда очень нужно, а скачивать специализированные программы для этого не хочется, ведь знаешь же, что wget всё это может легко и быстро. Информация об этом есть по всему интернету, но хочется, чтобы всё было под рукой. Так что теперь не забуду :)

1
wget -r -k -l 7 -p -E -nc http://example.com/

Хочу обратить внимание на параметр -l, которому отправляется максимальное значение уровня вложенности, на котором wget перестанет бегать по ссылкам страниц и скачивать контент. Также, можно записать

1
wget -r -k -l 7 -p -E -nc --user-agent "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:7.0.1) Gecko/20100101 Firefox/7.0.12011-10-16 20:23:00" http://example.com/

чтобы «прикинуться» нормальным браузером. Это может помочь в случаях, если раздающий контент веб-сервер настроен на блокировку wget. Ведь по умолчанию wget отправляет запрос, заполняя user-agent своим значением. Можно отправить в качестве аргумента этому параметру "" (пустую строку), тогда wget не будет вообще указывать user-agent. В случае, если контент защищен http-авторизацией, и у вас есть учетные данные для сайта, можно воспользоваться параметрами --http-user и --http-password для отправки серверу ваших данных. Само собой, если сервер не отдает трафик по защищенному каналу, ваши учетные данные поступают в сеть в открытом виде. Впрочем, также происходит и в случае, если вы используете обычный браузер.

 

 

 

Похожие статьи:

  • Нет похожих статей
Запись опубликована в рубрике Linux с тэгами . Создать закладку на запись. Оставить комментарий или trackback: Trackback URL.

Оставить комментарий

Ваш e-mail никогда не будет опубликован или передан третьим лицам. Обязательные поля отмечены *

*
*