Wget. Качаем файлы и целые сайты из интернета. — различия между версиями

Материал из LUWRAIN Wiki
Перейти к: навигация, поиск
(Новая страница: «Всем доброго времени суток. Невозможно представить себе работу с компьютером или мобиль…»)
 
м (Защитил страницу Wget. Качаем файлы и целые сайты из интернета. ([Редактирование=Разрешено только автоподтверждённым участникам] (бессро…)
 
(нет различий)

Текущая версия на 11:04, 23 мая 2020

Всем доброго времени суток. Невозможно представить себе работу с компьютером или мобильным устройством без возможности скачивания из интернета самого разного контента. Книги и музыка, Фильмы и софт, Картинки и многое-многое другое. Скорее трудно представить, Чего бы не скачивали пользователи на свои устройства. В большинстве случаев скачивание происходит напрямую, Через браузер, При этом достаточно лишь кликнуть на ссылку. Но такой способ не всегда удобен и эффективен. Современные браузеры тяжеловесны, ресурсоёмки и защищены сверх всякой меры. Сомнительная ссылка, Ненадёжная с точки зрения чьего-то, Но совсем не вашего мнения, Может просто не открыться, Или скачивание будет заблокировано системой защиты браузера. Для облегчения возможности скачивания существует немало самых разнообразных программ: Торрентклиенты, Мененджеры загрузок,Интегрирующиеся в браузеры, Качалки видео и музыки из соцсетей, А также минималистичные и в то же время функциональные консольные утилиты. Об одной из таких утилит и пойдёт речь.

  wget- Кроссплатформенная консольная утилита для скачивания из интернета как отдельных файлов, Так и сайтов целиком, обладающая немалым функционалом. В большинстве дистрибутивов wget присутствует по умолчанию, Но в случае отсутствия её можно легко установить при помощи стандартной команды. Немалым преимуществом данной утилиты является поддержка http, https и ftp.
         скачивание отдельных файлов.

Для скачивания файла при помощи wget скопируем в браузере на него ссылку и выполним в терминале: wget и вставим через пробел скопированную ссылку. После нажатия клавиши enter мы услышим сообщения о соединении с сервером и о ходе загрузки, либо же об ошибке или невозможности скачивания. Наиболее распространённым примером является ошибка 404, Означающая, Что файл не найден.

         Если нужна авторизация.

Бывают случаи, Когда для скачивания контента нужна авторизация на сайте. Во wget реализована возможность добавления логина и пароля, Используя параметры --user и --passwort. В этом случае команда принимает вид: wget --user=логин --password=пароль ссылка на скачивание. Например: wget --user=qwerty --password=123456 ссылка на скачивание .

         Если проблемы с сертификатом безопасности.

Бывает так, Что загрузка файла блокируется из-за ошибки сертификата безопасности, Допустим таковой просрочен. wget позволяет обходить проверку сертификата путём добавления параметра --no-check-certificate . Команда принимает следующий вид: wget --no-check-certificate ссылка на скачивание.

         Куда качать будем?

По умолчанию wget скачивает файлы в корень домашней папки. но функционал утилиты позволяет указать место, куда будет происходить загрузка. используем для этого параметр -P и путь к выбранной папке. Например: wget -P ~/Загрузки ссылка на скачивание.

     Если загрузка оборвалась.

Мигнул свет, Оборвалось соединение с сетью, Подвис компьютер- И вот загрузка прервалась, А скачано уже больше половины. Качать сначала? Совсем не обязательно, потому что есть замечательный параметр -c . просто вводим команду: wget -c ссылка на скачивание . Если применялись другие параметры, Их нужно ввести снова.

         Примечание.

При пользовании утилитой будьте крайне внимательны при вводе параметров. Некоторые ключи обозначаются одной и той же буквой, Отличаясь лишь регистром.

         Скачивание сайтов.

Бывают ситуации, Когда нужно скачать сайт целиком, Либо его часть для сохранениялокальной копии, Переноса, Или просмотра без подключения к интернету. Рассмотрим параметры, для этого применяемые. -r Рекурсивный переход по ссылкам. -k Приведение всех ссылок к относительным для локального просмотра. -p Скачивание всех вспомогательных файлов для корректного просмотра страниц: Картинок, Таблиц css, И т.п. -l Глубина уровней вложенности, До которой нужно скачивать. Допустим, -l 5 . Если нужно скачать абсолютно весь сайт, Пишем значение -l 0 . -E Добавляет к скачанным файлам расширение html. -nc Запрещает перезаписывать уже существующие файлы. -e robots=off Заставляет игнорировать инструкции файла robots.txt. Таким образом простейший сценарий скачивания сайта будет выглядить примерно так: wget -r -k -p -E -l 0 ссылка на сайт . Есть ещё несколько дополнительных параметров, могущих пригодиться в частных случаях: -nd не создавать структуру папок сайта, а скачивать все файлы в одну папку. если встречаются файлы с одинаковыми именами, к каждому имени будет добавляться номер. -np Запрещает подниматься выше уровня начала скачивания прирекурсивном переходе по ссылкам. бывает полезен при скачивании нужного раздела или топика на форуме. --restrict-file-names=nocontrol Нужен для скачивания сайтов с русскими буквами в именах, Допустим находящихся в доменной зоне рф .

         Заключение.

Это далеко не полный список возможностей этой маленькой, Но мощной утилиты. Надеюсь что статья вам понравилась, А главное была полезной.