Wget
GNU wget — неінтерактивна консольна утиліта для завантаження файлів за протоколами HTTP, HTTPS та FTP. wget дає змогу рекурсивно завантажувати файли, конвертувати посилання, вказувати елементи посилання, які будуть оброблені програмою тощо. Портована й запускається на багатьох UNIX-подібних системах, Microsoft Windows[1], OpenVMS[2], MacOS X[3]. ОсобливостіРекурсивне завантаженняWget може працювати як пошуковий робот, тобто отримувати ресурси (сторінки, зображення, файли стилів, javascript-файли), на які посилаються елементи HTML сторінки, й рекурсивно просуватися web-деревом, доки всі необхідні файли не будуть завантаженні або ж не буде досягнуто максимальної глибини завантаження (встановленої опцією -l). Збережені сторінки можуть бути адаптовані для перегляду їх локально — для цього wget конвертує всі посилання, за якими було завантажено відповідні ресурси, на відносні. Завантажений вміст зберігається, успадкувавши структуру каталогів віддаленого сервера.[4] За допомогою wget можна робити повні або часткові дзеркала сайтів. При автоматичному «дзеркаленні» wget підтримує обробку файлів robots.txt. При рекурсивному завантаженні з FTP-сервера виконується команда Також можна, використовуючи метасимволи, задавати маски, префікси чи суфікси файлів, імен каталогів та списки доменів, які варто обминути при завантаженні, або ж навпаки, які необхідно завантажувати. Неінтерактивністьwget — неінтерактивна програма, тобто, після того, як її запущено з певними параметрами, вона виконує всі необхідні дії і не потребує додаткового втручання у свою роботу. Це дає змогу певною мірою автоматизувати завантаження/дзеркалення ресурсів, оскільки програма може вести журнал завантаження в файл і може бути запущена у фоновому режимі, що дозволяє клієнту взагалі вийти з системи без зупинки процесу завантаження. Інші можливості
Використання в MS Windowswget — утиліта командного рядка. Файл wget.exe бажано розмістити таким чином, щоб він автоматично виконувався (наприклад, у папку C:\windows\System32). Потім викликати командний рядок (command.com або cmd) та набрати wget з параметрами. Приклади використанняЗавантажити пакет вихідних кодів і файл підпису для wget версії 1.11.4, зберігаючи структуру каталогів віддаленого сервера wget --accept wget-1.11.4.*bz* -r ftp://ftp.gnu.org/gnu/wget/
Виконати те саме, але зберегти файли в чинний каталог, не зберігаючи ієрархію каталогів сервера wget --no-directories --accept wget-1.11.4.*bz2* -r ftp://ftp.gnu.org/gnu/wget/
Зробити локальну копію документації без збереження структури каталогів у чинному каталозі, з конвертацією посилань, ігноруючи файл robots.txt wget -np -nd -e robots=off -r -k -p http://www.gnu.org/software/wget/manual/html_node/index.html
Під'єднатись до FTP-сервера example.net з іменем користувача username і паролем mypasswd та скачати всі PNG-зображення (файли, які закінчуються на .png, не враховуючи регістр символів) wget -np -nd --ftp-user=username --ftp-password=mypasswd --ignore-case -A *.png -r ftp://example.net
wget2Наступне значне оновлення Wget має відбутися в wget2, який, імовірно, повинен прийти йому на зміну. wget2 має значну кількість удосконалень у порівнянні з Wget, які в першу чергу стосуються продуктивності:
та ряд інших.[5] Основним розробником wget2 є Тім Рюсен (Tim Rühsen), який так само є одним з основних розробників та майнтейнерів Wget. Клони
Джерела
Посилання
|