Utilitas wget memungkinkan Anda mengunduh halaman web, file dan gambar dari web menggunakan baris perintah Linux.
Anda dapat menggunakan satu perintah wget sendiri untuk mengunduh dari situs atau mengatur file masukan untuk mengunduh banyak file di beberapa situs.
Menurut halaman manual wget dapat digunakan bahkan ketika pengguna telah keluar dari sistem. Untuk melakukan ini, Anda akan menggunakan perintah nohup.
Utilitas wget akan mencoba mengunduh bahkan ketika koneksi terputus, melanjutkan dari mana ia tinggalkan jika mungkin ketika koneksi kembali.
Anda dapat mengunduh seluruh situs web menggunakan wget dan mengonversi tautan untuk mengarahkan ke sumber lokal sehingga Anda dapat melihat situs web secara offline.
Fitur-fitur wget adalah sebagai berikut:
- Unduh file menggunakan HTTP, HTTPS, dan FTP
- Lanjutkan unduhan
- Konversi tautan absolut di laman web yang diunduh ke URL relatif sehingga situs web dapat dilihat secara offline
- Mendukung proksi HTTP dan cookie
- Mendukung koneksi HTTP persisten
- Dapat berjalan di latar belakang bahkan ketika Anda tidak masuk
- Berfungsi di Linux dan Windows
Cara Mengunduh Situs Web Menggunakan wget
Untuk panduan ini, saya akan menunjukkan cara mengunduh blog pribadi saya.
wget www.everydaylinuxuser.com
Perlu membuat folder Anda sendiri di mesin Anda menggunakan perintah mkdir dan kemudian pindah ke folder menggunakan perintah cd .
Sebagai contoh:
mkdir everydaylinuxuser
cd everydaylinuxuser
wget www.everydaylinuxuser.com
Hasilnya adalah file index.html tunggal. Dengan sendirinya, file ini cukup tidak berguna karena konten masih ditarik dari Google dan gambar dan stylesheet masih semuanya disimpan di Google.
Untuk mengunduh situs lengkap dan semua halaman Anda dapat menggunakan perintah berikut:
wget -r www.everydaylinuxuser.com
Ini mengunduh halaman secara rekursif hingga maksimum 5 level.
5 level mungkin tidak cukup untuk mendapatkan semuanya dari situs. Anda dapat menggunakan tombol -l untuk mengatur jumlah level yang ingin Anda tuju seperti berikut:
wget -r -l10 www.everydaylinuxuser.com
Jika Anda ingin rekursi tanpa batas Anda dapat menggunakan yang berikut:
wget -r -l inf www.everydaylinuxuser.com
Anda juga dapat mengganti inf dengan 0 yang berarti hal yang sama.
Masih ada satu masalah lagi. Anda mungkin mendapatkan semua laman secara lokal tetapi semua tautan di laman masih mengarah ke tempat asal mereka. Oleh karena itu tidak mungkin untuk mengklik secara lokal di antara tautan di halaman.
Anda dapat mengatasi masalah ini dengan menggunakan tombol -k yang mengonversi semua tautan di laman untuk mengarah ke padanan yang diunduh secara lokal sebagai berikut:
wget -r -k www.everydaylinuxuser.com
Jika Anda ingin mendapatkan mirror lengkap dari sebuah situs web, Anda cukup menggunakan switch berikut yang menghilangkan kebutuhan untuk menggunakan switch -r -k dan -l.
wget -m www.everydaylinuxuser.com
Oleh karena itu jika Anda memiliki situs web Anda sendiri, Anda dapat membuat cadangan lengkap menggunakan satu perintah sederhana ini.
Jalankan wget Sebagai Perintah Latar Belakang
Anda bisa mendapatkan wget untuk dijalankan sebagai perintah latar belakang sehingga Anda dapat melanjutkan pekerjaan Anda di jendela terminal ketika file sedang diunduh.
Cukup gunakan perintah berikut:
wget -b www.everydaylinuxuser.com
Anda tentu saja dapat menggabungkan switch. Untuk menjalankan perintah wget di latar belakang sementara mencerminkan situs Anda akan menggunakan perintah berikut:
wget -b -m www.everydaylinuxuser.com
Anda dapat menyederhanakan ini lebih lanjut sebagai berikut:
wget -bm www.everydaylinuxuser.com
Logging
Jika Anda menjalankan perintah wget di latar belakang, Anda tidak akan melihat pesan normal apa pun yang dikirimkan ke layar.
Anda bisa mendapatkan semua pesan yang dikirim ke file log sehingga Anda dapat memeriksa kemajuan setiap saat dengan menggunakan perintah ekor .
Untuk menampilkan informasi dari perintah wget ke file log, gunakan perintah berikut:
wget -o / path / ke / mylogfile www.everydaylinuxuser.com
Yang sebaliknya, tentu saja, adalah tidak memerlukan penebangan sama sekali dan tidak ada output ke layar. Untuk mengabaikan semua output, gunakan perintah berikut:
wget -q www.everydaylinuxuser.com
Unduh Dari Beberapa Situs
Anda dapat mengatur file input untuk mengunduh dari berbagai situs.
Buka file menggunakan editor favorit Anda atau bahkan perintah kucing dan cukup mulai cantumkan situs atau tautan untuk diunduh dari setiap baris file.
Simpan file dan jalankan perintah wget berikut:
wget -i / path / ke / inputfile
Selain mencadangkan situs web Anda sendiri atau menemukan sesuatu untuk diunduh untuk dibaca di kereta, sepertinya Anda tidak akan ingin mengunduh seluruh situs web.
Anda lebih cenderung mengunduh satu URL dengan gambar atau mungkin mengunduh file seperti file zip, file ISO atau file gambar.
Dengan itu, Anda tidak perlu mengetikkan yang berikut ini ke dalam file input karena memakan waktu:
- http://www.myfileserver.com/file1.zip
- http://www.myfileserver.com/file2.zip
- http://www.myfileserver.com/file3.zip
Jika Anda tahu URL dasarnya selalu sama, Anda tinggal menentukan yang berikut di file input:
- file1.zip
- file2.zip
- file3.zip
Anda kemudian dapat memberikan URL dasar sebagai bagian dari perintah wget sebagai berikut:
wget -B http://www.myfileserver.com -i / path / ke / inputfile
Coba Lagi Opsi
Jika Anda telah menyiapkan antrian file untuk diunduh di dalam file masukan dan Anda membiarkan komputer Anda menyala sepanjang malam untuk mengunduh file, Anda akan merasa sangat kesal ketika Anda turun di pagi hari untuk menemukan bahwa itu terjebak pada file pertama dan telah mencoba lagi sepanjang malam.
Anda dapat menentukan jumlah percobaan ulang menggunakan switch berikut:
wget -t 10 -i / path / ke / inputfile
Anda mungkin ingin menggunakan perintah di atas bersama dengan saklar -T yang memungkinkan Anda menentukan batas waktu dalam detik sebagai berikut:
wget -t 10 -T 10 -i / path / ke / inputfile
Perintah di atas akan mencoba lagi 10 kali dan akan mencoba menyambung selama 10 detik untuk setiap tautan dalam file.
Hal ini juga cukup menjengkelkan ketika Anda telah mengunduh sebagian 75% dari file 4 gigabyte pada koneksi broadband lambat hanya untuk koneksi Anda putus.
Anda dapat menggunakan wget untuk mencoba kembali dari tempat berhenti mengunduh dengan menggunakan perintah berikut:
wget -c www.myfileserver.com/file1.zip
Jika Anda memalu server tuan rumah mungkin tidak terlalu menyukainya dan mungkin memblokir atau hanya membunuh permintaan Anda.
Anda dapat menentukan periode menunggu yang menentukan berapa lama untuk menunggu antara setiap pengambilan sebagai berikut:
wget -w 60 -i / path / ke / inputfile
Perintah di atas akan menunggu 60 detik antara setiap unduhan. Ini berguna jika Anda mengunduh banyak file dari satu sumber.
Namun, beberapa host web mungkin melihat frekuensi dan akan memblokir Anda. Anda dapat membuat periode menunggu secara acak agar terlihat seperti Anda tidak menggunakan program sebagai berikut:
wget --random-wait -i / path / to / inputfile
Melindungi Batas Unduhan
Banyak penyedia layanan internet masih menerapkan batas unduhan untuk penggunaan broadband Anda, terutama jika Anda tinggal di luar kota.
Anda mungkin ingin menambahkan kuota sehingga Anda tidak meniup batas unduhan itu. Anda dapat melakukannya dengan cara berikut:
wget -q 100m -i / path / ke / inputfile
Perhatikan bahwa perintah -q tidak akan berfungsi dengan satu file.
Jadi jika Anda mengunduh file berukuran 2 gigabyte, menggunakan -q 1000m tidak akan menghentikan pengunduhan file.
Kuota hanya diterapkan saat mengunduh secara rekursif dari situs atau saat menggunakan file masukan.
Mendapatkan Melalui Keamanan
Beberapa situs mengharuskan Anda masuk untuk dapat mengakses konten yang ingin Anda unduh.
Anda dapat menggunakan switch berikut untuk menentukan nama pengguna dan kata sandi.
wget --user = yourusername --password = yourpassword
Catatan pada sistem multi-user jika seseorang menjalankan perintah ps, mereka akan dapat melihat nama pengguna dan kata sandi Anda.
Opsi Unduhan Lainnya
Secara default tombol -r akan secara rekursif mengunduh konten dan akan membuat direktori saat berjalan.
Anda bisa mendapatkan semua file untuk diunduh ke satu folder menggunakan switch berikut:
wget -nd -r
Kebalikan dari ini adalah memaksa pembuatan direktori yang dapat dicapai dengan menggunakan perintah berikut:
wget -x -r
Cara Mengunduh Jenis File Tertentu
Jika Anda ingin mengunduh secara rekursif dari suatu situs tetapi Anda hanya ingin mengunduh jenis file tertentu seperti mp3 atau gambar seperti png, Anda dapat menggunakan sintaks berikut:
wget -A "* .mp3" -r
Kebalikan dari ini adalah mengabaikan file-file tertentu. Mungkin Anda tidak ingin mengunduh file yang dapat dijalankan. Dalam hal ini, Anda akan menggunakan sintaks berikut:
wget -R "* .exe" -r
Cliget
Ada add-on Firefox yang disebut cliget. Anda dapat menambahkan ini ke Firefox dengan cara berikut.
Kunjungi https://addons.mozilla.org/en-US/firefox/addon/cliget/ dan klik tombol "tambahkan ke Firefox".
Klik tombol instal ketika muncul. Anda harus me-restart Firefox.
Untuk menggunakan cliget, kunjungi halaman atau file yang ingin Anda unduh dan klik kanan. Menu konteks akan muncul yang disebut cliget dan akan ada opsi untuk "copy ke wget" dan "copy to curl".
Klik opsi "salin untuk wget" dan buka jendela terminal lalu klik kanan dan tempel. Perintah wget yang sesuai akan ditempelkan ke jendela.
Pada dasarnya, ini menghemat Anda harus mengetikkan perintah sendiri.
Ringkasan
Perintah wget sebagai sejumlah besar opsi dan switch.
Oleh karena itu perlu membaca halaman manual untuk wget dengan mengetikkan yang berikut ke jendela terminal:
manusia wget