Zertifikatsüberprüfung bei wget deaktivieren

Wenn man mittels wget etwas herunterlädt, kann es passieren das der Download mittels:

wget https://example.com

mit folgender Meldung abbricht:

FEHLER: Kann das Zertifikat von »example.com« nicht prüfen, ausgestellt von »/C=US/O=Let’s Encrypt/CN=Let’s Encrypt Authority X3«:. Die Authorität des Ausstellers des Zertifikates kann lokal nicht geprüft werden.

In diesem Fall schlägt die Zertifikatsprüfung fehl. Möchte man die entsprechende Ressourche trotzdem herunterladen, so kann man die Zertifikatsprüfung deaktivieren:

wget https://example.com --no-check-certificate

Über den Schalter –no-check-certificate wird die Prüfung deaktiviert und der Downloads kann durchgeführt werden.

Ignorierien der robots.txt-Datei unter wget

Das Downloadwerkzeug wget beachtet beim Download einer URL die robots.txt – damit werden bestimmte Dateien vom Download ausgeschlossen wenn dies der Webmaster wünscht:

wget -r --random-wait --timestamping http://example.org

Unter Umständen ist es aber manchmal notwendig die robots.txt-Datei zu ignorieren. Der dazu benötigte Parameter lautet -e robots=off. Damit würde obige Zeile wie folgt aussehen:

wget -e robots=off -r --random-wait --timestamping http://example.org

Damit lädt wget Dateien unabhängig von den Regeln der robots.txt herunter.

Webseiten per wget herunterladen

Manchmal möchte man eine Webseite oder mehrere Verzeichnisse einer solchen herunterladen. Dank “wget” geht das sehr unproblematisch:

wget -r --random-wait --timestamping <URL>

Möchte man das ganze nur relativ zur Start-URL downloaden so gibt man noch den Parameter -L an:

wget -r -L --random-wait --timestamping <URL>

Aussehen könnte das ganze dabei zum Beispiel so:

wget -r --random-wait --timestamping http://dds.cr.usgs.gov/srtm/version2_1/SRTM3/

In diesem Fall werden die SRTM Daten der NASA heruntergeladen. Dank des Attributes “–timestamping” kann ein unterbrochener Download später auch wieder aufgenommen werden. Der Parameter “–random-wait” sorgt dafür das die Zeit zwischen den Downloads variiert und somit das Problem minimiert wird das bestimmte Server den Downloadvorgang unterbrechen.

FTP Backup mittels wget unter Windows

Gründe für ein FTP Backup gibt es viele. Dabei geht es hier nicht um die Richtung Lokal zu FTP sondern um die Richtung FTP zu Lokal. Und schon dann am besten noch automatisch, also ab ans Werk. Damit das ganze unter Windows funktioniert benötigen wir zu aller erst wget für Windows welches unter http://gnuwin32.sourceforge.net/packages/wget.htm zu finden ist.

Nun benötigen wir noch ein Skript welches wir regelmäßig anstoßen können (über Geplante Tasks). Das ganze könnten wir dann z.B. ftp-backup.bat nennen.

REM FTP Backup

REM Ermittelt das Datum
set jahr=%date:~-4%
set monat=%date:~-7,2%
set tag=%date:~-10,2%
set sortabledate=%jahr%-%monat%-%tag%

set backuppath=E:\FTP Backup\%sortableDate%

wget –directory-prefix=”%backuppath%” -r -l0 -np -i login.txt

Der Backuppfad muss natürlich noch angepasst werden. In der besagten login.txt muss folgendes stehen:

ftp://nutzername:passwort@example.com/

Und schon haben wir ein vollautomatisches FTP Backup.

Weitere Informationen gibt es unter:
http://de.wikipedia.org/wiki/Wget
http://de.wikipedia.org/wiki/File_Transfer_Protocol