Webseiten per wget herunterladen

Manchmal möchte man eine Webseite oder mehrere Verzeichnisse einer solchen herunterladen. Dank „wget“ geht das sehr unproblematisch:

wget -r --random-wait --timestamping <URL>

Möchte man das ganze nur relativ zur Start-URL downloaden so gibt man noch den Parameter -L an:

wget -r -L --random-wait --timestamping <URL>

Aussehen könnte das ganze dabei zum Beispiel so:

wget -r --random-wait --timestamping http://dds.cr.usgs.gov/srtm/version2_1/SRTM3/

In diesem Fall werden die SRTM Daten der NASA heruntergeladen. Dank des Attributes „–timestamping“ kann ein unterbrochener Download später auch wieder aufgenommen werden. Der Parameter „–random-wait“ sorgt dafür das die Zeit zwischen den Downloads variiert und somit das Problem minimiert wird das bestimmte Server den Downloadvorgang unterbrechen.

FTP Backup mittels wget unter Windows

Gründe für ein FTP Backup gibt es viele. Dabei geht es hier nicht um die Richtung Lokal zu FTP sondern um die Richtung FTP zu Lokal. Und schon dann am besten noch automatisch, also ab ans Werk. Damit das ganze unter Windows funktioniert benötigen wir zu aller erst wget für Windows welches unter http://gnuwin32.sourceforge.net/packages/wget.htm zu finden ist.

Nun benötigen wir noch ein Skript welches wir regelmäßig anstoßen können (über Geplante Tasks). Das ganze könnten wir dann z.B. ftp-backup.bat nennen.

REM FTP Backup

REM Ermittelt das Datum
set jahr=%date:~-4%
set monat=%date:~-7,2%
set tag=%date:~-10,2%
set sortabledate=%jahr%-%monat%-%tag%

set backuppath=E:\FTP Backup\%sortableDate%

wget –directory-prefix=“%backuppath%“ -r -l0 -np -i login.txt

Der Backuppfad muss natürlich noch angepasst werden. In der besagten login.txt muss folgendes stehen:

ftp://nutzername:/

Und schon haben wir ein vollautomatisches FTP Backup.

Weitere Informationen gibt es unter:
http://de.wikipedia.org/wiki/Wget
http://de.wikipedia.org/wiki/File_Transfer_Protocol