Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

--- heiko:tipps:hilfsprogramme:tipp_wget_01 [2018/08/18 13:31] – Heiko Teichmeier
+++ heiko:tipps:hilfsprogramme:tipp_wget_01 [2018/08/20 13:56] (aktuell) – Externe Bearbeitung 127.0.0.1
@@ Zeile 1: / Zeile 1: @@
 ~~NOCACHE~~
 ~~META:
-date issued = 2008-01-01
+date issued = 2018-08-18
 ~~
-{{tag>[linux hilfsprogramm ftp web http download wget syntax befehle heiko_teichmeier glauchau sachsen]}}
+{{tag>linux hilfsprogramm ftp web http https download wget grabber syntax befehle heiko_teichmeier glauchau sachsen}}
-===== wget (1) - Die Antwort auf alle HTTP- und FTP-Download-Fragen =====
+===== wget (1) - Die Antwort auf (fast) alle HTTP-, HTTPS- und FTP-Download-Fragen =====
-__letzte inhaltliche Überarbeitung:__ 01.01.2008
+__letzte inhaltliche Überarbeitung:__ 18.08.2018
 ===== 1. Einführung =====
-[[http://www.gnu.org/software/wget/wget.html|(GNU) wget]] ist ein HTTP- und FTP-Download-(Kommandozeilen)-Programm. Es ist eine OpenSourceSoftware unter der GPL. In der Zwischenzeit ist **'wget'** außer für Linux auch für viele andere Betriebssysteme erhältlich. So existiert ein Port auf Windows. Ergänzend zum Windows-Port des Kommandozeilenprogramms gibt es das GUI-Frontend [[http://lab1.de/Central/Software/Internet/Download/Easy-Wget/|Easy-Wget]]. In dieser Verbindung erhält man einen sehr leistungsfähigen //"Website"-Grabber// zum Nulltarif.
+[[http://www.gnu.org/software/wget/wget.html|(GNU) wget]] ist ein HTTP-, HTTPS- und FTP-Download-(Kommandozeilen)-Programm. Es ist eine OpenSourceSoftware unter der GPL. In der Zwischenzeit ist **'wget'** außer für Linux auch für viele andere Betriebssysteme erhältlich. So existiert ein Port auf Windows. Man erhält einen sehr leistungsfähigen //"Website"-Grabber// zum Nulltarif.
 Das Programm ist extrem flexibel und kann auch die kompliziertesten Aufgaben erfüllen - sofern man die Syntax beherrscht. Deshalb zu Beginn ein paar Syntax-Grundlagen:
@@ Zeile 268: / Zeile 268: @@
 </sxh>
-==== 2.5 Beispiele ====
+==== 2.5 Optionen für HTTPS ====
+<sxh bash; gutter: false>
+'--no-check-certificate'
+   Dient dem Umgehen von Abbrüchen oder Fehlermeldungen bei
+   HTTPS-Abrufen. Es kann sehr viele Gründe für entsprechende
+   Fehlermeldungen oder Abbrüche bei HTTPS-Downloads geben.
+</sxh>
+==== 2.6 Optionen für Nutzung von Proxy-Servern ====
+__Proxy-Server als Umgebungs-Variable "exportieren":__
+<sxh bash; gutter: false>
+export https_proxy="https://proxy.local.biz:3128/"
+wget --http-user="USER" --http-password="PASSWORT" wget https://www.linux-magazin.de/foo/bar.html
+</sxh>
+__Proxy-Server + -User + -Passwort als Umgebungs-Variable "exportieren":__
+<sxh bash; gutter: false>
+export https_proxy="https://PROXY-USERNAME:PROXY-PASSWORT@SERVER-NAME:PORT/"
+</sxh>
+__Mit Beispieldaten:__
+<sxh bash; gutter: false>
+export https_proxy="https://heiko:GeheimesPasswort@proxy.local.biz:3128/"
+wget https://www.linux-magazin.de/foo/bar.html
+</sxh>
+==== 2.7 Beispiele ====
 === Spiegelung des SuSE-update-Mirrors: ===
 <sxh bash; gutter: false>
@@ Zeile 280: / Zeile 304: @@
 wget -t 5 -m -c ftp://ftp.mcafee.com/pub/antivirus/datfiles/4.x/ --limit-rate=65k --proxy=off
 </sxh>
-<pre>
+== Erklärung der Optionen: ==
--- Optionen:
+<sxh bash; gutter: false>
-   |
+'-t 5' - es wird 5x versucht die Dateien zu holen
-   +-- "-t 5" - es wird 5x versucht die Dateien zu holen
+'-m' - die Verzeichnisse werden exakt kopiert (gespiegelt)
-   |
+'-c' - Download nur teilweise geladener Dateien wird fortgesetzt
-   +-- "-m"   - die Verzeichnisse werden exakt kopiert (gespiegelt)
+'--limit-rate=65k' - Datenrate wird auf 65 kB/s begrenzt
-   |
+                     (Wir sind nicht allein in unserem Netz)
-   +-- "-c"   - Download nur teilweise geladener Dateien wird fortgesetzt
+'--proxy=off' - es wird kein Proxy benutzt
-   |
+</sxh>
-   +-- "--limit-rate=65k"
-   |          - Datenrate wird auf 65 kB/s begrenzt
-   |            (Wir sind nicht allein in unserem Netz)
-   |
-   +-- "--proxy=off"
-              - es wird kein Proxy benutzt
-</pre>
 __Ergebnis:__
   * im aktuellen Verzeichnis wird folgende Struktur angelegt:
- --/ftp.mcafee.com
+  +-ftp.mcafee.com
-   |
+  |
-   +--/pub-+
+  +--+-pub
-	   |
+     |
-	   +--antivirus
+     +--+-antivirus
-		  |
+        |
-		  +--datfiles
+        +--+-datfiles
-			 |
+           |
-			 +--4.x -- Dateien
+           +--4.x -- Dateien
   * es werden die Dateien und Unterverzeichnisse aus dem "4.x"-Verzeichnis kopiert
+<sxh bash; gutter: false>
-~~~~~~~~~~~~~~~~~~
 lin-server:/ftp-mirror #
 wget -t 5 -m -c -nH ftp://ftp.mcafee.com/pub/antivirus/datfiles/4.x/ --limit-rate=65k --proxy=off
+</sxh>
-Ergebnis:
+== Ergebnis: ==
-=========
+  * im aktuellen Verzeichnis wird folgende Struktur angelegt:
-- im aktuellen Verzeichnis wird folgende Struktur angelegt:
---/pub-+
+  +-pub
-   |
+  |
-   +--antivirus
+  +--+-antivirus
-      |
+     |
-      +--datfiles
+     +--+-datfiles
-         |
+        |
-         +--4.x -- Dateien
+        +--4.x -- Dateien
+<sxh bash; gutter: false>
-~~~~~~~~~~~~~~~~~~
 lin-server:/ftp-mirror #
 wget -t 5 -m -c -nH ftp://ftp.mcafee.com/pub/antivirus/datfiles/4.x/ --limit-rate=65k --proxy=off --cut=4
+</sxh>
-Ergebnis:
+== Ergebnis: ==
-=========
+  * im aktuellen Verzeichnis werden nur im Verzeichnis "4.x" vorhandene Unterverzeichnisse angelegt
-- im aktuellen Verzeichnis werden nur im Verzeichnis "4.x" vorhandene Unterverzeichnisse
-angelegt
+<sxh bash; gutter: false>
 lin-server:/ftp-mirror #
 wget -t 5 -m -c ftp://ftp.mcafee.com/pub/antivirus/datfiles/4.x/ --limit-rate=65k --proxy=off
+</sxh>
+<sxh bash; gutter: false>
 lin-server:/ftp-mirror #
 wget -t 5 -m -c ftp://ftp.mcafee.com/pub/datfiles/german/ --limit-rate=65k --proxy=off
+</sxh>
+<sxh bash; gutter: false>
 lin-server:/ftp-mirror #
 wget -t 5 -m -c -nH ftp://ftp.mcafee.com/pub/antivirus/datfiles/4.x/ --limit-rate=65k --proxy=off
+</sxh>
-~~~~~~~~~~~~~~~~~~
+**Option "-A .zip"** - nur *.zip-Dateien werden abgerufen
+<sxh bash; gutter: false>
 lin-server:/ftp-mirror #
 wget -t 5 -m -c -A .zip ftp://ftp.mcafee.com/pub/datfiles/german/ --limit-rate=65k --proxy=off
-  |
+</sxh>
-  +--> Option "-A .zip"
-       ================
-       |
-       +--> nur *.zip-Dateien werden abgerufen
+**Option "-A .zip,.ini"** - nur *.zip- und *.ini-Dateien werden abgerufen
-~~~~~~~~~~~~~~~~~~
+<sxh bash; gutter: false>
 lin-server:/ftp-mirror #
 wget -t 5 -m -c -A .zip,.ini ftp://ftp.mcafee.com/pub/datfiles/german/ --limit-rate=65k --proxy=off
-  |
+</sxh>
-  +--> Option "-A .zip,.ini"
-       =====================
-       |
-       +--> nur *.zip- und *.ini-Dateien werden abgerufen