Archiv der Kategorie: Linux

GNU/Linux Howto’s and Tutorials

cURL in der Praxis Anwenden

cURL – Client for URLs Programmbibliothek und Kommandozeilen-Programm

cURL ist ein Kommandozeilentool, es ermöglicht aus Shell- oder Bash-Scrips heraus Dateien über Protokolle wie http, https, ftp, gopher, sftp, ftps oder scp zu übertragen. cURL 1997 von Daniel Stenberg entwickelt, ist bei Webseiten Entwickler sehr beliebt und steht unter der Open-Source MIT-Lizenz.

Unixoide Betriebssysteme beinhalten cURL im Standard. Bei vielen Embedded Linux Systeme ist cURL enthalten, wie auch bei Synology, ebenfalls ist cURL bereits auch für Windows portiert und steht in der 64 bit und 32 bit Version zur Verfügung. PHP unterstützt die cURL-Funktionen mit der libcrul Bibliothek.

cURL bietet vielfältige Anwendungsmöglichkeiten, so lassen sich Websites fernsteuern und testen, Formulare automatisch ausfüllen, Informationen von Webseiten abfragen und in weitere Prozesse verarbeiten. In der Linux Shell-Console ist die Installation von wget nicht zwingend erforderlich, dabei cURL umfangreiche Parameter und Optionen beinhaltet, und bereits vorinstalliert ist.

Im folgenden einige Beispiele zur Anwendung von cURL in der Shell-Console, so können Webseiten wie folgt abgerufen werden.

Damit wird die Datei seite.html gelesen und auf der Standardausgabe ausgegeben. Möchten man die Datei unter dem Namen meineseite.html speichern, dient folgender Befehl:

Verbindungen zu IPv6 Hosts werden wie folgt initialisiert.

  Die IPv6 Adresse muss in eckige Klammern eingebunden sein.

Die eigene Internet IP Adresse mit cURL anzeigen.

Wenn sich eine URL geändert hat, wird oft die Webseite auf die neue URL-Adresse umgeleitet, häufig auch http zu https Umleitungen. Da cURL in der Standard-konfiguration Weiterleitungen nicht folgt, muss man in diesem Fall den Parameter -L übergeben.

Bei Webseiten mit selbst ausgestelltem Zertifikat, oder veraltetem TLS v1.0 Verschlüsselungs-Algorithmus, muss der Parameter -k angewandt werden, um unsichere Verbindungen zu erlauben.

Wird für eine Website eine Benutzer-Authentifizierung über HTTP angefordert, lassen sich mit cURL Benutzername und Passwort übergeben, durch ein Doppelpunkt getrennt.

Den HTTP-Header mit cURL auslesen.

Mit dem Parameter –head weist man cURL an, die Ausgabe des HTTP-Header auf die Standardausgabe zu geben. Möchte man den Header in die Datei header.txt schreiben, könnte man das durch Pipe Operatoren in der Shell erreichen, oder ohne Unterstützung der Shell durch den Parameter –dump-header.

Die aktuelle Version 7.63 unterstütz folgende Protokolle: DICT, FILE, FTP, FTPS, Gopher, HTTP, HTTPS, IMAP, IMAPS, LDAP, LDAPS, POP3, POP3S, RTMP, RTSP, SCP, SFTP, SMB, SMBS, SMTP, SMTPS, Telnet and TFTP. curl supports SSL certificates, HTTP POST, HTTP PUT, FTP.

Der FTP-Client von cURL kann auch mit FTP-Server interagieren.

cURL wird angewiesen den Index des Hauptverzeichnisses auszugeben. Benutzername und Passwort werden direkt mit der URL übergeben. Möchten man das Unterverzeichnis files auf dem FTP-Server auflisten, genügt es das Verzeichnis an die URL mitzugeben:

Mit cURL ist auch ein Upload möglich, dazu übergibt man den Parameter -T gefolgt vom Dateinamen und ggf. dem Pfad.

Durch diesen Befehl kopiert cURL die Datei meineseite.html auf den FTP-Server in das Verzeichnis docs unter den Dateinamen deineseite.html.

Bevorzugt sollte man SFTP verwenden, dabei wird die datei.txt über eine verschlüsselte Verbindung abgerufen.

Der Filetransfer geht auch über SCP, hier die datei.txt aus dem Verzeichnis docs übertragen.

Für automatisierte Abläufe über Scripts ist die Benutzeranmeldung nicht geeignet, hier lässt sich mit einem Privat Key authentifizieren.

Es wird die datei.txt aus dem Home (~) Verzeichnis des Servers übertragen.

cURL kann auch zur Verwendung mit Server Message Block (SMB) genutzt werden, so für MS LAN Manager und Samba.

Zugriff auf datei.txt über die Freigabe auf einem Samba Server.

cURL kann noch mehr, durch folgende Befehlszeile wird eine Shell-Script Datei heruntergeladen und gleich ausgeführt, beginnt mit einem Punkt (.).

Dieses Kommando ist in einer Linux Bash-Shell ausführbar, Es werden Systemkonfigurationen und Protokolle ausgelesen und in einer Datei zusammengestellt, und als Datei unter /tmp/sysinfo-*.html gespeichert.

Im folgenden ein Code Beispiel für PHP, das Ergebnis der suche auf Google wird mit echo $result ausgegeben:

Ein Blick in die Man Page man curl  kann sich lohnen, hier sind alle Kommandos mit Beispiele zur Anwendung von cURL aufgeführt.

cURL Online Manual
Quellen Link: curl.haxx.se

Let’s Encrypt auf CentOS 7 mit Apache

Installation von Let’s Encrypt auf CentOS 7 mit Apache

Let’s Encrypt ist eine Zertifizierungsstelle, die kostenlose X.509-Zertifikate für Transport Layer Security (TLS) anbietet. In diesem Tutorial wird erläutert, wie man Let´s Encrypt SSL anhand des ACME Vorgang mit certbot durchführt, und Let’s Encrypt auf einem CentOS 7 Host mit Apache-Webserver implementiert.

  Vorausgesetzt wird hier, das der Apache-Webserver bereits installiert ist, eine Domain im DNS registriert ist, die Domain als Apache VirtualHost konfiguriert ist.

Zur installation wollen wir root werden.

Nun den Apache-Webserver neu starten.

Die Firewall für SSL mit dem Service Port 443 öffnen.

Jetzt durch den certbot das SSL-Zertifikat generieren lassen.

  Die erste Domäne sollte die Basis Domain sein. In diesem Beispiel heißt sie mydomain.com, diese durch den tatsächlichen Domain-Name ersetzen.

Die Ausgabe des certbot sieht in etwa wie folgt aus.

Abschließend kann die URL getestet werden.

Die URL im Browser abrufen und bei SSL Labs verifizieren.

SSL Labs SSL Analyzing Report

Das Let’s Encrypt Zertifikat ist 90 Tage gültig. Für die automatische Erneuerung des Zertifikats, erstellen wir ein neuen Cron-Job.

Das Zertifikat wird einmal im Monat zur Erneuerung überprüft.

 

netstat bei CentOS 7 minimal Installation

Bereitstellen von netstat nach CentOS Minimal Installation

CentOS beinhaltet nach der Minimalinstallation nur wenig des sonst gewohnten Umfangs, eine reihe von System-Tools fehlen, so scheint es zumindest, bei näherer Betrachtung zeigt sich, das es nur neue Befehle sind, die herkömmlichen Tools können aber nachträglich installiert werden.

Ein solches Tool ist netstat, dieses wie folgt hinzugefügt wird.

Ermitteln welches Installationspaket das gewünschte Tool beinhaltet, lässt sich mit der Option whatprovides.

net-tools ist eine Sammlung mit Basis-Netzwerkprogramme. Ist das Paket net-tools installiert, stehen folgende Kommandos auf dem Host zur Verfügung:

Mit den net-tools wird die Verfügbarkeit der veralteten Linux-Netzwerk-Befehle wiederhergestellt, folgende Tabelle zeigt die veralteten Linux-Befehle und die neuen Ersetzungsbefehle:

Veraltete BefehleNeue befehle
arpip n (ip neighbor)
ifconfigip a (ip addr), ip link
iptunnelip tunnel
iwconfigiw
nameifip link
netstatss -t (für netstat -t), ss -u (für netstat -u)
ip route (für netstat -r)
ip -s link (für netstat -i)
ip maddr (für netstat -g)
routeip r (ip route)

  ss – another utility to investigate sockets, ss is used to dump socket statistics. It allows showing information similar to netstat.

Beispiel zur Anwendung von ss anstelle von netstat:

Ebenso kann ein whois lookup oft nützliche Informationen liefern, dazu muss whois installiert werden: