curl zur Abfrage von REST-APIs benutzen

Die Aufgabe des freien Kommandozeilentools curl ist einfach beschrieben: Datentransfer. So unterstützt curl unterschiedlichste Protokolle wie FTP, HTTP, HTTPS, IMAP, SCP, SMB und viele mehr. Ein einfacher Download einer Datei über HTTP bzw. HTTPS würde mit curl wie folgt aussehen:

curl -O https://example.com/file.zip

Auch ein Transfer z.B. per FTP ist kein Problem:

ftp://example.com/file.zip

Allerdings beherrscht curl wesentlich mehr Operationen als nur das Herunterladen von Dateien. So kann curl genutzt werden, um REST-APIs zu benutzen. Diese APIs arbeiten nicht nur mit dem HTTP-Verb GET, sondern auch mit anderen Verben wie POST und PUT. Ein einfacher GET-Request wurde mittels curl wie folgt aussehen:

curl -X GET https://example.com/

Ein POST-Request wird auf die gleiche Art durchgeführt:

curl -X POST https://example.com/

Sollen zusätzlich Daten übertragen werden, so geschieht dies mit dem Parameter -d:

curl -X POST https://example.com/  -d '{
	field: "data",
	field2: "data",
	field3: "data"
}'

Damit werden die Daten im Body des Requests mitgesendet. Auch die Übergabe von Headern ist mittels curl möglich:

curl -X POST https://example.com/ 
 -H 'HeaderField: headerValue'
 -d '{
	field: "data",
	field2: "data",
	field3: "data"
}'

Manche APIs und andere Services blockieren Abrufe über curl manchmal. Dabei wird der Useragent von curl ausgesperrt. Allerdings kann dieser einfach geändert werden:

curl -A "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:66.0) Gecko/20100101 Firefox/66.0" -X GET https://example.com/

Damit können solche fragwürdigen Maßnahmen, welche zum Ausschluss von curl führen, umgangen werden. Daneben verfügt curl über viele weitere Operationen bzw. Optionen. So kann z.B. mittels des Parameters -I nur der Header des Response bezogen werden:

curl -I -X GET https://example.com

Somit bietet curl die entsprechende Funktionalität um REST-APIs für Tests und ähnliches flexibel abzufragen.

SMB-Freigaben unter Mac OS X in der Kommandozeile mounten

Über den Finder kann man unter Mac OS X ohne Probleme auf SMB-Freigaben zugreifen. Manchmal möchte man eine Freigabe allerdings automatisch einbinden. Dazu gibt es unter Mac OS X den Befehl „mount_smbfs“ welcher unter anderem im Terminal ausgeführt werden kann:

mount_smbfs //nutzer:passwort@server/freigabe /Users/seeseekey/SMBOrdner/

Nach der Ausführung des Kommandos kann auf die gemonteten Daten zugegriffen werden. Schreib- und Leserechte werden dabei automatisch von Mac OS X vergeben, so das diese beim mounten nicht extra definiert werden müssen.

RAID 5 mit Verschlüsselung und Samba aufsetzen

Ein NAS mit einem RAID 5, einem Samba Server und Verschlüsselung auf Basis von Ubuntu wäre doch eine schöne Sache. Um das zu bewerkstelligen lädt man sich den Ubuntu Server unter http://www.ubuntu.com/server herunter, brennt ihn auf eine CD uns startet diese auf dem entsprechenden Rechner.

Dort wählt man dann Deutsch als Sprache aus und geht im Menü auf Ubuntu Server installieren. Nach einigen Fragen bezüglich der Tastatur- und Ländereinstellungen geht es dann weiter mit den Partionseinstellungen. An dieser Stelle erzeugen wir ein neues RAID 5. Dazu wählen wir als Partionsmethode manuell aus und gehen anschließend auf den Menüpunkt Software-RAID konfigurieren. Sollte es bereits Partionen geben so sollten diese vorher gelöscht werden. Sollte hierbei noch ein Software RAID eingerichtet sein, so muss dieses zuerst unter Software-RAID konfigurieren gelöscht werden (MD Gerät löschen).

Nachdem wir Software-RAID konfigurieren ausgewählt haben gehen wir auf MD Gerät erstellen und wählen dort RAID5 aus. Danach wird man nach der Anzahl der aktiven Geräte (sprich Festplatten) gefragt. Hier gibt man die Anzahl der Festplatten an welche man für das RAID verwenden will. Die Festplatten sollten dabei die gleiche Größe aufweisen (sonst wird die kleinste Festplatte als kleinster Nenner angesehen). Nach den aktiven Geräten kann man die Reservegeräte (Hot Spare) definieren und anschließend angeben welche Festplatten in das RAID genommen werden sollen.

Nachdem man das ganze bestätigt hat und die RAID Konfigurationsseite mittels Fertigstellen verlassen hat, definiert man noch den Einhängepunkt des RAID5 Gerätes (/) sowie das Dateisystem (ext4) und beendet die Partitionierung. Zusätzlich kann man noch eine Swap Partion anlegen, muss dies aber nicht tun (je nachdem wie viel Arbeitsspeicher in dem Gerät steckt).

Während der Installation wird man dann noch gefragt ob man Mail konfigurieren möchte. Dort wählt man nur lokal aus und fährt mit der Installation fort bis man seinen Nutzernamen und sein Passwort vergeben muss. Auf die Frage ob der persönliche Ordner verschlüsselt werden soll antwortet man mit Ja. Dann fährt man mit der Installation fort bis man gefragt wird ob man bestimmte Pakete vorinstallieren möchte. Hier wählt man OpenSSH server und bestätigt das ganze.

Nach der Installation erstellen wir mittels mkdir /home/seeseekey/share den Ordner in dem später unserer Daten liegen und installieren mittels:

sudo apt-get install mc htop samba swat

den Samba Server (sowie das Webinterface), htop und den Midnight Commander (letztere nur der Bequemlichkeit halber). Mittels

sudo smbpasswd -a seeseekey

erzeugen wir einen neuen Sambabenutzer. Dabei ist zu beachten das der betreffende Sambanutzer im System schon als Benutzer existieren muss. Am besten legt man solche Nutzer mittels

sudo adduser –no-create-home –disabled-login –shell /bin/false seeseekey

an. Diese Nutzer haben dann kein Homeverzeichnis und können sich auch nicht auf dem System einloggen. Nun müssen wir noch einige Dinge an den Dateirechten ändern damit Swat die Samba Config schreiben kann. Dies geschieht auf der Konsole mittels

sudo chown root:admin /etc/samba/smb.conf
sudo chmod 664 /etc/samba/smb.conf

Anschließend starten wir Swat mittels sudo /etc/init.d/openbsd-inetd restart neu. Danach können wir uns mit einem Webbrowser anmelden (http://“IP Adresse“:901 z.B. 192.168.1.15:901). Als Nutzername und Passwort dient dabei der bei der Installation angelegte Benutzer.

Nachdem wir uns verbunden haben können wir unter Globals einige Dinge einstellen z.B. den Namen der Arbeitsgruppe (workgroup). Unter Shares legen wir eine Freigabe an. In diesem Beispiel nennen wir die Freigabe Daten und klicken auf erstellen. In dem sich öffnenden Optionen setzen wir folgende Parameter:

path -> /home/seeseekey/share/
admin users -> seeseekey
readyonly -> No
available -> Yes

und klicken anschließend auf Änderungen speichern.

Nun haben wir ein System welches ein RAID 5 kombiniert mit einem Sambaserver und einer Verschlüsselung bereitstellt. Wenn man den Server startet muss man den Nutzernamen und das Passwort eingeben, damit das entsprechende Nutzerverzeichnis in welchem die Freigabe liegt entschlüsselt wird. Das kann man natürlich auch per SSH machen, allerdings ist die Sitzung (und somit die SMB Freigabe) nur so lange verfügbar wie die SSH Verbindung steht. Eine Anmeldung direkt am NAS (es reicht ja wenn eine Tastatur angeschlossen ist) ist also vorzuziehen.

Ein kleiner Hinweis noch am Rande: Mittels cat /proc/mdstat kann man nach der Anmeldung Informationen über das RAID abfragen.

Weitere Informationen gibt es unter:
http://de.wikipedia.org/wiki/Network_Attached_Storage
http://wiki.ubuntuusers.de/Software-RAID
http://wiki.ubuntuusers.de/ecryptfs-utils
http://wiki.ubuntuusers.de/SAMBA
http://wiki.ubuntuusers.de/samba_server
http://wiki.ubuntuusers.de/Samba_Server_Swat

SMB Freigaben über SMBNetFS dauerhaft einbinden

Mittels SMBNetFS kann man relativ einfach eine SMB Freigabe in das Dateisystem einbinden. Dazu muss im ersten Schritt (neben der Installation des Paketes smbnetfs) der Nutzer zur Gruppe fuse hinzugefügt werden. Dies geschieht mittels:

sudo usermod -aG fuse seeseekey

wobei der Nutzername entsprechend zu setzen ist. Die Gruppenzugehörigkeit gilt allerdings erst nach der nächsten Anmeldung. Überprüfen kann man das auf der Konsole mit dem Befehl id. Danach trägt man in die .profile Datei welche im jeweiligen Nutzerverzeichnis liegt folgendes ein:

smbnetfs ~/Netzwerk -o uid=1000,gid=1000,umask=0777

Die User- und GruppenID (uid, gid) muss dabei durch die entsprechende ID ausgetauscht werden. Wenn die Freigabe eine Authentifizierung verlangt so erzeugt man die Datei ~/.smb/smbnetfs.conf und trägt in diese folgendes ein:

auth „Nutzername“ „Passwort“

Sollte es Probleme mit den Dateirechten geben so sollte man diese für die conf Datei mittels chmod auf 600 setzen. Danach sollte die Freigabe nach der Anmeldung automatisch eingebunden werden.

Weitere Informationen gibt es unter:
http://wiki.ubuntuusers.de/FUSE
http://wiki.ubuntuusers.de/Samba_Client_SMBNetFS
http://wiki.ubuntuusers.de/Samba_Client_fusesmb

SMB / CIFS und die Sache mit den Umlauten

Um eine Freigabe dauerhaft per fstab einzubinden trägt man einfach

//lexa/Z$ /media/lexa-z cifs credentials=/home/seeseekey/.smbcredentials,uid=1000,gid=1000,file_mode=0777,dir_mode=0777 0 0

in die Datei. Nun könnte es aber ein Problem mit den Umlauten geben. Um dieses Problem zu umschiffen trägt man iocharset=utf8 dazu. Das ganze sieht dann so aus:

//lexa/Z$ /media/lexa-z cifs credentials=/home/seeseekey/.smbcredentials,iocharset=utf8, uid=1000,gid=1000,file_mode=0777,dir_mode=0777 0 0

Und schon werden die Umlaute unterstützt :)

Weitere Informationen gibt es unter:
http://wiki.ubuntuusers.de/FSTAB
http://wiki.ubuntuusers.de/Samba