Größe der Packdateien unter Git beschränken

Im Versionsverwaltungssystem Git existieren im Repository sogenannte Packfiles. Diese werden genutzt um mehrere Objekte, wie z.B. Commits, Trees, Blobs oder Tags, als einzelne Dateien abzulegen. Damit fasst Git viele Objekte zu einer einzelnen komprimierten Datei zusammen. Ergänzt wird das ganze durch einen Index, um einen schnellen Zugriff zu ermöglichen. Dabei nutzt Git Delta-Kompression, indem es ähnliche Objekte, z. B. verschiedene Versionen derselben Datei, nicht vollständig speichert, sondern nur die Unterschiede.

Eine Git-Pack-Datei im Schema

Dies reduziert die Repository-Größe erheblich, kann aber bei ungünstigen Repositorys mit vielen Binärdaten zu Repositorys führen, welche mehrere dutzend Gigabyte große Pack-Dateien besitzen. Eine Steuerung ist über den Konfigurationsparameter pack.packsizelimit möglich:

git config pack.packsizelimit 5g

Damit würde diese Einstellung für das aktuelle Repository gesetzt werden. Wer das Ganze global benötigt, kann dies ebenfalls einstellen:

git config --global pack.packsizelimit 5g

Allerdings gilt diese Einstellung nicht sofort, stattdessen muss für ein Repack gesorgt werden:

git repack -Ad --max-pack-size=5g

Anschließend kann die Größe der Packs kontrolliert werden:

ls -lh .git/objects/pack

Allerdings sollte beachtet werden, das die Option grundsätzlich nur in Ausnahmefällen sinnvoll ist:

Note that this option is rarely useful, and may result in a larger total on-disk size (because Git will not store deltas between packs) and worse runtime performance (object lookup within multiple packs is slower than a single pack, and optimizations like reachability bitmaps cannot cope with multiple packs).

Spamhaus DQS unter Postfix konfigurieren

Spamhaus betreibt seit vielen Jahren einige der effektivsten Echtzeit-Blocklisten (DNSBLs) gegen Spam, Botnets und missbrauchte Mailserver. Viele Administratoren nutzen diese Listen über die klassischen öffentlichen DNS-Mirrors, etwa zen.spamhaus.org. Doch seit einiger Zeit schränkt Spamhaus die Nutzung genau dieser Public Mirrors deutlich ein.

Insbesondere gilt dies für Nutzer großer Hosting- und Cloud-Provider wie Hetzner oder OVH. Wer Spamhaus nun z.B. beim eigenen Mailserver mit diesen Providern einsetzt, wird im Log solche Meldungen entdecken:

Service unavailable; Client host [203.0.113.127] blocked using zen.spamhaus.org; Error: open resolver;

Die Legacy-Mirrors sind eigentlich nur für kleine Installationen gedacht, also für einzelne Mailserver, die klar identifizierbar über ihre eigene IP-Adresse sind. Doch genau diese eindeutige Identifikation funktioniert nicht mehr zuverlässig, wenn Anfragen über große Cloud-Infrastrukturen kommen. Damit kann die Fair-Use-Policy nicht mehr sinnvoll durchgesetzt werden.

Als Alternative bietet sich der Spamhaus-Dienst Data Query Service (DQS) an. Damit werden die Abfragen weiterhin per DNS ausgeführt, jedoch über einen individuellen Zugangsschlüssel, der als Subdomain eingebettet wird und so eine eindeutige Identifikation ermöglicht. Im ersten Schritt muss hierfür ein Account angelegt werden. Nachdem der Account erstellt wurde, kann sich über das Portal eingeloggt werden. Dort kann unter dem Punkt Products → Data Query Service ein DQS-Schlüssel erzeugt werden.

Das Portal von Spamhaus

Anschließend kann mit der Konfiguration von Postfix begonnen werden:

nano /etc/postfix/dnsbl-reply-map

In diese Datei wird Folgendes eingetragen:

dqskey.zen.dq.spamhaus.net=127.0.0.[2..11]	554 $rbl_class $rbl_what blocked using ZEN - see https://www.spamhaus.org/query/ip/$client_address for details
dqskey.dbl.dq.spamhaus.net=127.0.1.[2..99]	554 $rbl_class $rbl_what blocked using DBL - see $rbl_txt for details
dqskey.zrd.dq.spamhaus.net=127.0.2.[2..24]	554 $rbl_class $rbl_what blocked using ZRD - domain too young
dqskey.zen.dq.spamhaus.net			554 $rbl_class $rbl_what blocked using ZEN - see https://www.spamhaus.org/query/ip/$client_address for details
dqskey.dbl.dq.spamhaus.net			554 $rbl_class $rbl_what blocked using DBL - see $rbl_txt for details
dqskey.zrd.dq.spamhaus.net			554 $rbl_class $rbl_what blocked using ZRD - domain too young

Der Platzhalter dqskey wird hierbei durch den realen DQS-Schlüssel ersetzt. Nach einer Ausführung von Postmap:

postmap /etc/postfix/dnsbl-reply-map

geht es an die eigentliche Konfiguration:

nano /etc/postfix/main.cf

Dort muss im ersten Schritt die alte Spamhaus-Konfiguration (wenn vorhanden) entfernt werden. Nun kann die neue Konfiguration hinzugefügt werden:

smtpd_recipient_restrictions =
    ...
    reject_rbl_client dqskey.zen.dq.spamhaus.net=127.0.0.[2..11]
    reject_rhsbl_sender dqskey.dbl.dq.spamhaus.net=127.0.1.[2..99]
    reject_rhsbl_helo dqskey.dbl.dq.spamhaus.net=127.0.1.[2..99]
    reject_rhsbl_reverse_client dqskey.dbl.dq.spamhaus.net=127.0.1.[2..99]
    reject_rhsbl_sender dqskey.zrd.dq.spamhaus.net=127.0.2.[2..24]
    reject_rhsbl_helo dqskey.zrd.dq.spamhaus.net=127.0.2.[2..24]
    reject_rhsbl_reverse_client dqskey.zrd.dq.spamhaus.net=127.0.2.[2..24]
    ...

Damit die DQS-Schlüssel nicht per Reject-Nachricht nach außen geleakt werden, wird noch die Reply Map eingebunden:

rbl_reply_maps = hash:$config_directory/dnsbl-reply-map

Anschließend kann Postfix neu gestartet werden:

systemctl restart postfix

Getestet werden kann das Ganze dann z.B. mit dem Blocklist Tester von Spamhaus.

Umstellung des master-Branch auf main-Branches in Forgejo

Der Standard-Branch in Git ist seit einiger Zeit main, anstatt des veralteteten master. Wer Projekte, die Forgejo nutzen, vom Branch master auf main umstellen möchte, muss den Standard-Branch entsprechend anpassen. Im ersten Schritt sollte lokal der main-Branch aus dem master-Branch erzeugt und auf den Server gepusht werden: 

git checkout master
git branch -m main
git push -u origin main

Anschließend kann in Forgejo der Standardbranch von master zu main geändert werden. Dies geschieht in den Einstellungen des Repositories unter Branches:

Die Einstellungen des Repository

Nun kann der Branch auf dem Git-Server gelöscht werden:

git push origin --delete master

Ist dies geschehen, kann der lokale Branch ebenfalls gelöscht werden:

git branch -D master

Auf verbleibenden lokalen Repositories kann die Aktualisierung nun wie folgt vorgenommen werden:

git pull
git checkout main
git branch -D master

Speicher unter macOS bereinigen

Vor allem vor einem macOS-Update kann es vorkommen, dass auf den kleineren Speicherkonfigurationen eines Macs der Speicher knapp wird. Neben dem manuellen Ausmisten helfen hierbei auch Tools wie mac-cleanup-py. Das Tool kann über Homebrew installiert werden:

brew install mac-cleanup-py

Nach der Installation kann das Werkzeug über:

sudo mac-cleanup

aus dem Terminal heraus angestartet werden. Beim ersten Aufruf können die Module für die Bereinigung aktiviert werden. Später kann dies mittels:

mac-cleanup -c

wiederholt werden. Soll die Bereinigung ohne nachfragen durchgeführt werden kann der Parameter -f mit angehangen werden:

sudo mac-cleanup -f

Das Tool selbst ist freie Software unter der Apache License in Version 2.

Aktualisierungsskript für Ubuntu-Rechner

Für Ubuntu-Rechner habe ich es mir seit vielen Jahren angewöhnt ein Skript upgrade.sh zu erzeugen, welches installierte Pakete auf den aktuellen Stand bringt:

#!/bin/sh
apt autoremove -y && apt autoclean -y && apt update && apt full-upgrade -y && apt autoremove -y && apt autoclean -y
snap refresh

Bei apt wird autoremove und autoclean vor und nach dem Upgrade aufgerufen, um bei Systemen mit wenig Speicherplatz für möglichst viel freien Platz zu sorgen. Technisch unspektakulär, aber eine zuverlässige kleine Routine, die die Systempflege deutlich erleichtert.