Vom Backup zum Restore: Wie squibble Wiederherstellbarkeit betreibt
Unsere dreistufige Backup-Architektur im Betrieb: isolierte Pull-Backups, unveränderbare Offsite-Kopien, Restore-Tests und ehrliche Grenzen.
· 7 Min.
Blog · 13 Beiträge
Aus der Werkstatt
Technische Beiträge über die Systeme, die bei Squibble tatsächlich laufen – Architektur, Infrastruktur und die Entscheide dahinter.
Nur die Mail-Ports schwiegen
Von zu Hause liefen alle Mail-Ports in einen Timeout, während HTTPS auf demselben Host normal antwortete. Ursache war eine zweite [DEFAULT] ignoreip in jail.d, die FAIL2BAN_IGNOREIP von docker-mailserver ersetzt.
· 6 Min.
Exit 0, und nichts geschrieben
Codex meldete im Write-Mode Erfolg, obwohl keine Datei entstand. Der Fehler lag in der Linux-Sandbox, doch die dauerhafte Lehre betrifft unser Gate.
· 4 Min.
Der Webhook ist keine Datenquelle
Workbench bringt Änderungen aus GitLab in weniger als fünf Sekunden in einen offenen Browser. Der Webhook beschleunigt den Weg, doch die Wahrheit bleibt bei GitLab und die lokale Projektion bleibt wegwerfbar.
· 11 Min.
357 Sekunden pro Push, und die Tests waren nicht schuld
Unser Pre-Push-Gate brauchte fast sechs Minuten. Gelesen hat der Container über einen Bind-Mount, und das allein kostete 324 der 357 Sekunden.
· 6 Min.
CI/CD Analytics: Wo die Pipeline-Zeit wirklich bleibt
Eine rote oder langsame Pipeline ist nur ein Symptom. Workbench verbindet verlorene Runner-Zeit, Job-Trends und Pipeline-Wasserfälle zu einer Untersuchung, die bis zum konkreten Merge-Request-Versuch führt.
· 7 Min.
Never Release to Test: Warum wir unsere CI und KI-Agenten nach links verschieben mussten
16’300 CI-Minuten in einer Woche, 18.9 % kompletter Ausschuss und 22 Release-Versuche für eine einzige Anwendung: Warum Releases als Testumgebung missbraucht wurden, wieso Agenten ohne Governance lautlos Standards ignorieren, und wie ein dreistufiger Filter das Problem löst.
· 5 Min.
Backups Done Right: Kopien reichen nicht
Eine technische Blaupause für ransomware-resiliente Backups: getrennte Vertrauenszonen, unveränderbare Kopien, passende Retention und getestete Restores.
· 10 Min.
Boards: ein Kanban, das nicht weiss, wo seine Karten liegen
Jedes Board scheitert irgendwann daran, dass es zur zweiten Wahrheit wird: es merkt sich, in welcher Spalte eine Karte liegt, und ab da muss dieses Wissen gepflegt werden. Workbench merkt es sich gar nicht: Spalten sind Regeln, die beim Lesen ausgewertet werden.
· 9 Min.
Special vdev: 113 TB an zwei Dateien
Das Special vdev eines 113-TB-Pools lag auf zwei qcow2-Dateien: beide auf derselben Consumer-SSD mit 11 % Restlebensdauer. Der Umzug war eine Operation am laufenden Mirror ohne Spielraum für Fehler. Und er hat zwei Checks aufgedeckt, die die ganze Zeit auf das Falsche gezeigt haben.
· 8 Min.
Workbench: ein Delivery-Index, der falsch liegen darf
Wir haben eine mandantenfähige Sicht über mehrere GitLab-Instanzen gebaut, ohne zur zweiten Wahrheit zu werden. Die Regel, die das trägt: die lokale Datenbank ist wegwerfbar, und korrekt macht sie die Reconciliation, nicht die Webhooks.
· 5 Min.
Env Manager: ein Secrets-Speicher, der seine eigenen Secrets nicht lesen kann
Ein Security-Review hat darauf hingewiesen, dass unser Secrets-Manager seinen eigenen Administratoren vertraut. Die Antwort war Zero-Knowledge-Ende-zu-Ende-Verschlüsselung, und der ehrliche Teil des Entwurfs ist die Liste der drei Stellen, an denen der Server trotzdem Klartext sieht, und warum wir jede davon akzeptiert haben.
· 6 Min.