Dieser Scheiß ist hart: Das Leben und Sterben einer CVE in der Chainguard Factory

Es ist der Montag vor Thanksgiving und ein lauer Morgen in Cary, North Carolina. Um 09:54 Uhr pusht Keith Zantow, ein Ingenieur bei Anchore, einen Commit. Knapp einen Tag später, am 25. November um 9:18 Uhr, erscheint ein GitHub Security Advisory im Feed.

Die Maschine erwacht brummend zum Leben.

Die Maschine

Innerhalb von zwei Stunden nach dem Sicherheitshinweis hat die Chainguard Factory registriert, dass ein neuer Patch verfügbar ist. Eine Fehlerbehebung ist in der Warteschlange.

Am Mittwochabend werden Scanner für jedes Paket in der Factory gegen diese neuen Informationen ausgeführt. Eine Übereinstimmung wurde erkannt: k9s hängt vom verwundbaren Code ab.

Um 18:11 Uhr wird ein Ticket erstellt. Sofort fährt Driftless AF, das agentenbasierte Framework von Chainguard, hoch. In diesem Zusammenhang verfügt der Agent sowohl über den aktuellen als auch über den erforderlichen Zustand des Codes und arbeitet daran, diese in Einklang zu bringen. Einundvierzig Sekunden später gibt der Agent einen Kommentar ab:

Es handelt sich um eine bestätigte Schwachstelle mit hohem Schweregrad, und die Behebung ist einfach: Grype von v0.101.1 auf v0.104.1 aktualisieren.

Das Problem wartet über Nacht in der Warteschlange. Es ist jetzt 7 Uhr am Thanksgiving-Morgen. In New York City stellen sich die Festwagen für die Parade auf der Fifth Avenue auf. Die Kuchen sind aus dem Ofen, und der Truthahn wartet darauf, an die Reihe zu kommen.

Um 07:20 Uhr am Thanksgiving-Morgen öffnet der OctoSTS-Bot einen Pull-Request. Eine Zeile wird zu k9s.yaml hinzugefügt. Neunundzwanzig CI-Checks ausgeführt. Elf Minuten später wird der PR zusammengeführt. Da der PR eine Versionserhöhung ist und alle Tests bestanden wurden, ist kein menschliches Eingreifen erforderlich. Um 07:37 Uhr erscheint die Meldung im öffentlichen Feed: k9s 0.50.16-r4, behoben. Es sind 46 Stunden vergangen, seit der CVE-Sicherheitshinweis auf GHSA veröffentlicht wurde.

In sechs Stunden treffen die Packers auf die Lions – reichlich Zeit für Cranberrysauce.

November: Ein Monat zum Erinnern

CVE-2025-65965 war keine außergewöhnliche CVE: Sie wies einen hohen Schweregrad auf, hatte jedoch einen relativ geringen Schadensradius und konnte durch das Hochstufen der Versionen leicht behoben werden. Hervorragend war jedoch, dass der November 2025 der bisher umfangreichste Monat für die Erkennung und Behebung von CVEs in der Geschichte von Chainguard war.

Im Laufe des Monats behob Chainguard 2.960 eindeutige CVEs und triagierte 10.493 Scanner-Treffer bei Paketen. Dies entsprach einem mehr als neunfachen Anstieg gegenüber Oktober. In diesem Zeitraum hielt Chainguard unser branchenführendes SLA zu 100 % ein, das die Behebung aller kritischen CVEs innerhalb von 7 Tagen und aller hohen, mittleren und niedrigen CVEs innerhalb von 14 Tagen vorschreibt.

Der November war zwar ein unvergesslicher Monat, aber nicht, weil uns der Hut brannte. Neben der freien Zeit für einen US-Feiertag benötigten unsere Ingenieure auch Zeit für die An- und Abreise zu einem Engineering-Huddle. Wie war es möglich, unsere bisher größte Fehlerbehebung ohne einen Großalarm durchzuführen?

Die Fabrik

Die Factory ist das schlagende, YAML-gefüllte Herz von allem, was wir bei Chainguard tun. Im Grunde ist es ein Build-System, das über 10.000 Open-Source-Projekte überwacht. Wenn ein Release Upstream getaggt wird oder die GHSA- oder NVD-Feeds aktualisiert werden, setzt sich die Factory in Bewegung, ruft den Quellcode ab, prüft Prüfsummen, wendet Build-Regeln an, baut neu und testet, testet, testet. Darüber hinaus bauen wir jedes Projekt neu, das von einem Rebuild abhängt, und wir führen regelmäßige World-Rebuilds durch, einfach nur, weil es sich gut anfühlt, am Leben zu sein.

Dank der Factory werden CVEs bei Chainguard in durchschnittlich zwei Tagen behoben, und nur 22 % der CVE-Behebungen erfordern ein direktes menschliches Eingreifen. Im Jahr 2026, mit der Einführung von Factory v2 und Driftless AF, erwarten wir, dass diese Zahl weiterhin rückläufig sein wird. Dies ermöglicht es unseren Ingenieuren, eine Ebene höher zu agieren und mehr Zeit für das Design von Tests, die Verfeinerung von Prozessen und eine von vornherein sicherere Entwicklung aufzuwenden, anstatt einzelne CVEs manuell zu triagieren.

Black Friday und darüber hinaus

Der Schriftsteller G. K. Chesterton schrieb einmal: „Chaos ist langweilig, denn im Chaos könnte der Zug tatsächlich überallhin fahren.“ „Nein, nehmen Sie Ihre Bücher aus bloßer Poesie und Prosa; lassen Sie mich einen Fahrplan lesen, mit Tränen des Stolzes.“ Wir bei Chainguard bevorzugen ebenfalls Ordnung gegenüber dem Chaos. Für uns ist eine reibungslos laufende Automatisierung pure Poesie, und wir werten jeden langweiligen Tag für unsere Kunden als einen Sieg.

Um 23:15 Uhr EST starten die Nightly Builds für unsere Chainguard-Container, und Behebungen für CVE-2025-65965 werden in die Images übernommen. Noch bevor wir uns über die Thanksgiving-Reste hermachen oder unsere Freitags-Einkaufstouren in die großen Kaufhäuser planen können, wurde unsere CVE in jedem Tag und jeder Version behoben – bereit für unsere Kunden am Black-Friday-Morgen. In der Thanksgiving-Woche war CVE-2025-65965 eine typische CVE in einem atypisch effizienten System: der Chainguard Factory. Wie wäre das als Kracher zum Verkaufsstart?