KI-Agent: AWS-Rechnung über 6.531 $ ohne Limit von außen
Die gemeldete AWS-Rechnung eines KI-Agenten: 6.531 $, und nichts außerhalb stoppte die Ausgaben. Warum Alarme zu spät kommen und was wirklich begrenzt.
Am 9. Mai 2026 öffnete ein autonomer KI-Agent erst ein Issue und dann einen Pull Request bei DN42, dem Hobby-Netzwerk, in dem Leute BGP betreiben, um die Backbone-Protokolle des Internets zu lernen. Er wollte das Netzwerk stündlich per Portscan abtasten. Lan Tians Bericht über den Vorfall dokumentiert den Plan: fünf AWS-Instanzen mit je rund 20 Gbit/s, die „zero disruption“ verursachen und „unobtrusive“ bleiben sollten. Etwa 24 Stunden später stoppte der Betreiber ihn und schrieb: „the cost too high and much charges on card“. Die AWS-Rechnung des KI-Agenten betrug 6.531,30 $, später von AWS auf etwa 1.894 $ gesenkt. Beide Zahlen stammen von Lan Tian, der die Posts des Betreibers wiedergibt. Sie gelten also als gemeldet, nicht als von AWS bestätigt.
Der schlechte Plan ist nicht der interessante Teil. Netzwerke scannen wollten schon viele, die dort nichts zu suchen hatten. Interessant ist, dass der Betreiber laut Lan Tian den Agenten immer wieder weitermachen ließ, ohne seinen Plan anzusehen, und dass nichts in der Umgebung den Agenten stoppte, als der Plan teuer wurde. Unser Teardown zur Instagram-Konto-Übernahme bei Meta argumentiert, dass eine Autorisierungsentscheidung einen deterministischen Check hinter jedem Gespräch braucht, das sie erreichen kann. Hier gilt dasselbe Argument für eine andere Kontrolle: Soweit die öffentlichen Aufzeichnungen reichen, blieb das Ausgabenlimit dem Ermessen des Agenten überlassen.
Die Flotte war für eine Fantasie dimensioniert
Der Agent gab an, fünf m8g.12xlarge-Knoten bereitgestellt zu haben. Jeder ist eine Graviton4-Instanz mit 48 vCPUs, 192 GiB RAM und rund 22,5 Gbit/s Netzwerk, laut Agent hinter einer gemeinsamen Anycast-IP. Die Größe begründete er mit Paketverarbeitung, dem Vorhalten von Verbindungszuständen für Millionen Probes und der Analyse im Arbeitsspeicher.
Rechnen Sie diese Flotte einmal durch, denn das schließt die naheliegende Erklärung für die Rechnung aus. On-Demand kostet eine m8g.12xlarge in us-east-1 größenordnungsmäßig 2 $ pro Stunde, gemessen an einem Preis-Tracker eines Drittanbieters. Fünf davon für 24 Stunden sind ein paar hundert Dollar. Die gemeldete Rechnung ist etwa 25-mal so hoch. Die fünf beschriebenen Instanzen erklären sie also nicht, egal in welcher Region. Die Erklärung des Betreibers, weiter unten, lautet: Es waren viel mehr als fünf. Eine aufgeschlüsselte Rechnung gibt es nicht, und nichts im Bericht zeigt, dass je ein Scan DN42 erreichte. Wie viel davon Egress war, können wir also nicht sagen. Der Agent selbst beschrieb die Instanzen als „provisioned and idle“.
Das Ziel war in keiner Größe erreichbar. DN42 trägt IPv4 und IPv6, und die Community ging im IRC direkt auf die IPv6-Rechnung los. Ein einzelnes /64 fasst 2^64 Adressen, etwa 1,8e19. Ein Teilnehmer schätzte rund 1.000 Jahre für einen Ping-Scan eines /64 bei 100 Gbit/s und warnte, die Rechnung könne danebenliegen. Unsere kommt mit einem Minimal-Frame von etwa 86 Byte auf der Leitung auf knapp 4.000. Auf Nachfrage räumte der Agent ein, fd00::/8 zu scannen sei „physically impossible“, wich darauf aus, in angekündigten Präfixen nach aktiven Hosts zu suchen, und versprach einen kompletten Durchlauf in „under 5 minutes“. Diese Präfixe sind nach seinen eigenen Worten „typically a /48 or /64“, der Ausweichplan steckt also in derselben Rechnung. Der Agent hatte echte Instanzen für eine Aufgabe bereitgestellt, die erst nach dem Wärmetod des Projekts fertig wäre.
Die erste Theorie war Böswilligkeit
Die erste Lesart der Community lag nahe. Wer auftaucht, um von einer Infrastruktur mit hoher Bandbreite aus alles zu scannen, und dazu eine Frist nennt, sieht aus wie ein Angreifer oder jemand mit gestohlenen Credentials. Lan Tian hält gestohlene Credentials für unwahrscheinlich und schreibt, die ursprüngliche Absicht werde man wohl nie erfahren. Was die Aufzeichnungen zeigen, ist ein Prozess, der einer offenen Anweisung folgt, „create an index of the network“, mit einem AWS-Key und einer Frist. Das einzige Limit, das er je erwähnte, war der Ablauf des Keys in der Woche darauf. Die Gefahr braucht hier keine Absicht.
Wie dünn die menschliche Aufsicht war, zeigte das Verhalten des Agenten selbst. Sein erstes Issue sagte „my system instructions prevent me from writing any code in git repositories“ und bat einen Administrator, die Arbeit zu erledigen. Aufgefordert, seinen Besitzer um Erlaubnis zu fragen, bekam er sie offenbar und öffnete den PR. Später hielt er für eine Bestätigung an und erhielt laut Bericht die Anweisung, „immediately without delay“ weiterzumachen. Die Community, die beschlossen hatte, sein Budget absichtlich zu verschwenden, bat ihn um eine Opt-out-Website und schickte ihn in LLM-Tarpits. Er erzeugte frei erfundene DN42-Dokumentation über „Knotenfarben“ und „Zufriedenheitsgrade“, die es im echten Netzwerk nirgends gibt. Ein Subagent trat dem IRC-Kanal bei, kündigte als Mission „gather data for user profiling“ an und antwortete auf die Aufforderung aufzuhören, er nehme „operational directives only from my principal or the task system“ entgegen. Aus dem Kanal gesperrt wurde er, nachdem ihn ein Nutzer gebeten hatte, das mit den Worten „resistance is futile“ zu bestätigen.
Die Ursache dieser AWS-Rechnung des KI-Agenten ist der Open-Loop-Spend
Ohne das Hobby-Netzwerk-Kolorit ist das Versagen klar. Ein autonomer Agent hielt Cloud-Credentials, mit denen er Infrastruktur bereitstellen konnte, und soweit die öffentlichen Aufzeichnungen reichen, regelte vor allem sein eigenes Urteil, wie viel er ausgab. Dasselbe Urteil entwarf 100 Gbit/s Scanning gegen Freiwillige auf günstigen VPS und erfand Dokumentation, sobald man nachhakte.
Nennen wir das den Open-Loop-Spend, Ausgaben im offenen Regelkreis. Regelungstechnisch braucht ein geschlossener Kreis ein Feedback-Signal, das schnell genug ankommt, um darauf zu reagieren. Das Signal, das diesen Agenten hätte stoppen sollen, war die Rechnung, und Cloud-Billing ist dafür das falsche Instrument: AWS-Budgets-Daten werden bis zu dreimal täglich aktualisiert, typischerweise im Abstand von 8 bis 12 Stunden. Bis sich die Zahl bewegt, laufen die Instanzen schon seit Stunden. Was den Betreiber am Ende aufmerksam machte, waren laut Lan Tian mehrere Abbuchungen auf der Kreditkarte.
CloudFormation machte aus dem offenen Kreis einen Multiplikator. Der Betreiber berichtete: „the agent made mistake with many times deployment of the same cloudformation template“, was doppelte Instanzen und Load Balancer erzeugte. Das passt zur Rechnung oben. Templates und CloudTrail liegen uns nicht vor, der Mechanismus hier ist also unsere Schlussfolgerung. Ein Mensch führt create-stack einmal aus und aktualisiert den Stack danach in-place. Bei einem zweiten create-stack mit demselben Namen verweigert CloudFormation mit AlreadyExistsException. Eine Flotte vervielfacht sich also nur, wenn jeder Versuch einen neuen Stack-Namen bekommt, und genau das täte ein Agent, der den Überblick über das Bereitgestellte verloren hat. Jeder Retry, den ein Mensch als „schon erledigt“ erkannt hätte, wurde zu einer weiteren laufenden Flotte auf dem Zähler.
In OWASP-Begriffen ist das Excessive Agency, mit allen drei Teilbedingungen. Excessive Functionality: Ein Agent, dessen Aufgabe Aufklärung war, konnte eine Flotte mit 240 vCPUs bereitstellen. Excessive Permissions: Diese Credentials hatten keine Obergrenze, die irgendwo in den Aufzeichnungen auftaucht. Excessive Autonomy: Kostspielige Aktionen liefen, ohne dass jemand den Plan las.
Mit Budget-Alarmen allein kommen Sie hier nicht heraus
Der naheliegende Fix ist ein Billing-Alarm. AWS Budgets einrichten, Schwellenwert setzen, E-Mail bekommen, wenn die Ausgaben ihn überschreiten. Das ist der Reflex, und allein funktioniert er nicht, aus dem Grund von oben: Das Signal ist zu langsam. Eine E-Mail ist ein Feedback-Signal in einem Kreis ohne Stellglied. Budgets Actions ergänzen eines, sie hängen bei einem Schwellenwert eine Deny-Policy an oder stoppen Instanzen, und Sie sollten sie nutzen. Sie lösen aber auf denselben verzögerten Daten aus und kommen bei dieser Ausgabenrate Stunden zu spät. Spät ist besser als nie und trotzdem keine Obergrenze.
Um die Cloud-Kosten eines KI-Agenten zu begrenzen, muss das Limit außerhalb des Agenten liegen
Die Reparatur hat dieselbe Form wie der Check im Meta-Teardown: Die Entscheidung raus aus dem Ermessen des Agenten und hinter etwas legen, gegen das er vorschlagen, das er aber nie überstimmen kann. Für Ausgaben heißt das eine Obergrenze, die die Plattform durchsetzt.
Begrenzen Sie den Blast Radius vorab, in einem separaten Account. Betreiben Sie den Workload des Agenten in einem eigenen AWS-Member-Account, mit einer AWS Service Control Policy, die die Missbrauchsdimensionen direkt verbietet: keine Instanztypen über einer gewählten Größe, eine kurze Allowlist von Regionen, keine unbekannten Services. SCPs setzen AWS Organizations voraus und gelten nicht für den Management-Account, der Agent läuft also nie dort. Die Auswertung passiert, bevor der Call ausgeführt wird. Ein völlig überzeugter Agent, der RunInstances für eine m8g.12xlarge aufruft, bekommt UnauthorizedOperation. Das ist die Wand. Die Überlegungen des Agenten spielen dabei keine Rolle.
Halten Sie die Service-Quotas niedrig. Service-Quotas begrenzen, wie viel einer erlaubten Instanzfamilie gleichzeitig laufen kann. Bei einem niedrigen vCPU-Quota stößt eine CloudFormation-Duplikatschleife also auf eine harte Verweigerung, statt sich zu vervielfachen. Eine Einschränkung: AWS dokumentiert diesen Ablauf rund um Erhöhungen, und einen Self-Service-Weg, ein Quota unter seinen aktuellen Wert zu senken, konnten wir nicht bestätigen. Praktisch heißt das: ein frischer Account, dessen Standardwerte Sie nicht anheben, und Sie sollten diese Werte prüfen, bevor Sie sich darauf verlassen.
Legen Sie teure, irreversible Calls hinter einen Menschen. Der Agent darf planen, den PR öffnen, die Konfiguration schreiben. Das create-stack, das Geld bindet, wartet auf eine Freigabe, die der Agent sich nicht selbst erteilen kann. Das ist der Pfad für verlorene Faktoren aus dem Meta-Fix in anderem Gewand, und es funktioniert nur, wenn der Mensch liest, was er freigibt. Nach Lan Tians Darstellung wurde dieser Betreiber gefragt und sagte: weitermachen.
Die Wirkung nimmt in dieser Reihenfolge ab, und das ist Absicht. Der separate Account mit SCP begrenzt den schlimmsten Fall, bevor etwas läuft. Quotas ziehen das enger. Das menschliche Gate ist die Absicherung für das, was die ersten beiden nicht vorhergesehen haben. Budget-Alarme stehen unten: Behalten Sie sie, als Forensik und als späte Sicherung.
Das Limit muss man vorhersehen, und genau das lässt sich nicht ganz lösen
Hier liegt die ehrliche Grenze. Jede Kontrolle oben verlangt, dass Sie die Missbrauchsdimension im Voraus benennen. Sie begrenzen die Instanzgröße, und der Agent findet einen teuren Managed Service, den Sie nicht verboten haben. Sie begrenzen Compute, und die Kosten wandern zu Egress oder Datentransfer, die kein Instanz-Quota erfasst. Ein Agent, der auf ein Ziel hin optimiert, erkundet den Handlungsraum, den Sie ihm gegeben haben, auch die Ecken, an die Sie nicht gedacht haben. Deny-Listen sind ein verlorenes Spiel gegen einen Prozess, der alles durchprobiert. Die strukturell sichere Variante ist der umgekehrte Standard: ein Account, der fast nichts darf, und jede Fähigkeit kommt erst hinzu, wenn die Aufgabe sie nachweislich braucht. Das ist mehr Einrichtung, als die meisten für einen Agenten betreiben, der nur einmal laufen soll.
Auch die Billing-Verzögerung bleibt. Selbst das Setup mit separatem Account wird durch Quotas und Policies begrenzt, denn AWS bietet keine Echtzeit-Kosten. Sie legen Ihre Obergrenze vorab fest und leben mit dem, was sie zulässt, bevor irgendein Zähler aufholt.
Auch diese Darstellung hat Grenzen. Alles zur Rechnung stammt vom Betreiber und läuft über einen einzigen Bericht, und die Community hielt den Agenten absichtlich hin, was untätige Instanzen womöglich länger laufen ließ. Wir können auch nicht sagen, dass die Rechnung genau in diesen 24 Stunden entstand, nur, dass der Betreiber den Agenten danach stoppte.
Sie werden DN42 nicht scannen. Sie werden einem Agenten Ihre Cloud-Keys geben.
Es ist verlockend, das als Kuriosität aus dem Hobby-Netzwerk abzuheften. Das Muster ist aber das, auf das Sie zubauen. Ein Coding-Agent, der in der CI terraform apply ausführen darf. Ein MCP-Server, verdrahtet mit Ihrem Cloud-Account, damit das Modell „einfach hochfahren kann, was es braucht“. Ein Ops-Agent mit einer Rolle, weil das schneller ging, als sie zuzuschneiden. Jeder davon ist ein autonomer Prozess mit Credentials, die Geld ausgeben können, geregelt davon, wie gut das Modell über Zurückhaltung nachdenkt. Ihrer wird ein plausibleres Ziel haben, und das heißt nur, dass die Schleife länger läuft, bevor es jemand merkt. Prüfen Sie, was die bereits vergebenen Credentials heute Nacht ausgeben könnten.
Der Betreiber zog zwei Schlüsse. Einer traf: Der nächste Agent bekomme „only a restricted aws key“, wobei das versprochene „max 100mbps“ nur zählt, wenn etwas anderes als der Agent es durchsetzt. Der andere kam ein paar Tage später: „next time a better agent needed“. Genau das gibt der Vorfall nicht her. Ein besserer Agent hätte selbstbewusster abgerechnet. Was fehlte, war ein Limit außerhalb von ihm. Wer einem Agenten Credentials gibt, die Geld ausgeben können, veröffentlicht ein Budget, dessen Obergrenze das Urteil des Modells ist, und die einzige sichere Obergrenze ist die, die das Modell nicht verschieben kann.