Kategorie: Erklärer

  • Wie KI die Engineering-Organisation neu definiert: Einblicke aus dem Claude-Code-Team

    Wie KI die Engineering-Organisation neu definiert: Einblicke aus dem Claude-Code-Team

    Du leitest eine Werkstatt, in der früher jeder Handgriff teuer war und minutiös geplant werden musste. Schablonen, Arbeitsabläufe, genaue Zeitpläne. Heute stehen Maschinen in der Werkstatt, die Sägen, Schleifen und Zusammenbauen in Sekundenschnelle erledigen. Die Flaschenhälse verschieben sich. Wer prüft die Arbeit der Maschinen? Wie kommt ein fehlerfreies Produkt raus? Und was machen erfahrene Handwerker, wenn die Maschine 80 Prozent der Routinearbeiten übernimmt?

    Genau diese Verschiebung erlebt die Softwareentwicklung. Jahrelang war die teuerste Ressource im Engineering die Zeit der Entwickler: Code schreiben, testen, refactoren. Darauf waren alle Prozesse ausgelegt. Jetzt übernehmen KI-Assistenten wie Claude Code weite Teile des Programmierens. Eine Führungskraft des Claude-Code-Teams hat beschrieben, wie sie ihre Organisation umgebaut hat. Wer die alten Prozesse nicht hinterfragt, wird von der Beschleunigung überrollt.

    Planung: Von der Monatsvorschau zur Just-in-Time-Strategie

    Früher: Plane langfristig, Codeänderungen sind teuer. Ein sechsmonatiger Roadmap war Standard. Wochenlange Diskussionen über Features, Design-Dokumente, Prioritäten – dann Umsetzung. Im Claude-Code-Team hielt das nicht einmal drei Monate. Die KI veränderte die technische Landschaft so schnell, dass detaillierte Planung obsolet war, bevor die erste Deadline kam.

    Die Lösung: Just-in-Time-Planung. Statt aufwändiger Dokumente setzt das Team auf schnelle Prototypen. Bau etwas, lass interne Nutzer damit arbeiten, sammle Feedback. Aus diesem Kreislauf entstehen die nächsten Schritte – fast wie beim JIT-Compilieren. Weniger Produkt-Reviews, mehr Hands-On. Entscheidungen fallen in Pull-Requests und Prototypen, nicht in Besprechungsräumen.

    Wissenstransfer: Frag nicht den Autor, frag die KI

    Eine große Veränderung betrifft den Wissenstransfer. Bisher: Wer hat diesen Code geschrieben? Dann suchte man die Person, unterbrach sie, fragte nach dem Warum. Mit KI-generierten Commits wird das sinnlos. Der „Autor“ ist jetzt ein Prompt – und die Person, die den Prompt eingegeben hat, kann nicht mehr alle Details erklären.

    Der neue Reflex: Stell die Frage zuerst Claude. Die KI hat Zugriff auf den gesamten Codebase, die Commit-Historie und oft mehr Kontext als der Mensch. Frag dich gleich mit, ob dieser Wissensabruf automatisiert werden kann. Beispiel: Die Teamleitung las morgens manuell Kundenfeedback-Kanäle. Heute fasst ein automatisiertes Claude-Analyse-Skript die Erkenntnisse zusammen, ohne dass jemand extra eingreift. Das spart Zeit und liefert konsistentere Ergebnisse.

    Code-Review: Vertrauen, aber prüfen, wo es zählt

    Code-Reviews waren die heilige Kuh der Qualitätssicherung. Jeder Pull-Request wurde von mindestens einem Entwickler gegengelesen. In einer KI-gestützten Organisation hält das nicht stand – die Menge an generiertem Code überfordert jeden Menschen. Die Antwort des Teams ist eine klare Arbeitsteilung.

    Claude übernimmt Stilprüfung, Linting, Bugerkennung und automatisches Hinzufügen von Tests. Das ist schnell, zuverlässig und 24/7 verfügbar. Der Mensch bleibt eingebunden, wo es auf Expertise ankommt: bei Sicherheitsfragen, juristischen Risiken, Produktentscheidungen. Product Manager und Designer prüfen, ob der Code den Funktionsumfang trifft und das Nutzererlebnis stimmt. Die Führungskraft betont, dass dieses Gleichgewicht dynamisch bleibt – was heute menschliche Expertise erfordert, kann die nächste KI-Generation vielleicht selbst übernehmen. Die Grenzen regelmäßig neu ausloten.

    Teamstruktur: Warum Rollen verschwimmen und welche Profile jetzt zählen

    Wenn KI die Routinearbeit erledigt, verändern sich die Anforderungsprofile. Product Manager prototypen jetzt selbst – früher undenkbar. Entwickler entdecken Design und Content. Klassische Rollenbilder lösen sich auf. Zwei besonders wertvolle Profile entstehen: der kreative Baumeister mit Produktverständnis und der Tiefenexperte für Systemarchitektur.

    Der kreative Baumeister hat Visionen, versteht das Problem und leitet die KI geschickt an. Er ist neugierig, probiert aus, scheitert schnell und lernt daraus. Der Systemexperte sorgt dafür, dass die KI überall laufen kann – vom lokalen Rechner bis zur Cloud. Reine Schreibgeschwindigkeit von Code wird unwichtiger. Die Kunst liegt in der Orchestrierung: Wo braucht es menschliches Urteilsvermögen? Dort wird investiert.

    Die Umstellung: Wenige Prinzipien, viel Freiheit

    Wie führt man tiefgreifende Veränderungen ein? Die Führungskraft beschreibt einen Ansatz aus verbindlichen Teamprinzipien und dezentraler Freiheit für Unterteams (Pods). Drei Prinzipien sind nicht verhandelbar: Erstens, jeder im Team nutzt das eigene Produkt – Claude Code und Claude Cowork – tagtäglich. Zweitens, die Teamstruktur bleibt flach. Manager arbeiten zunächst selbst als Entwickler mit, bevor sie führen. Drittens, keine falsche Nostalgie: Prozesse, die nicht mehr funktionieren, werden sofort abgeschafft.

    Innerhalb dieses Rahmens haben die Pods große Autonomie. Sie entscheiden selbst, wie sie Claude ins Triage-System einbinden, Standups gestalten, Workflows als erstes „claudifizieren“. Diese Mischung aus klarer Richtung und lokaler Anpassung verhindert Erstarrung, aber auch Chaos.

    Metriken für den Wandel: Drei Zahlen, die jede Führungskraft verfolgen sollte

    Wie misst man, ob die neue Arbeitsweise greift? Die Führungskraft schlägt drei konkrete Kennzahlen vor. Erstens, die Einarbeitungszeit neuer Teammitglieder sinkt. Im Claude-Code-Team liefern Engineers in der ersten Woche produktiven Code. Früher dauerte das Monate. Zweitens, die Durchlaufzeit eines Pull-Requests wird kürzer. Wenn sie nicht sinkt oder steigt, liegt das Problem oft in der Build-Infrastruktur oder CI-Pipeline, nicht im Code-Review. Drittens, der Anteil KI-gestützter Commits steigt. Zielmarke: 100 Prozent. Seit Monaten gebe es im Team keinen nicht assistierten Commit mehr.

    Wichtig: Höherer Durchsatz ist kein Selbstzweck. Er ist nur wertvoll, wenn er das eigentliche Ziel unterstützt – Probleme schneller lösen, bessere Produkte liefern. Blind auf mehr Code setzen, ohne Qualität und Ausrichtung zu kontrollieren, führt ins Leere.

    Für den Start: Der lauteste Workflow ist der erste Kandidat

    Wenn du vor der Frage stehst, wo du anfangen sollst: Such dir den Workflow, der am meisten Lärm macht – den teuersten, unbeliebtesten, den, vor dem dein Team zurückschreckt. Frag dich: Dient er noch seinem Zweck? Falls ja, kann ich ihn automatisieren? Die Führungskraft erinnert an ein eigenes Beispiel: ein wöchentliches Review-Meeting mit vielen Teilnehmern, die teilnahmslos auf ihre Laptops starrten. Die einfache Frage „Warum haben wir dieses Meeting?“ offenbarte: Es war ein Relikt. Das Meeting wurde gestrichen.

    Für die nächste Woche: Nimm dir einen Prozess vor. Vielleicht den Code-Review-Workflow, die Planungssitzung, die Art, wie ihr Tickets priorisiert. Frag, welchen Teil ein KI-Assistent übernehmen kann – nicht nur Schreiben, sondern auch Analysieren, Zusammenfassen, Vorschlagen. Die Antwort wird nicht perfekt sein, aber sie wird den Weg zeigen.

    Quelle: claude.com

  • DeepSeek: 7 Milliarden Dollar Finanzierung – Ein Meilenstein für Chinas KI-Ambitionen

    DeepSeek: 7 Milliarden Dollar Finanzierung – Ein Meilenstein für Chinas KI-Ambitionen

    DeepSeek sammelt rund 7,4 Milliarden Dollar ein. Das chinesische KI-Startup wird mit 52 bis 59 Milliarden Dollar bewertet. Die Investorenliste liest sich wie ein Who’s Who der chinesischen Wirtschaft. Es ist mehr als eine Geldgeschichte – es zeigt, wie China seinen eigenen Weg im globalen KI-Wettlauf geht.

    Laut Reuters soll DeepSeek 50 Milliarden Yuan (7,4 Milliarden Dollar) einsammeln. Tencent beteiligt sich mit 10 Milliarden Yuan, CATL mit 5 Milliarden. Gründer Liang Wenfeng investiert selbst 20 Milliarden Yuan. Weitere Investoren sind der nationale KI-Fonds, NetEase und JD.com. Insgesamt weniger als zehn Geldgeber. Die Runde soll bald abgeschlossen sein.

    DeepSeek wurde Anfang 2025 mit seinen Modellen V3 und R1 zum nationalen KI-Champion. Die Modelle erhielten Lob aus dem Silicon Valley. Das Startup gab chinesischen Unternehmen frühen Zugang zu seinem neuesten Modell, nicht US-Entwicklern. Das verschärft die technologische Rivalität. Die Finanzierungsrunde ist ein Bekenntnis zur nationalen Souveränität im KI-Bereich.

    Tencent hinkt mit seinem Modell Hunyuan hinterher. Die Beteiligung an DeepSeek hilft, mit Alibaba gleichzuziehen. CATL liefert Energielösungen für KI-Rechenzentren. China investiert nicht nur in KI-Modelle, sondern in die gesamte Infrastruktur – von Rechenleistung bis Energieversorgung.

    Der nationale KI-Fonds, unterstützt vom „Big Fund“, unterstreicht die staatliche Förderung. DeepSeek wird zum Beispiel für Chinas Strategie einer autarken KI-Industrie. Privatwirtschaft und Staat ziehen an einem Strang.

    DeepSeek öffnet sich nicht für US-Entwickler. Es gibt chinesischen Unternehmen frühen Zugang zu seinen Modellen. Das baut ein Ökosystem auf und macht China unabhängiger von US-Plattformen. Die USA reagieren mit Exportkontrollen. China mobilisiert eigene Milliarden.

    Für Nutzer von KI-Diensten hat das direkte Auswirkungen. Die Konkurrenz beschleunigt die Entwicklung, führt aber zu Fragmentierung. Zwei KI-Welten entstehen: eine US-dominierte und eine chinesische. DeepSeek ist Vorreiter der zweiten. Mit 7,4 Milliarden Dollar investiert es in Rechenleistung, Talent und Forschung.

    DeepSeek hat keine Aussagen zu einem Börsengang gemacht. Die Runde ist privat. Das spricht für eine langfristige Strategie. Der Gründer investiert selbst, ein Zeichen von Vertrauen.

    DeepSeek hebt mit dieser Finanzierungsrunde ab. Die 7 Milliarden sind gut angelegt. Für Beobachter ist es ein weiteres Puzzlestück. KI ist kein rein amerikanisches Spiel. DeepSeek hat sich eine starke Position gesichert – jetzt muss es liefern.

    Quelle: cnbc.com

  • OpenAI setzt auf Opal Electronics: Die nächste Etappe auf dem Weg in die Hardware-Welt

    OpenAI setzt auf Opal Electronics: Die nächste Etappe auf dem Weg in die Hardware-Welt

    Du sitzt im Wohnzimmer, Kaffeetasse in der Hand, und sprichst mit einem Gerät, das nicht größer ist als deine Handfläche. Kein Bildschirm, kein Menü. Nur eine Stimme, die antwortet. OpenAI arbeitet genau daran. Während viele KI über Browser oder Apps nutzen, investiert das Unternehmen in Hardware. Jüngstes Beispiel: Es führte eine Finanzierungsrunde für Opal Electronics, ein Start-up aus San Francisco, bekannt für hochwertige Webcams. Was steckt dahinter? Warum ist das mehr als eine bloße Beteiligung?

    Opal Electronics ist in der Peripherie-Welt kein Unbekannter. Die Firma hat sich mit Produkten wie der C1-Webcam und dem winzigen Tadpole einen Namen gemacht. Jetzt soll ein neues Kapitel beginnen. Laut Berichten arbeitet Opal an einer Produktlinie, die über Kameras hinausgeht: KI-native Geräte für kreative Arbeit. Was genau das sein wird, ist nicht offiziell bestätigt. Aber die Richtung ist klar: Opal kann Bilder und Videos erfassen. Das neue Gerät könnte auf OpenAIs Bild-, Video- und Sprachmodellen aufbauen. Ein kleiner, intelligenter Begleiter, der dich sieht, hört und versteht – ohne Berührung.

    Dieser Schritt passt in eine größere Strategie. Sam Altman, CEO von OpenAI, spricht von „Ambient Computing“: leichte, unauffällige Geräte ohne Bildschirm, die die Umgebung in Echtzeit erfassen. Die Idee: Warum auf ein Display starren, wenn die KI ohnehin weiß, was du brauchst? Der Weg dorthin ist steinig. OpenAI arbeitet mit Designer Jony Ive an einem handtellergroßen, bildschirmlosen Gerät. Ursprünglich für 2025 oder 2026 geplant, verzögerte sich das Projekt. Urheberrechtsstreitigkeiten und technische Hürden haben den Zeitplan auf 2027 verschoben. Chris Lehane betont, dass Hardware auch 2026 höchste Priorität hat.

    In diesem Kontext gewinnt die Partnerschaft mit Opal strategische Bedeutung. Sie ist ein Experimentierfeld. Durch die Beteiligung an einem etablierten Hersteller kann OpenAI Formfaktoren testen, schneller Produkte auf den Markt bringen und Nutzerfeedback sammeln. Ein Chat-Fenster verrät wenig über das Verhalten mit einem ständig zuhörenden Begleiter. Ein physisches Objekt liefert unbezahlbare Daten: Wie oft wird es genutzt? In welchen Situationen? Wie reagieren die Leute auf Fehler? Das lässt sich nur mit echter Hardware beantworten.

    Denk an die Entwicklung des Smartphones. Die ersten Geräte waren klobig, teuer, hatten kaum Apps. Aber sie zeigten die Richtung. Genauso könnte es mit KI-Hardware laufen. OpenAIs Vorstoß mit Opal gleicht einer Erkundungsmission. Man steckt einen Fuß in die Tür, um zu sehen, was funktioniert. Wenn die ersten Produkte erscheinen – vielleicht in den nächsten Monaten –, bekommen wir einen Eindruck, wie die Zukunft der Mensch-Maschine-Interaktion aussehen könnte. Ohne Bildschirm, natürlich, fast wie ein Gespräch.

    Wird das alles funktionieren? Die Technik ist da, die Vision auch. Die Herausforderung liegt im Detail. Datenschutz ist ein riesiges Thema. Ein Gerät, das ständig zuhört und sieht, wirft Fragen auf: Wer kontrolliert die Daten? Was passiert in privaten Momenten? OpenAI muss Vertrauen schaffen – durch klare Regeln und Transparenz. Es gibt noch viele offene Fragen. Wie wird das Gerät aussehen? Kamera-Add-on oder eigenständiges Produkt? Kommt ein Abo-Modell? Alles Spekulation. Aber die Richtung ist eindeutig: KI verlässt den Bildschirm und wird Teil unserer physischen Umgebung. Das könnte der interessanteste Schritt der Branche seit Jahren sein.

    Was bedeutet das für Nutzer? Vielleicht greifen wir in ein paar Jahren nicht mehr zum Smartphone, sondern sprechen einfach in den Raum. Die KI deutet Stimme, Gesten, Gesichtsausdruck. Sie hilft uns kreativ zu sein, ohne dass wir Menüs bedienen. Das klingt verlockend, setzt aber reibungslose Technik und Sicherheit voraus. OpenAIs Weg über Opal ist clever: Statt ein neues Gerät aus dem Nichts zu erschaffen, baut man auf bestehende Expertise. Opal kann Kameras und Formfaktoren, OpenAI kann KI. Zusammen könnten sie mehr sein als die Summe der Teile. Ein kleines, intelligentes Fenster in die KI – direkt im Wohnzimmer.

    Die nächsten Monate werden zeigen, ob dieser Ansatz aufgeht. Sollte Opal ein neues KI-Gerät vorstellen, werden wir es auf sebask.de analysieren. Bis dahin bleibt abzuwarten, ob die Zukunft in unserer Handfläche Platz findet.

    Quelle: testingcatalog.com

  • Die Token-Abrechnung: Warum KI teurer ist als gedacht und was das bedeutet

    Die Token-Abrechnung: Warum KI teurer ist als gedacht und was das bedeutet

    Du schaltest im Hochsommer die Klimaanlage ein, die Fenster sind offen, die Kälte entweicht. Die Stromrechnung steigt, die Wohnung bleibt warm. Viele Unternehmen mit Künstlicher Intelligenz geht es ähnlich. Die Kosten für KI, gemessen in Tokens, den kleinsten Verarbeitungseinheiten von Sprachmodellen, explodieren. Ein Großteil der Ausgaben bringt kein Produkt hervor.

    Sam Altman, CEO von OpenAI, sagte im Juni 2025, Intelligenz werde bald so billig sein wie Strom. Ein Jahr später sind KI-Kosten eher wie eine Stromrechnung im Hochsommer bei offenen Fenstern. Unternehmen berichten, ihr Jahresbudget für Tokens sei in wenigen Monaten aufgebraucht. Manche Firmen überdenken oder canceln KI-Initiativen komplett. Schlagzeilen über „Tokenmaxxing“ – exzessiven Token-Verbrauch – und explodierende Budgets lassen Zweifel am KI-Hype aufkommen. Das Problem ist nicht der Verbrauch an sich, sondern die Verschwendung von Tokens für unproduktive Zwecke.

    Das Startup EntelligenceAI veröffentlichte eine Zahl: Von jedem Dollar für KI landen nur 18 Cent in der Produktion. 82 Cent fließen in Fehlerbehebungen, Umschreibungen, Code-Überarbeitungen und Reviews. Die Schätzung mag ungenau sein, zeigt aber eine klare Tendenz. Tokenmaxxing lässt sich durch Budgetkontrollen oder Entfernen von Leaderboards eindämmen. Das eigentliche Problem ist die unproduktive Nutzung. Die Lösung ist nicht mehr Kontrolle, sondern echte produktive Anwendungen zu finden.

    Andrew Macdonald, COO von Uber, sagte, KI-Ausgaben seien schwer zu rechtfertigen, weil sie nicht direkt zu Produktivitätssteigerungen führen. Sein Tweet wurde viel geteilt. Wenn Ubers Erfahrung repräsentativ ist, steht der Branche eine Phase langsamen Wachstums bevor. Negative Geschichten über KI verbreiten sich schneller als positive. Viele Unternehmen finden durchaus produktive Einsätze. Trotzdem muss die Branche den Return on Investment klären, sonst droht ein Rückschlag.

    Die Lage ist angespannt. Microsoft Build Anfang Juni wird voraussichtlich neue KI-Modelle und Updates für Copilot bringen. Gleichzeitig eskaliert der Konflikt zwischen Medien und KI-Firmen: A.G. Sulzberger, Verleger der New York Times, warf OpenAI, Google, Meta und Perplexity vor, Journalismus zu untergraben. Floridas Generalstaatsanwalt verklagte OpenAI und Sam Altman wegen angeblicher Schäden durch Chatbots für Minderjährige – erstmals klagt ein US-Bundesstaat so.

    NVIDIA kündigte den Superchip RTX Spark an, der Windows-PCs für persönliche KI-Agenten antreiben soll. Das bringt NVIDIA in direkten Wettbewerb mit Intel, Qualcomm, AMD und Apple. OpenAI veröffentlichte ein „Frontier Governance Framework“ und stellte 250 Millionen Dollar über die OpenAI Foundation bereit, um Arbeitskräfte auf KI-bedingte Umwälzungen vorzubereiten.

    Anthropic schloss eine Serie-H-Finanzierung über 65 Milliarden Dollar bei einer Bewertung von 965 Milliarden Dollar ab. Damit ist Anthropic das wertvollste KI-Startup der Welt, vor OpenAI. Der annualisierte Umsatz lag im Mai bei 48 Milliarden Dollar. Anthropic launchte Claude Opus 4.8 mit Verbesserungen in Codierung, Agentenaufgaben, Finanzanalyse, Schreiben und Wissensarbeit. Die Kosten pro Token sind dreimal niedriger, die Geschwindigkeit 2,5-mal höher als beim Vorgänger. Kunden wie Shopify, Cursor, Harvey, BrowserBase, Bridgewater, Thomson Reuters und Databricks nutzen es. OpenAIs Codex bleibt für alltägliche Programmieraufgaben stärker. Anthropic kündigte auch dynamische Workflows in Claude Code an, die parallele Sub-Agenten orchestrieren, etwa für Bug-Jagden oder Stresstests. Zudem reichte Anthropic den Börsengang ein.

    Die Frage bleibt: Sind die Investitionen in KI gerechtfertigt? Unternehmen wie Uber zeigen, dass hoher Token-Verbrauch nicht automatisch Produktivität bringt. Firmen investieren in KI, weil sie glauben, dass Konkurrenten es tun. Dann steigen die Kosten, ohne klare Ergebnisse. Manche Analysten vergleichen die Situation mit den Anfängen des Internets, als viel Geld in unausgereifte Technologien floss. Der Unterschied heute: Die Technologie funktioniert, aber die Anwendung hinkt hinterher.

    Speicherchips werden knapp und teuer, weil Rechenzentren ausgebaut werden. Wenn die Tokens nicht in produktive Anwendungen fließen, bleibt die Nachfrage künstlich. Robinhood erlaubt inzwischen, dass Chatbots für dich handeln. Eine andere Frage: Würdest du dein Gmail mit ChatGPT verbinden? Und würdest du deine Wohnung kostenlos putzen lassen, wenn der Putzroboter die Aufnahmen für Trainingdaten nutzt? Diese Fragen zeigen die Nähe zwischen Nutzen und Datenschutz.

    Die Token-Abrechnung ist ein Weckruf. Unternehmen müssen weg vom bloßen Verbrauch und hin zu messbarem Nutzen. Wer blind Tokens verbrennt, steht morgen mit leeren Kassen da. Wer auf echte Produktivität setzt, kann profitieren. Der Weg dorthin erfordert Disziplin, nicht nur Technologie.

    Quelle: bigtechnology.com

  • Wie ein KI-Agent einen dreijährigen Performance-Bug in einer Query-Engine aufspürte

    Wie ein KI-Agent einen dreijährigen Performance-Bug in einer Query-Engine aufspürte

    Ein Team von PostHog in Lissabon ließ einen KI-Agenten auf ihre Datenbank-Query-Engine los. Der Agent fand einen Bug, der fast drei Jahre lang unentdeckt in der Codebasis lag. Der Fix verbesserte die Performance deutlich – ohne Änderung der Abfragelogik.

    Die Grundidee stammt von Andrej Karpathy. Im März 2026 veröffentlichte er das Repository „Autoresearch“. Der Kern: ein KI-Agent bekommt ein kleines System, einen Benchmark und ein Budget. Er durchläuft eine Schleife: eine Änderung vorschlagen, den Benchmark ausführen, Verbesserungen behalten und Verschlechterungen verwerfen. Karpathy ließ den Agenten zwei Tage auf einem kleinen neuronalen Netz laufen. Er fand rund zwanzig Änderungen, die den Validierungsfehler senkten. Einige übertrugen sich auf größere Modelle. Das Prinzip ist nicht neu – DeepMind veröffentlichte 2023 FunSearch, Sakana 2024 den AI Scientist. Karpathys Version ist jedoch konkret genug, um an einem Nachmittag eine eigene Implementierung zu bauen.

    Das PostHog-Team nutzte diesen Ansatz für ein Hackathon-Projekt auf einem Offsite. Ziel: die Performance von ClickHouse automatisieren, der Datenbank hinter ihrer Produktanalytik. Sie verwendeten pi, einen Terminal-Coding-Agenten von Mario Zechner, der mit jedem LLM spricht. Dazu kam pi-autoresearch, eine Community-Erweiterung von davebcn87, die Karpathys Schleife in pi integriert. Darüber bauten sie eine Kampagnen-Orchestrierung, die den Optimierungsprozess strukturiert, damit der Agent systematisch vorgeht.

    Der Aufbau: Eine Kampagne hat eine langsame Query und einen Git-Branch. Sie ist in Lanes unterteilt – Optimierungsrichtungen wie Prädikatsreihenfolge, JSON-Parsing, Zeitzonen-Handling, Primärschlüssel-Nutzung. Jede Lane enthält eine konkrete, testbare Hypothese. Jede Hypothese wird in einem Experiment mit genau einem Durchlauf, Benchmark und Urteil getestet. Nach jedem Experiment muss der Agent eine Reflexion durchführen. Dazu kommt ein eigener ClickHouse-Testcluster mit denselben Daten wie die Produktion, aber anonymisiert und auf günstigerer Hardware. So bleibt die Iterationsgeschwindigkeit hoch und Kundenabfragen werden nicht gestört.

    Das Team fütterte dem Agenten zunächst händisch langsame Queries – solche, über die sie sich bereits geärgert hatten, und solche aus system.query_log. Eine dieser Queries war ein Trichter über sieben Tage für ein echtes Team. Hier stieß der Agent auf den sogenannten „Drei-Jahres-Bug“.

    ClickHouse ist schnell, weil es Arbeit überspringen kann. Die Tabelle events ist nach toYYYYMM(timestamp) partitioniert. Der Primärschlüssel ist (team_id, toDate(timestamp), event, …). Eine gut geschriebene Query mit Zeitstempel-Filter sollte ClickHouse erlauben, ganze Monate zu überspringen (Partition Pruning) und direkt zur richtigen Woche zu springen. Das passierte nicht. Im April 2023 hatte das Team Zeitzonen-Unterstützung für HogQL hinzugefügt. Der vernünftige Weg: Jeden Verweis auf timestamp in toTimeZone(timestamp, team_tz) wickeln. Was sie nicht bedachten: Der ClickHouse-Queryplaner kann nicht durch toTimeZone() hindurchsehen. Er kann nicht ableiten, dass die Bedingung toTimeZone(timestamp, tz) >= '2024-03-01' bedeutet, dass toYYYYMM(timestamp) auf bestimmte Monate reduziert werden kann. Partition Pruning war ausgeschaltet. Auch der Primärschlüssel toDate(timestamp) wurde nicht genutzt – er beschränkte sich auf team_id und event und hörte dann auf.

    Warum der Bug nicht früher auffiel? ClickHouse hat einen MinMax-Skip-Index auf timestamp. Ein MinMax-Index speichert den kleinsten und größten Wert einer Spalte pro Granula (8192 Zeilen). Vergleicht man toTimeZone(timestamp, tz) mit einer Konstanten, kann ClickHouse pro Granula prüfen, ob der Bereich überlappt, und Granulas ohne Treffer überspringen. Das ist viel schwächer als Partition Pruning, aber es funktioniert. Queries waren nicht katastrophal langsam – nur messbar langsamer als sie sein sollten. Diese Art Bug versteckt sich: Sie ist langsam, aber nicht alarmierend. Jede Query ist betroffen, niemand kann einen A/B-Vergleich mit einer „guten“ Version machen. Der Beweis liegt in der Ausgabe von EXPLAIN PLAN indexes=1, json=1, die niemand ausführt, es sei denn, er vermutet bereits etwas.

    Der Agent führte genau dieses EXPLAIN aus. Er bemerkte Partition: Condition='true' (kein Pruning) und probierte zwei Ansätze: Erstens indexHint() mit nackten Zeitstempel-Grenzen, zweitens die Umschreibung des Vergleichs, sodass auf der Feldseite der nackte timestamp steht und die Konstante die Zeitzone trägt. Der zweite Ansatz gewann deutlich. Die Semantik ist identisch – toTimeZone() ändert nur die Anzeige-Metadaten, der Unix-Timestamp bleibt gleich. Der Planer sieht jetzt einen nackten timestamp und kann arbeiten. Auf der Benchmark-Query über sieben Tage: beste Laufzeit von 2.824 ms auf 2.192 ms (–22%), getrimmter Mittelwert der mittleren drei Läufe von 4.694 ms auf 2.954 ms (–37%), Anzahl der vom Skip-Index gescannten Granulas von 60.683 auf 23.291 (–62%).

    Der Geschwindigkeitszuwachs ist am größten bei kurzen Zeiträumen, weil Partition Pruning dort am meisten bringt. Bei einem 90-Tage-Zeitraum ist die relative Verbesserung kleiner, aber messbar. Die Granula-Reduktion ist bei jedem Zeitraum real – sie übersetzt sich nur in kleinere Wanduhr-Verbesserungen, wenn absolut mehr Granulas gescannt werden müssen.

    Das Team handelte während des Hackathons noch händisch. Sie bauen jetzt eine Pipeline, die das automatisiert: Sie holt langsame Queries aus system.query_log, startet pro Kandidaten-Query eine Sandbox, lässt pi-autoresearch laufen, dedupliziert die Vorschläge per LLM und lässt einen anderen Agenten (PostHog Code) die eigentliche Änderung mit Tests und Benchmarks in die Codebasis schreiben. Die Pull-Requests landen im Team-Slack, wo ein Mensch sie prüft und merged.

    Das zeigt: Selbst in einer gut gewarteten Codebase überleben subtile Performance-Probleme über Jahre, einfach weil kein Mensch den Anreiz oder die Zeit hat, sie systematisch zu suchen. Ein KI-Agent hat diese Nachteile nicht. Er hat keine Betriebsblindheit. Er behandelt einen dreijährigen Ausdruck mit derselben Skepsis wie die Zeile von gestern. Die Methode ist nicht auf langsame Queries beschränkt. Wenn du eine Metrik in deinem System hast, die du stillschweigend tolerierst – Geschwindigkeit, Speicher, Kosten, Genauigkeit, Fehlerrate – baue eine Testumgebung, setze einen Agenten darauf, und schau, was zurückkommt.

    Quelle: posthog.com