Kategorie: Erklärer

Du kennst das: Für Bildbearbeitung greifst du zu Photoshop. Für eine Tiefenkarte brauchst du ein spezialisiertes Tool. In der Computer Vision war das lange der Standard. Jede Aufgabe bekam ihr eigenes Modell: eines für Tiefenschätzung, eines für Segmentierung, eines für Pose-Schätzung. Das war aufwendig. Ein Team um Google DeepMind, die University of Toronto, das University College London und weitere Partner hat ein Modell entwickelt, das all diese Aufgaben in einem Durchlauf erledigt – und zwar mit konkurrenzfähigen Ergebnissen.

Die Rede ist von GenCeption. Die Architektur wandelt ein vortrainiertes Video-Generierungsmodell in einen universellen, feed-forward arbeitenden Seher um. Der Clou: Das Modell benötigt keine separaten Köpfe oder Backbones mehr, sondern wird durch eine Textanweisung gesteuert. „Gib mir die Tiefe dieses Videos“ oder „segmentiere das Objekt, das sich bewegt“ – und die Antwort erscheint in einem Durchgang. Der Schritt wird als Paradigmenwechsel beschrieben, vergleichbar mit der Entwicklung in der Sprachverarbeitung, wo spezialisierte Modelle wie BERT von generalistischen Large Language Models wie GPT abgelöst wurden. Im Bereich des Sehens passiert jetzt Ähnliches.

Von Spezialwerkzeugen zu einem Allzweckwerkzeug

Bisher war die Computer-Vision-Landschaft ein Flickenteppich. Für Tiefenschätzung gab es DepthAnything, für Oberflächennormale D4RT, für Kamerapose VGGT, für Segmentierung SAM3, für 3D-Pose von Menschen Sapiens. Jedes Modell lieferte auf seinem Gebiet Spitzenleistungen, aber keines vereinte die Aufgaben in einem gemeinsamen Rahmen. Forscher mussten für jede Aufgabe ein separates Modell trainieren, mit eigenen Architekturen und Trainingsdaten. Das war aufwendig, und das gelernte Wissen über die Welt ließ sich nicht übertragen.

GenCeption bricht mit dieser Tradition. Es nutzt ein Text-zu-Video-Diffusionsmodell als Basis – eines, das aus Textbeschreibungen realistische Videos generiert. Aus diesem generativen Modell wird während des Multi-Task-Post-Trainings ein reines Feed-Forward-Modell geformt. Es erzeugt die gewünschte Ausgabe in einem einzigen Vorwärtsdurchgang. Die Autoren zeigen, dass dieses Vorgehen funktioniert und die bisherigen Spezialisten auf vielen Gebieten einholt oder übertrifft. Ein Radardiagramm des Papers zeigt: GenCeption ist sowohl als Spezialist – einzeln trainiert für jede Aufgabe – als auch als Generalist – ein Modell für alle Aufgaben – auf Augenhöhe mit den Besten.

Wie GenCeption funktioniert: Einheitliche Architektur, eine Aufgabe nach der anderen

Die Architektur von GenCeption ist einfach. Ein Video und ein Text-Prompt gehen hinein, die gewünschte Wahrnehmungsinformation kommt heraus. Für dichte Aufgaben wie Tiefenschätzung oder Oberflächennormale wird die Vorhersage direkt im latenten Raum des Diffusionsmodells als RGB-ähnliches Bild repräsentiert. Das Modell malt die Tiefe als Farbbild: helle Pixel nah, dunkle Pixel fern. Für spärliche Aufgaben wie Keypoints oder Bounding-Boxen werden lernbare Tokens als zusätzliche Eingaben in den Diffusion Transformer (DiT) eingefügt. Diese Tokens tragen die genaue Position der Punkte oder Objekte. Die Architektur bleibt identisch, nur der Prompt ändert sich. Das ist der Kern der Vereinheitlichung.

Das Training erfolgt größtenteils auf synthetischen Daten. Synthetische Szenen liefern perfekte Ground-Truth-Daten für Tiefe, Normale, Pose und mehr. Die Autoren trainieren auf solchen Daten und stellen fest: Das Modell lässt sich nahtlos auf echte Weltvideodaten übertragen – ein Phänomen namens Sim-to-Real-Transfer. Es generalisiert auch auf Objektkategorien, die es nie gesehen hat. Trainiert nur auf Aufnahmen von Menschen, erkennt es auch Tiere und Roboter. Trainiert auf Ein-Objekt-Videos, funktioniert es zuverlässig in Szenen mit mehreren Objekten. Das deutet darauf hin, dass das zugrundeliegende Video-Generierungsmodell universelles Wissen über die Welt gelernt hat – eine Art Weltmodell, das sich für jede Wahrnehmungsaufgabe nutzen lässt.

Ergebnisse mit Bruchteil der Daten

Ein zentrales Ergebnis des Papers ist die Daten-Effizienz. Die Autoren vergleichen GenCeption mit Modellen wie D4RT und VGGT-Ω, die auf riesigen Datenmengen trainiert wurden. GenCeption erreicht vergleichbare oder bessere Ergebnisse mit 7- bis 500-mal weniger Trainingsbildern. Das ist ein großer Fortschritt. Es spart Ressourcen und beschleunigt die Forschung, weil weniger Daten beschafft und gelabelt werden müssen. Zudem skaliert GenCeption mit der Modellgröße und der Datenmenge – größere Modelle und mehr Daten liefern noch bessere Leistungen.

Die Ergebnisse sind klar: Auf Benchmarks für Tiefenschätzung, Oberflächennormale, Kamerapose, Segmentierung und Keypoint-Schätzung erreicht GenCeption hohe Werte. Besonders hervorzuheben ist die Fähigkeit, 4D-Human-Keypoints unter schwierigen Bedingungen vorherzusagen – bei komplexen Bewegungen, Verdeckungen, egozentrischen Ansichten oder Multiview-Aufnahmen. Ein Video des Papers zeigt, wie das Modell aus einem einzigen Videoclip eine komplette 4D-Punktwolke ableitet, die eine freie Szenendurchquerung aus beliebigen Blickwinkeln ermöglicht. Gleichzeitig kann es über eine Textanweisung ein Objekt in dieser Punktwolke lokalisieren. Das ist mehr als reine Tiefenschätzung – es ist eine Form von visuellem Verständnis.

Emergentes Verhalten: Das Modell kann mehr, als wir ihm beigebracht haben

Vielleicht der bemerkenswerteste Aspekt von GenCeption sind die Emergent Behaviors. Obwohl das Modell fast ausschließlich mit synthetischen Aufnahmen von Menschen trainiert wurde, überträgt es sich ohne weiteres Feintuning auf echte Fußballstadion-Szenen oder auf Roboterarme, die es nie gesehen hat. Es versteht die räumliche Beziehung zwischen Objekten, selbst wenn diese Objekte komplett unbekannt sind – etwa eine Rakete. Das deutet darauf hin, dass das Text-zu-Video-Vortraining dem Modell ein reichhaltiges Weltwissen mitgegeben hat. Die Autoren sprechen von einem universellen Weltmodell im Inneren generativer Video-Backbones.

Ein konkretes Beispiel: Du gibst dem Modell ein Video von jemandem, der einen Ball wirft. Du promptest „Tiefe“. Es liefert eine feine Tiefenkarte. Du promptest „Segmentiere die Hand“. Es markiert die Hand. Du promptest „Keypoints des Balls“. Es zeichnet den Ball als Punkt. Alles aus einem Modell, einem Durchlauf. In der Praxis bedeutet das: Ein Roboter mit einem solchen Modell könnte seine Umgebung in Echtzeit verstehen, ohne mehrere spezialisierte KI-Systeme parallel laufen zu lassen. Das spart Rechenleistung, reduziert Latenz und vereinfacht die Integration. In der AR/VR-Welt könnten Brillen so die Tiefe der Umgebung, die Bewegung der Hände und die Position von Objekten gleichzeitig erfassen – mit einer einzigen, effizienten Pipeline.

Was das für die Zukunft der KI bedeutet

Der Schritt von spezialisierten zu generalistischen Vision-Modellen ist nicht oberflächlich. Er hat echte Konsequenzen für die KI-Landschaft. In der Sprachverarbeitung haben Modelle wie GPT oder Gemini die Computer-Interaktion grundlegend verändert. Ein Modell, das versteht, schreibt, rechnet und sogar Code ausführt – das war vor fünf Jahren Science-Fiction. Diesen Wandel erleben wir jetzt im visuellen Bereich. Wenn ein einziges Modell alle gängigen Wahrnehmungsaufgaben lösen kann, ermöglicht das autonome Systeme, die wirklich verstehen, was sie sehen. Ein selbstfahrendes Auto braucht dann kein separates Modell für Objekterkennung, Tiefe und Bewegung – es fragt einfach sein Universalmodell.

Natürlich steht die Technik noch am Anfang. Das Paper beschränkt sich auf eine bestimmte Architektur und einen bestimmten Trainingsdatensatz. Es bleibt abzuwarten, ob die Skalierungsgesetze weiter gelten und die Emergenz zunimmt. Die Abhängigkeit von synthetischen Daten könnte ein Problem darstellen, wenn die Simulation nicht alle Realitäten abdeckt. Dennoch ist die Richtung klar: Video-Generierungsmodelle sind mehr als reine Kunstmaschinen. Sie sind die Grundlage für universelle visuelle Intelligenz. Du als Nutzer wirst davon profitieren, denn die nächste Generation von Kameras, Drohnen oder deinem Smartphone wird auf solchen Modellen basieren. Statt für jede App ein separates KI-Modell zu laden, wird ein Grundmodell alle Bilder verstehen – und nur dein Sprachbefehl entscheidet, welche Antwort du bekommst. Die Zukunft des Sehens ist einheitlich.

Quelle: genception.github.io

Kennt ihr das? Ein KI-Assistent wie ChatGPT oder Claude schreibt kluge Texte, erstellt Zusammenfassungen, schmiedet Pläne. Aber bittet ihr ihn, eine E-Mail zu senden, einen Termin einzutragen oder eine Zeile im CRM zu aktualisieren – und er kann es nicht. Die KI denkt, aber handelt nicht. Sie spricht über Dinge, führt sie aber nicht aus. Viele KI-Werkzeuge bleiben dadurch im Arbeitsalltag halb nützlich. Genau hier setzt Zapier mit seinem neuen Angebot an, das MCP heißt. Es schließt die Lücke zwischen KI und Aktion – ohne dass ihr einen Befehl in der Kommandozeile eingeben müsst.

KI ist ein hochintelligenter Assistent, der in einem Raum voller Werkzeuge sitzt, aber keine Hände hat, um sie zu benutzen. Zapier MCP fungiert als Brücke, als Arm, der dem Assistenten die Werkzeuge reicht. Zapier selbst ist bekannt als das Schweizer Taschenmesser der Automatisierung: Es verbindet über 9.000 Apps miteinander, sodass Daten fließen – etwa von einer E-Mail direkt in eine Google-Tabelle. Mit MCP wird diese Verbindung auf KI-Sprachmodelle ausgeweitet. Ihr müsst nicht programmieren. Wenn ihr schon einmal einen Zap eingerichtet habt, könnt ihr MCP nutzen. Der Setup-Prozess führt euch Schritt für Schritt durch die Verbindung eures KI-Clients – Claude von Anthropic, ChatGPT von OpenAI, Cursor oder andere – mit euren Zapier-Konten. Die Verbindungen zu euren Apps sind automatisch da, sobald ihr sie in Zapier konfiguriert habt. Keine manuelle OAuth-Einrichtung, kein JSON-Gefrickel.

Was kann man damit anfangen? Drei Szenarien zeigen, wie MCP den Arbeitsalltag verändert. Ihr seid Führungskraft und müsst jeden Morgen mehrere Slack-Kanäle durchforsten. Mit MCP sagt ihr eurer KI: „Fass mir heute Morgen die wichtigsten Nachrichten aus allen Slack-Kanälen zusammen.“ Die KI greift auf Slack zu, liest die relevanten Threads und liefert eine Zusammenfassung in zwei Minuten. Ihr seid Vertriebsmitarbeiter und habt in einer Stunde ein Kundengespräch. Statt selbst E-Mails, CRM-Einträge und Chat-Verläufe zu durchsuchen, sagt ihr: „Bereite mir ein Briefing für das Meeting mit Müller GmbH vor.“ Die KI holt Daten aus Salesforce, Gmail und Teams und erstellt ein übersichtliches Dokument. Ein Executive Assistant könnte per Sprachbefehl einen Termin für mehrere Personen buchen – die KI prüft die Kalender, findet eine freie Zeit und trägt den Termin ein. Kein Hin und Her mehr.

Die technische Umsetzung ist einfach. Nach der Verbindung eures KI-Clients mit Zapier MCP erscheinen eure vorhandenen App-Integrationen automatisch. Ihr müsst nicht jede App einzeln neu autorisieren. Sagt ihr der KI „Sende eine E-Mail an Max Mustermann mit dem Betreff ‚Projektupdate‘ und füge die Tabelle aus Google Sheets ‚Status‘ an“, führt die KI die Aktion über Zapier aus – und ihr seht das Ergebnis bestätigt. Die KI muss nicht wissen, wie die API von Google Sheets funktioniert. Zapier MCP übersetzt den natürlichsprachlichen Befehl in die nötigen Schritte und führt sie aus. Das System basiert auf dem MCP-Protokoll, einem offenen Standard von Anthropic, der auch mit anderen KI-Modellen funktioniert. Zapier hat diesen Standard mit seiner App-Bibliothek kombiniert. So entsteht eine Plattform, die mit jedem KI-Assistenten zusammenarbeitet – egal ob ihr heute Claude, morgen ChatGPT oder übermorgen einen neuen Anbieter nutzt. Die Verbindung bleibt gleich.

Ein wichtiger Punkt ist die Sicherheit. Zapier MCP baut auf der gleichen Infrastruktur auf, die das Unternehmen seit über 13 Jahren für Automatisierungen verwendet. Eure Zugangsdaten werden nicht an die KI weitergegeben. Stattdessen autorisiert ihr, welche Apps die KI in welchem Umfang nutzen darf – etwa nur lesend oder auch schreibend. Ihr könnt Aktionen blocken oder erlauben und habt ein vollständiges Historien-Log. Für Unternehmen bietet Zapier Governance-Features: IT-Abteilungen können zentral steuern, welche KI-Tools auf welche Daten zugreifen dürfen. Das ist relevant, wenn Teams unterschiedliche KI-Assistenten verwenden. Statt jede Integration einzeln zu verwalten, gibt es einen zentralen Hebel. Zapier gibt an, SOC 2 Type II zertifiziert zu sein. Die Kontrolle bleibt bei euch – die KI kann nur das tun, was ihr explizit erlaubt.

Zu den Kosten: MCP ist kein separates Produkt mit eigener Preisliste. Es ist in allen Zapier-Plänen enthalten. Jeder Tool-Aufruf über MCP verbraucht zwei Tasks aus eurem vorhandenen Task-Kontingent – dem gleichen Budget, das auch eure Zaps nutzen. Habt ihr bereits einen Zapier-Account, könnt ihr MCP sofort testen, ohne neuen Vertrag oder Beschaffungsprozess. Das ist ein Vorteil gegenüber vielen Konkurrenzangeboten, die teure Enterprise-Lizenzen verlangen oder separate Abrechnung nutzen. Für Einsteiger empfiehlt Zapier, mit Claude zu beginnen, weil die Einrichtung dort besonders reibungslos ist. Aber auch ChatGPT oder Cursor sind möglich.

Zapier MCP löst ein zentrales Problem der aktuellen KI-Landschaft: KI kann analysieren und generieren, aber sie handelt nicht. Mit MCP wird sie zur Hand. Ihr könnt eure KI bitten, einen Lead in Salesforce anzulegen, eine Notiz in Notion zu erstellen oder eine Bestellung in Shopify auszulösen. Die Zahl der möglichen Aktionen ist groß, weil Zapier über 30.000 Aktionen in über 9.000 Apps bereitstellt. Entwickler können auf das MCP-Protokoll aufbauen und eigene Erweiterungen programmieren – Zapier stellt eine technische Dokumentation und ein SDK zur Verfügung. Ihr müsst kein Entwickler sein, um davon zu profitieren. Die Komplexität verschwindet im Hintergrund. Was bleibt, ist ein KI-Assistent, der nicht nur redet, sondern auch anpackt.

Natürlich gibt es Grenzen. Die KI kann nur auf Apps zugreifen, die ihr mit Zapier verbunden habt. Sie führt nur Aktionen aus, die ihr autorisiert habt. Das ist gut für die Sicherheit, bedeutet aber, dass ihr euer App-Ökosystem bewusst aufbauen müsst. Wer noch nie einen Zapier-Account hatte, muss zunächst die grundlegenden Verbindungen herstellen. Das ist einmalige Arbeit. Danach könnt ihr eurer KI beliebige Arbeitsaufträge erteilen – und sie wird sie umsetzen, solange die Aktion in eurer App-Landschaft existiert. Die Frage ist nicht mehr, ob die KI kann, sondern ob ihr sie richtig bittet.

Zapier MCP ist ein Schritt in eine Richtung, in der KI nicht mehr nur Gesprächspartner ist, sondern ein aktiver Teil eures digitalen Arbeitsplatzes. Es löst das Problem der KI, die nicht handeln kann. Die Integration ist einfach, die Kosten sind transparent, die Kontrollmöglichkeiten sind umfassend. Für alle, die mit KI experimentieren und wünschen, dass sie praktische Arbeit abnimmt, ist MCP einen Blick wert. Es ist ein Werkzeug, das genau dort ansetzt, wo die meisten KI-Tools heute noch scheitern: an der Schnittstelle zwischen Gedanke und Tat.

Quelle: zapier.com

Stellen Sie sich vor, Sie mieten eine Wohnung, und die Miete wird jeden Monat günstiger – bis sie fast nichts mehr kostet. Gleichzeitig können Sie die Wohnung kaufen, ohne den Vermieter um Erlaubnis zu bitten. Genau das passiert gerade mit Künstlicher Intelligenz. Der neueste Report von Mozilla, verfasst von CTO Raffi Krikorian, zeichnet ein klares Bild: Open-Source-KI hat die geschlossenen Modelle nicht nur eingeholt, sondern in der Breite überholt. Die Zukunft gehört offenen Modellen, aber der Weg dorthin ist noch nicht geebnet.

Die Lücke schließt sich – und öffnet sich wieder

Krikorian erinnert an die Anfänge des Webs, als eine Firma die Tür zur digitalen Welt kontrollieren wollte. Die Open-Source-Community sorgte damals dafür, dass niemand allein den Zugang besitzt. Heute spielt sich ein ähnliches Drama in der KI-Welt ab. Die Kennzahlen des Reports: Die sogenannte „Capability Gap“ zwischen offenen und geschlossenen Modellen ist auf wenige Prozentpunkte geschrumpft. Vor zwei Jahren betrug sie noch über acht Prozent. Im August 2024 lag sie bei 0,5 Prozent – praktisch gleichauf. DeepSeek-R1 zog zeitweise sogar an den besten US-Modellen vorbei. Aktuell hat sich der Abstand auf 3,3 Prozent vergrößert, weil geschlossene Modelle bei Reasoning und langen Kontexten die Nase vorn haben. Aber das ist ein Durchschnitt. Beim Programmieren, bei der Anweisungsbefolgung und bei allgemeinem Wissen sind offene Modelle gleich gut oder besser. Nicht mehr die Frage ist, ob Open Source gut genug ist, sondern welches Modell zu Ihrer Aufgabe passt.

Der Preisverfall: 50-mal günstiger in drei Jahren

Ein weiterer Befund: Die Kosten für Inferenz sind in 36 Monaten um das 50-Fache gefallen. Was früher 20 Dollar pro Million Tokens kostete – etwa die Leistung von GPT-4 –, liegt heute bei 40 Cent. Das ist schneller als der Preisverfall von PC-Rechenleistung oder Internetbandbreiten in den Dotcom-Jahren. Krikorian vergleicht die Entwicklung mit dem Mooreschen Gesetz, nur dass die KI-Kurve noch steiler ist. Offene Modelle profitieren: Auf der Plattform OpenRouter fließen inzwischen die meisten Tokens durch offene Modelle. Die fünf volumenstärksten Modelle sind allesamt Open Weights – darunter DeepSeek, Xiaomi, Tencent und MiniMax. Geschlossene Modelle wie Claude von Anthropic folgen erst auf den Plätzen sechs bis neun. Das Verhältnis wöchentlicher Tokens zwischen chinesischen offenen und US-amerikanischen geschlossenen Modellen beträgt mehr als drei zu eins.

Adoption hoch, Produktion niedrig – die operative Lücke

Trotz dieser Erfolge zeigt der Mozilla-Bericht eine Schwachstelle: die operative Lücke. 79 Prozent der Entwickler, die KI-Funktionen in ihre Anwendungen einbauen, nutzen offene Modelle. Das ist mehr als bei geschlossenen (71 Prozent). Die Hälfte der Teams kombiniert beide Welten. Doch der Weg von der Entwicklung in die Produktion ist holprig. Nur 51 Prozent der Open-Source-Teams bringen ihre Modelle produktiv zum Laufen – gegenüber 63 Prozent bei geschlossenen. Das liegt nicht an der Modellqualität, sondern an fehlenden Werkzeugen für Betrieb und Vertrauen. Krikorian nennt die größten Hürden: Integration in bestehende Systeme, Wartung, Dokumentation und Deployment-Komplexität. Diese Herausforderungen sind in allen Regionen ähnlich. In Südamerika und Westeuropa nutzen Entwickler sogar häufiger geschlossene Modelle, weil der Aufwand für offene Modelle noch zu hoch ist.

Unternehmensgröße spielt eine Rolle – aber nicht die erwartete

Interessant: Die operative Lücke wird mit der Unternehmensgröße nicht kleiner. Bei kleinen Firmen (2–50 Mitarbeiter) schaffen 54 Prozent der Open-Source-Teams den Produktivbetrieb, bei großen Unternehmen (über 1.000 Mitarbeiter) gerade mal 57 Prozent. Bei geschlossenen Modellen steigt die Quote von 54 auf 73 Prozent. Große Firmen können sich durchkaufen – sie zahlen für Managed Services, die den Betrieb vereinfachen. Open Source hingegen wartet auf Werkzeuge, die niemand fertiggestellt hat.

Das Geschäftsmodell hinter der Offenheit

Der Report macht deutlich: Open-Source-KI ist kein Hobbyprojekt, sondern ein Milliardengeschäft. Die Liste der Finanzierungsrunden liest sich wie ein Who’s who der Tech-Szene. DeepSeek aus China sammelte 7,4 Milliarden Dollar bei einer Bewertung von über 50 Milliarden. Mistral AI aus Frankreich wuchs innerhalb von zwölf Monaten von 20 auf 400 Millionen Dollar Jahresumsatz. Databricks erreicht eine Run-Rate von 5,4 Milliarden Dollar. Daneben gibt es etablierte Erlösmodelle: Hosted Inference, Enterprise-Plattformen, On-Premises-Lizenzen, Fine-Tuning-Dienste und Tooling für KI-Agenten. Investoren wie Nvidia, Salesforce, Google und Tencent stecken Milliarden in den offenen Stapel. Das ist kein soziales Projekt – sondern Marktwirtschaft mit einem anderen Eigentumsmodell.

Der offene Stapel: Stark in der Leistung, schwach im Betrieb

Mozilla hat den gesamten Open-Source-AI-Stack analysiert – neun Schichten mit 48 Komponenten, basierend auf 1.361 Projekten. Das Urteil: Die Leistung ist stark (Bewertung 4 von 5), aber die betriebliche Reife ist schwach, besonders bei Standardisierung und Enterprise-Reife. Diese Kältezone zieht sich durch alle Schichten. Krikorian spricht von einer „wiederkehrenden kalten Kante“. Die Community hat hervorragende Modelle gebaut, aber die Werkzeuge, sie zuverlässig in Unternehmen zu betreiben, fehlen. Wer Open Source in der Produktion einsetzen will, muss viel Eigenarbeit investieren oder auf kommerzielle Anbieter wie Together AI oder Fireworks AI zurückgreifen.

Was das für dich bedeutet

Wenn du selbst KI-Anwendungen entwickelst oder einsetzt, ist die Botschaft klar: Du musst dich nicht mehr zwischen Leistung und Kosten entscheiden. Offene Modelle sind billig, leistungsstark und oft besser als geschlossene. Aber du musst den Betrieb organisieren. Die Werkzeuge dafür entstehen gerade – Plattformen wie Hugging Face, LangChain oder Modal bauen die Brücke. In ein bis zwei Jahren wird die operative Lücke wahrscheinlich geschrumpft sein, so wie zuvor die Leistungslücke. Mozilla ruft dazu auf, in offene Standards zu investieren und die Abhängigkeit von einzelnen Anbietern zu vermeiden. Die Geschichte des Webs lehrt uns: Offenheit gewinnt am Ende – aber nur, wenn wir sie aktiv gestalten. Teste offene Modelle, plane Zeit für Deployment und Tooling ein, und sei bereit, deine eigene Infrastruktur zu betreiben. Oder nutze einen Dienst, der das für dich erledigt. Die Wahl ist da – und sie wird immer leichter.

Quelle: stateofopensource.ai

Wie wissen einzelne Teile, was das Ganze ist?

Du stehst in einem Raum voller Menschen. Jeder sieht nur die direkt neben sich. Niemand hat einen Überblick. Trotzdem wissen alle nach einer Weile, ob sie Teil einer Hochzeit, einer Protestkundgebung oder eines Konzerts sind. Sie tauschen lokale Informationen aus – Blicke, Gesten, Worte – und daraus entsteht ein gemeinsames Bild. Genau dieses Prinzip verfolgt Sakana AI in einer neuen Arbeit, die in Nature Communications erschienen ist. Statt Menschen verwendet sie kleine, einfache Bausteine – smarte Ziegelsteine, die sich durch lokale Kommunikation zu einer kollektiven Intelligenz zusammenschließen.

Die Forscher nennen das System „Smart Cellular Bricks“. Jeder Brick besteht aus einem Würfel aus Leiterplatten mit Mikrocontroller, LED und sechs elektrischen Kontakten an den Seiten. Kein Baustein weiß, wo er sich befindet oder welche Form das Ganze hat. Er kommuniziert nur mit den unmittelbar benachbarten Steinen. Und dennoch erkennt die Ansammlung nach einigen Minuten, ob sie einen Flugzeugflügel, eine Gitarre, ein Boot oder einen Tisch darstellt. In der Praxis liegt die Genauigkeit bei nahezu 100 Prozent.

Wie die Steine lernen: Neuronale Zelluläre Automaten

Zelluläre Automaten funktionieren wie ein Schachbrett, bei dem jede Zelle ihren Zustand nach festen Regeln ändert – abhängig von den Nachbarzellen. Bei klassischen zellulären Automaten sind diese Regeln von Menschen erstellt. Bei neuronalen zellulären Automaten (NCA) werden sie von einem kleinen neuronalen Netz gelernt. Jeder Brick hat einen internen Zustand, der als Kurzzeitgedächtnis dient. Ein tiefes neuronales Netz aus 3D‑Faltungsschichten entscheidet, wie sich dieser Zustand von Schritt zu Schritt ändert. Das Netz wurde mit Tausenden von Beispielshapes trainiert, so dass es typische Strukturmerkmale einer Klasse abstrahieren kann – etwa dass ein Tisch eine große Platte und vier Beine hat, während ein Stuhl eine Rückenlehne besitzt.

Die Steine kopieren nicht einfach eine perfekte Vorlage. Sie lernen, ganze Klassen von Formen zu unterscheiden. Ein Tisch mit fünf statt vier Beinen wird immer noch als Tisch erkannt. Ein Boot mit verschobener Brücke ebenso. Das System toleriert Variationen – ein Schritt von starrer Formerkennung zu flexiblem, biologischem Verhalten.

Robustheit bei Ausfällen: Wie die Kolonie Fehler toleriert

In Experimenten wurden bis zu 15 Prozent der Module deaktiviert. Die meisten Formen wurden trotzdem richtig erkannt. Ein Flugzeug verlor kaum an Genauigkeit. Anders eine Gitarre: Wenn ein Stein genau am Hals ausfällt, reißt die Kommunikation zwischen den beiden Hälften ab – das System scheitert. Das erinnert an biologische Systeme, die anfällig für bestimmte Engpässe sind. Solange die Netzstruktur nicht zerrissen wurde, zeigten die Bausteine bemerkenswerte Resilienz.

Die Forscher testeten auch, ob die Steine Schäden bei Nachbarn erkennen können. Dafür trainierten sie das neuronale Netz zusätzlich, für jede der sechs Richtungen vorherzusagen, ob der dortige Stein defekt ist. Die Genauigkeit lag bei 94,8 Prozent, ohne dass die Formerkennung litt. Noch eindrucksvoller: Ausgehend von einem kleinen Keim aus wenigen Steinen können die Bausteine eine beschädigte Figur Schritt für Schritt nachwachsen lassen, indem sie neue Module in die Richtung anfordern, aus der sie ein Signal erhalten. Kein zentraler Plan – nur lokale Entscheidungen, die sich zur Wiederherstellung der gesamten Struktur aufschaukeln.

Morphogen-ähnliche Muster: Die interne Kommunikation der Steine

Die verborgenen Zustände des neuronalen Netzes ähneln der Embryonalentwicklung. In den ersten Zyklen entstehen Gradienten, die an biologische Morphogene erinnern – Substanzen, die Konzentrationsgradienten bilden und Zellen mitteilen, wo vorne und hinten ist. Auch die KI‑Bausteine erzeugen solche Muster: links‑rechts‑Gradienten, radiale Ausbreitungssignale und eine Kopf‑Schwanz‑Achse. Bei einem Stuhl beginnen viele Zellen mit der Vermutung „Tisch“. Dann breitet sich von der Rückenlehne ein Signal aus, das alle umstimmt. Dieses Ergebnis stammt von Milliarden gelernten Parametern, die genau diese Kommunikationsstrategien hervorgebracht haben.

Die Forscher haben nur die Lernregel definiert. Das Netz hat selbstständig eine Art chemischer Kommunikation erfunden, die in der Natur seit Millionen von Jahren existiert.

Von der Simulation in die Praxis

Die Experimente fanden mit fast 200 physischen Bausteinen und in Simulationen mit bis zu 18.000 Blöcken statt. Das Verfahren skaliert gut. In Gittern von 64x64x64 Zellen mit komplexen Hohlformen wie einem Fisch oder einem Haus erkennt die Kolonie die Form zuverlässig – vorausgesetzt, das neuronale Netz hat genügend Kapazität. Dieser Zusammenhang ist berechenbar: Mit wachsender Auflösung und Komplexität steigt der Bedarf an Modellkapazität, die Performance bleibt stabil.

Solche modularen, kollektiven Systeme könnten als intelligente Materialien oder rekonfigurierbare Roboter eingesetzt werden. Eine Brücke, die selbst erkennt, wo ein Stück fehlt, und das durch Anziehen neuer Module repariert. Ein Roboterarm, der sich aus Bausteinen zusammensetzt und ein Formgedächtnis hat. Oder eine Ansammlung winziger Sensoren, die ohne zentrale Steuerung die Umgebung kartieren.

Dezentrale Intelligenz für physische Systeme

Diese Arbeit zeigt, wie biologische Prinzipien in störungsanfälliger Hardware umgesetzt werden können. Intelligenz muss nicht in einem Superhirn sitzen. Sie kann aus dem Zusammenspiel vieler einfacher Teile entstehen. Das System beweist die Machbarkeit von lokaler, dezentraler und robuster kollektiver Intelligenz. Der Weg zu einer physischen Schwarmintelligenz ist noch weit, aber die Richtung stimmt: lokal, dezentral, robust. Und ein Haufen einfacher Würfel weiß plötzlich, dass er ein Flugzeug ist.

Quelle: sakana.ai

Vom Chatbot zum handelnden Agenten

Ein Chatbot beantwortet Fragen. Ein Agent führt Aktionen aus: Reise buchen, E-Mail schreiben, Ticket anlegen, Datenbankabfrage starten. Aus einem Gespräch wird eine Handlung. Falsche Handlungen wiegen schwerer als falsche Antworten. Microsofts KI-Agenten werden von über 80.000 Unternehmen genutzt; der Microsoft 365 Copilot hat mehr als 20 Millionen aktive Nutzer. Marco Casalaina, VP of Products bei Microsoft Core AI, berichtet aus den eingesetzten Systemen. Seine Erkenntnis: Wer einen Prototyp für produktionsreif hält, irrt.

Der Wandel ist grundlegend. „Wir verlassen die Phase der reinen Fragebeantwortung“, sagt Casalaina. „2026 nutzen mehr Kunden Sprache als Frontend; das Chatbot-Zeitalter endet.“ Bisher tippte der Nutzer, der Bot antwortete. Jetzt handelt der Agent: Er bucht Meetings, führt Analysen durch, sendet E-Mails, legt Tickets an. Der Nutzer kann per Sprache interagieren. Mit „Voice Live“ wird ein Text-Agent ohne Neuentwicklung zum Sprachagenten.

Warum der Prototyp in der Produktion scheitert

Ein Agent lässt sich mit einem guten Sprachmodell an einem Nachmittag zusammenbauen. Der erste Prototyp überzeugt im Test. Die Testprompts laufen, die Demo gelingt, nach einer Woche steht die Pilotversion. Probleme zeigen sich erst mit echten Nutzern. Sie stellen unvorhergesehene Fragen. Dokumente veralten. Neue Randfälle erscheinen, die nicht im Testdatensatz waren. Ein Modell-Update ändert das Verhalten des Agenten subtil – unbemerkt, bis ein Kunde sich beschwert. Ohne Identitätskontrollen läuft der Agent als Systemkonto. Bei Fehlern fehlt die Prüfspur. Ohne Schutzmechanismen äußert er selbstbewusst Falsches. Ohne Beobachtbarkeit bleibt unklar, ob die Qualität steigt oder fällt. Im Prototyp zeigt sich keines dieser Probleme; in der Produktion treten alle auf.

„Das Harness ist genauso wichtig wie das Modell“, sagt Casalaina. Harness bezeichnet die gesamte Infrastruktur um das Modell: Laufzeit, Werkzeuge, Kontextabruf, Identität, Absicherungen, Evaluatoren, Bereitstellungspipeline. Modelle ändern sich häufig; Datenbank-Updates sind meist einfacher. Jedes Modell hat eigene Eigenschaften, auf die das Harness reagieren muss. Als Anthropic Claude Opus 4.8 erschien, justierte das GitHub Copilot CLI Team sein Harness nach und führte Evaluierungen erneut durch, bevor sie das Modell auslieferten.

Die fünf Schichten des Produktions-Harness

Ein Produktionsagent besteht aus mehr als einem Sprachmodell. Microsoft nennt fünf Schichten, die zusammenspielen müssen.

1. Die Inferenzschicht: Die unterste Schicht ist die einheitliche Schnittstelle zum Modellzugriff. Modelle bleiben austauschbar. Foundry unterstützt zahlreiche Modelle (OpenAI, Anthropic, xAI, DeepSeek, Microsofts MAI-Familie). Verschiedene Agenten benötigen verschiedene Modelle, und das passende Modell wechselt oft.

2. Die Agentenlaufzeit (Agent Runtime): Die Laufzeitumgebung macht aus dem Modell einen Agenten. Sie steuert Orchestrierung, Werkzeugaufrufe, Gesprächszustand. Nicht jeder Schritt braucht das LLM; ein guter Agent schickt nur logisch anspruchsvolle Aufgaben an das Modell und erledigt andere wie Datenbanksuchen mit normalem Code. Framework-Neutralität ist wichtig: Ein Agent sollte zwischen Frameworks (z.B. LangChain, LangGraph, CrewAI) portierbar sein, ohne das Harness neu zu schreiben. Foundry unterstützt den Austausch.

3. Observability und Governance: In der Produktion braucht die Organisation eine einheitliche Sicht auf alle Agenten. Dazu gehören Gesundheitsmetriken, Token-Verbrauch, Latenz, Drift-Erkennung und Projektübersichten für das Plattform-Team. Ohne diese Schicht bleiben Regressionen unsichtbar, Kosten steigen. Foundrys Control Plane liefert eine projektübergreifende Flottenübersicht und leitet Telemetriedaten an Azure Monitor und Application Insights weiter – die gleiche Pipeline wie für Infrastruktur-Alarme.

4. Identitätsschicht: Wenn Agenten Aktionen ausführen, brauchen sie eigene Identitäten, Rollen und Prüfspuren. Ein fehlerhafter Agent sollte durch dieselben Zugriffskontrollen begrenzt werden wie ein fehlerhafter Mitarbeiter. Die Branche erweitert vorhandene Enterprise-Identitätssysteme um Agenten als neue Prinzipal-Klasse. Foundry erweitert Microsofts Entra zu diesem Zweck.

5. Kontextschicht (Context Layer): Die Kontextschicht stellt sicher, dass der Agent richtig antwortet. Ohne guten Kontext halluziniert er – er antwortet selbstbewusst, aber falsch, weil er nicht erkennt, was er nicht weiß. Casalaina nennt die Bereitstellung des richtigen Kontexts eine der schwierigsten Aufgaben.

Zwei Engineering-Ideen aus Foundry

Erstens: Retrieval-as-a-Subagent. Der Kontextabruf wird als Unteragent modelliert, der Daten dynamisch abruft und aufbereitet, statt auf einer statischen Wissensdatenbank zu basieren. Das ermöglicht feinere Steuerung und Fehlerbehandlung.

Zweitens: Agenten einen eigenen Platz zum Handeln geben. Mit einer Identität kann der Agent lesen und schreiben – Dokumente in SharePoint, Datensätze in Dynamics, E-Mails in Outlook. Microsoft hat die Agent-Identität in Entra etabliert, sodass der Agent als Akteur mit definierten Rechten und Prüfspur handelt.

Evaluierung und kontinuierliche Verbesserung

Microsoft bewertet Produktionsagenten mit ergebnisbasierten Kennzahlen nach einem Bewertungsraster (Rubric). Die Evaluierung läuft automatisiert: Der Agent bearbeitet einen Datensatz typischer Aufgaben, die Ergebnisse werden gegen eine vordefinierte Matrix gemessen. Die Messwerte fließen in eine automatische Verbesserungsschleife, in der das Harness selbstständig Anpassungen vornimmt – etwa die Gewichtung von Kontextquellen oder die Reihenfolge der Tool-Aufrufe. Der Prozess läuft kontinuierlich – Dokumente aktualisieren sich, neue Modelle erscheinen. Einmalige Evaluierung genügt nicht.

Was das für andere Teams bedeutet

Diese Lektionen lassen sich auf jedes Unternehmen übertragen: Erstens: Unterschätze die Komplexität des Modellumfelds nicht. Der Prototyp ist einfach, die Produktion schwer. Zweitens: Baue einen modularen Harness, der Modelle und Frameworks austauschbar hält. Drittens: Gib deinen Agenten eine Identität – sonst sind sie weder sicher noch prüfbar. Viertens: Investiere von Anfang an in Beobachtbarkeit und Evaluierung, nicht erst nach einem Vorfall.

Quelle: blog.bytebytego.com