Replizieren Sie die Umwelt, nicht das Wissen

Es gibt eine große Menge von spezialisierten Wissen, die nicht im Internet ist. Es ist auch nicht in jedem Buch oder Datenbank. Es wird über menschliche Gehirne verteilt, in laufenden Systemen kodiert und in Prozesse eingebettet, die niemand vollständig versteht.

Friedrich Hayek artikulierte dies 1945 besser als jeder seitdem:

„Es gibt jenseits der Frage einen Körper von sehr wichtigem, aber unorganisiertem Wissen, der möglicherweise nicht wissenschaftlich im Sinne des Wissens von allgemeinen Regeln genannt werden kann: das Wissen über die besonderen Umstände von Zeit und Ort.“ [1]

Er schrieb über Wirtschaftswissenschaften, aber die Beobachtung ist viel allgemeiner. Ein Großteil der Welt läuft auf lokales, stilles, verteiltes Wissen. Denken Sie an den Logistikkoordinator, der ein Leben macht, indem Sie über zeitweilig unbelegte Rückholkapazität auf einer Lkw-Laute wissen. Der Immobilienmakler, der flüchtige Möglichkeiten vor jedem anderen sieht. Der Schiedsrichter, der von lokalen Preisunterschieden profitiert, hat noch niemand bemerkt. Jeder besitzt Wissen, dass, wie Hayek es formulierte, „von seiner Natur nicht in Statistiken eingehen kann und daher keiner zentralen Behörde in statistischer Form übermittelt werden kann“.

Das ist das Wissensproblem. Nicht ein Mangel an Informationen, sondern eine Erkenntnis, dass die wichtigsten Informationen der Zentralisierung widerstehen.

Es beschreibt auch, fast perfekt, was in den größten Softwaresystemen der Welt geschah.

Das Wissen im laufenden Code gesperrt

Mainframe COBOL-Systeme verarbeiten Billionen von Dollar in Transaktionen jeden Tag. Sie wurden über Jahrzehnte von Tausenden von Entwicklern gebaut, die jeweils auf ihre eigenen besonderen Umstände reagieren: ein regulatorischer Wandel, ein Produktionsvorfall am Dienstagabend, eine Kundenbeschwerde über einen Rundungsfehler im vierteljährlichen Interesse.

Niemand hat diese Systeme als Ganzes entworfen. Sie sind gewachsen. Layer by Layer, Patch by Patch, jeder Entwickler hat lokales Wissen zu einer gemeinsamen Codebase beigetragen. Geschäftsregeln für Transaktionszulassungen, Zinsberechnungen, Ausnahmebehandlung und Kontostandsübergänge wurden selten sauber niedergeschrieben. Sie wurden in Code, Datenlayouts, Aufruf Konventionen, Betriebsgewohnheiten und Produktionsfixes eingebettet. Da die ursprünglichen Autoren in den Ruhestand gehen, zieht sich viel von diesem Wissen mit ihnen zurück.

Dies ist Hayeks Wissensproblem, ausführbar gemacht.

Das Wissen wird über Millionen Zeilen von Code verteilt, zu implizit in Programm-Interaktionen, und zu abhängig von bestimmten Daten und Zustand von jeder Person oder Dokument sauber erfasst werden. Niemand versteht es vollständig. Das System tut es. Und doch läuft es. Jeden Tag verarbeitet es die richtigen Transaktionen, wendet die richtigen Regeln an und produziert die richtigen Ergebnisse.

Warum der Standardansatz versagt

Die konventionelle Herangehensweise an die Mainframe-Modernisierung ist in Hayekian eine Form zentraler Planung. Ein großes Beratungsteam. Lesen Sie den Code. Dokumentieren Sie die Geschäftsregeln. Schreiben Sie das System aus der Dokumentation.

Das scheitert aus demselben Grund, weil die Zentralplanung versagt. Die Abstraktion verliert die Details, die wichtig sind.

Ein Berater liestIF WS-FICO-SCORE < 300und schreibt "FICO-Scores unter 300 werden abgelehnt." Aber das eigentliche Wissen ist nicht in diesem Satz. Es liegt im Verhalten des Systems unter tatsächlichen Bedingungen. Was passiert, wenn diese Überprüfung auf halbem Wege durch eine Transaktion ausfällt? Was passiert, wenn der Kommunikationsbereich einen bestimmten Zustand enthält? Was passiert, wenn ein Cursor auf einem bestimmten Datensatz positioniert ist und ein Ausnahmepfad später zwei Programme ausgelöst wird? Dort lebt die wahre Herrschaft.

Das Wissen lebt teilweise im Code, aber wichtiger im Verhalten des laufenden Systems unter Einschränkung.

Eine gemeinsame, aber naive Antwort ist: Können Sie nicht einfach eine Grenze LLM an der COBOL zeigen und fragen, was es tut? Ein Frontier LLM auf eine COBOL-Datei zeigt Ihnen oft, was ein Absatz scheint, isoliert zu tun. Es kann Ihnen nicht zuverlässig sagen, was passiert, wenn 17 Programme durch gemeinsame Byte-Puffer, inter-Programm-Kommunikationsbereiche, Transaktionsgrenzen und produktionsförmige Daten interagieren. Lesen ist nicht genug. Das wichtige Wissen wird durch Hinrichtung zum Ausdruck gebracht.

Bauen Sie die Umwelt, lassen Sie AI erkunden

Die Alternative besteht also darin, die Umwelt zu replizieren, in der dieses Wissen ausgedrückt wird.

Anstatt den Menschen zu bitten, den Code zu lesen und die Regeln zu rekonstruieren, bauen Sie eine treue, instrumentierte Replik des Vermächtnissystems: eine, die sich wie das Original verhält, aber in einer Umgebung läuft, in der jeder Zweig, jede Mutation, jeder Zwischenzustand und jede Interaktion beobachtet werden kann. Dann lassen Sie KI in dieser Umgebung arbeiten, Hypothesen bilden, Experimente laufen, Ergebnisse beobachten und ihr Verständnis überprüfen.

Dies ist eine grundsätzlich unterschiedliche Orientierung. Du hörst auf, das Verständnis als Leseaufgabe zu behandeln. Stattdessen bauen Sie eine Welt, in der das Verständnis durch Interaktion entdeckt werden kann.

In einemVorheriger Aufsatz, Ich argumentierte, dass Rich Sutton’s Bitter Lesson [6] für Code-Erklärung gilt. Allgemeine Methoden, die die Berechnung des Hebels nutzen, neigen dazu, überproportionale Methoden, die um menschliche Abstraktionen herum gebaut wurden, zu übertreffen. Summarisierung, RAG, manuell gestaltete Ontologien, Wissensgraphen: Dies sind alle Versuche, das Verständnis durch Heuristiken zu komprimieren, die bis zu einem Punkt arbeiten und dann genügend Maß und Komplexität brechen. Das ist die Bitterstunde, die auf die Modernisierung angewendet wird.

Bauen Sie nicht immer-cleverer Kompressionssysteme für tacit Wissen. Bauen Sie die Umwelt, in der dieses Wissen ausgedrückt wird, und lassen Sie die Erforschung – unter Verwendung allgemeiner Methoden wie Suche und Lernen – die Arbeit.

In der Praxis bedeutet das, einen verhaltensmäßigen Zwilling des Legacy-Systems aufzubauen und KI-Agenten die Werkzeuge zu vermitteln, um mit ihm zu interagieren: navigieren Sie Bildschirme, senden Sie Eingaben, inspizieren Sie Daten, beobachten Sie die Ausführungsspuren, vergleichen Sie die Ergebnisse und testen Sie Konjektionen über die Geschäftslogik gegen das tatsächliche Systemverhalten.

Ist das nur ein Test in Fancier Kleidung? Nicht wirklich. Die Prüfung beginnt mit einer Spezifikation und prüft, ob das System es erfüllt. Dies beginnt ohne eine Spezifikation und versucht, eine zu entdecken. Die Richtung wird umgekehrt. Es ist näher an der wissenschaftlichen Methode als an QA.

Warum bauen Sie den Zwilling anstatt den Code zu lesen?

Auf den ersten Blick klingt der Aufbau einer treuen Replik noch härter, als den Code direkt zu verstehen. In einem Sinne ist es das. Aber es ist eine andere Art hart.

Ein großes Vermächtnissystem zu lesen und sein wahres Verhalten zu rekonstruieren ist ein Urteilsproblem. Es hängt von Interpretation, tacit Kontext und heroischen menschlichen Anstrengung ab. Ein treuer Zwilling zu bauen ist ein technisches Problem. Ziel ist es, Treue zu einem Eigentum des Systems zu machen, das Sie bauen, nicht ein Nebenprodukt der Intuition von jemandem.

Das bedeutet, das Vermächtnissystem in eine Darstellung zu übersetzen, deren Verhalten systematisch überprüft werden kann, dann die Äquivalenz durch formale Methoden und kontinuierliche Differenzvalidierung anzuziehen. Führen Sie die gleichen Eingänge durch das ursprüngliche System und den Zwilling. Vergleichen Sie Ausgänge, Spuren und Nebenwirkungen. Wo sie sich divergieren, schließen Sie die Lücke. Im Laufe der Zeit verwandelt ihr die Treue in etwas messbares.

Dies liegt daran, dass jedes neue System, sobald die Infrastruktur existiert, durch den Bau explorierbar wird. Wir tauschen einen spröden, manuellen, irreduzibel kontextuellen Prozess für einen in wiederholbarer Technik geerdet.

Die AI-Labore verstehen bereits das Muster

Einer der klarsten Lektionen der modernen KI ist, dass Umgebungen statische Datensätze schlagen.

DeepMind erreichte nicht übermenschlich Gehen Sie durch den Aufbau einer riesigen Datenbank von Expertenkommentar. Sie bauten eine Spiel-Engine und lassen den Agenten lernen, indem sie in ihm handeln. Wenn AlphaGo Zero [2] menschliche Spieldaten vollständig entfernt und durch Selbstspiel gelernt, es übertraf das frühere System. Die Umwelt war der Lehrplan.

Das gleiche Muster zeigt sich anderswo. SWE-Bench [4] wertet Codierer in realen Repositories aus, in denen sie Code überprüfen, bearbeiten und Tests durchführen können. WebArena [5] wertet Web-Agenten in funktionierenden Web-Anwendungen statt statische Datensätze von Browser-Tracks aus. Die großen Labors haben alle in Richtung Computer-Nutzung Systeme bewegt, wo das Modell eine reale Schnittstelle mit Screenshots, Mausbewegungen und Tastaturaktionen betreibt. In jedem Fall kommt die Fähigkeit nicht nur aus mehr Daten, sondern aus dem Handeln innerhalb einer strukturierten Welt, die Feedback produziert.

Das Muster ist bereits sichtbar: Wenn Sie ein System zum Beherrschen einer Domain wünschen, sind Beschreibungen oft ein schlechter Ersatz für die Domain selbst.

Dieses Prinzip gilt ebenso für Enterprise-Software wie für Spiele, Code-Repositories oder Browser.

Wenn Sie wollen, dass KI ein vierzigjähriges Banksystem versteht, geben Sie es nicht nur Quelldateien und fragen Sie nach einer Zusammenfassung. Geben Sie ihm eine Umgebung zum Betrieb.

Fidelity ist das ganze Spiel

Natürlich funktioniert das nur, wenn die Replik treu ist. Wenn der Zwilling vom realen System divergiert, wird das extrahierte Verständnis falsch sein.

Deshalb ist die Verifikation nicht nur ein nettes Verhalten, sondern das ganze Spiel.

Der Zwilling muss durch parallele Ausführung kontinuierlich gegen das ursprüngliche System validiert werden. Die gleichen Eingänge sollten die gleichen Ausgänge, die gleichen Schlüsselzustandsübergänge und das gleiche beobachtbare Verhalten erzeugen. Jede Diskrepanz ist nützlich. Es zeigt, wo das Modell des Systems unvollständig ist und wo die Umwelt genauer werden muss.

Die Umwelt wird zu einem schrittweise schärferen Instrument, um Verständnis zu extrahieren.

Dies ist, was wir bei Hypercubic bauen: nicht Dokumentationstools, nicht statische Code-Analyseplattformen, sondern treue, explorable Umgebungen, in denen KI das Wissen entdecken kann, das nie niedergeschrieben wurde.

Wir werden bald viel mehr über die Besonderheiten sagen.

Referenzen

1. Hayek, F.A. (1945).Die Nutzung des Wissens in der Gesellschaft. American Economic Review, 35(4), 519-530.
2. Silber, D. et al. (2017).Mastering das Spiel von Go ohne menschliches Wissen.Natur, 550, 354-359.
3. Open Ended Learning Team, DeepMind. (2021).Open-Ended Learning führt zu allgemein verwendbaren Agenten.
4. Jimenez, C.E. et al. (2023).SWE-bench: Können Sprachmodelle Real-World GitHub Probleme lösen?
5. Zhou, S. et al. (2023).WebArena: Eine realistische Web-Umgebung für Gebäude Autonome Agenten.
6. Sutton, R. (2019).Die Bitterstunde.