Was ChatGPT ad Absurdum führen könnte

Ein System frisst seine eigene Daten

(PresseBox) - von Götz Piwinger

ChatGPT steht für „Chat Generative Pre-trained Transformer“ und wurde im November 2022 veröffentlicht. Es nutzt Sprachmodelle – derzeit das Chat-3.5 –, die mit riesigen Mengen von Daten trainiert wurden, sogenannte Large Language Models (LLM). 175 Milliarden Parameter und 800 Gigabyte an Speicherkapazität wurden dafür verwendet. GPT basiert auf Daten bis 2021. Es kann derzeit keine Fragen beantworten, die sich auf Daten danach beziehen.

ChatGPT nutzt mehrere neuronale Netze. Diese Dienste haben unterschiedliche Aufgaben - unter anderem auch, rassistische oder nicht angemessene Passagen auszulassen. Sie verfügen über PPO-Modelle (Proximal Policy Optimization) zur “Überwachung” und Reward Modellen zur “Belohnung” guter Ergebnisse, die wiederum in das PPO-Modell gefüttert werden.  Es ist, als würde die Ausgabe der Daten von sehr vielen künstlichen Gehirnen geprüft und danach erst freigegeben. Das geht erstaunlich schnell und braucht entsprechend sehr hohe Rechenzentrumskapazitäten. Aus diesem Grund kann GPT nicht kostenfrei bleiben. Ähnliche (aktuellere) Systeme, wie “Bloom” bleiben zwar in der Nutzung ohne Berechnung, stellen aber dafür die Datacenter-Nutzung mit circa 40 €/h in Rechnung. Soweit zur grundsätzlichen Technologie.

Vereinfacht gesagt, sucht GPT Antworten aus dem Big Data Pool bis 12/2021 und stellt diese sehr schön in menschlich anmutenden Sätzen zusammen. Damit kommen wir zur Frage, was mit diesen Ergebnissen passiert! Angenommen, die GPT-Sätze finden Einzug in journalistische Artikel, in Blogs, Bücher etc. Dann finden die Ausgabedaten aus 2021 ihren Weg in den Datenbestand von 2022 und 2023. Es hat einen guten Grund, warum der Daten bezug immer in einem bemerkenswerten Abstand zur Gegenwart gehalten wird. Denn wenn die AI-Systeme auch auf Echtzeitdaten zugreifen könnten, würde die KI ihre eigenen Ausscheidungen verspeisen, was zu einer unheilvollen Mega-Rekursion - einer Art Implosion- führen würde. Umso kleiner der Abstand zwischen Datenpool und Ausgabezeitpunkt wird, desto mehr verfälschen die AI-Systeme ihre Ergebnisse selbst, weil die eigenen Ausgaben quasi wieder als Eingabe im System landen.



Es ist anzunehmen, dass mit äußerstem Hochdruck an neuronalen Netzen gearbeitet wird, die diesen Effekt verhindern sollen. Doch hier funkt der Mensch dazwischen. Denn die wenigsten Menschen geben sich die Blöße, ein KI-Ergebnis 1:1 zu übernehmen, sondern verändern Inhalte und Formulierungen mit ihrem persönlichen Stil. Diese Ergebnisse können von der KI nicht als Ausgabe einer KI erkannt werden und landen somit im Big Data Pool, dem Futtertrog der AI-Systeme! Es ist aus meiner Perspektive derzeit nicht abschätzbar, welche Zeiträume vergehen werden, bis sich die ausgegebenen Informationen dadurch immer ähnlicher und damit zunehmend einheitlich werden, aber eines ist dabei heute schon klar: Die Arbeit der Rechenzentren und damit der Energieverbrauch wird schlagartig exponentiell explodieren. Die beigefügte Grafik stammt aus einer KI, dieser Text (noch) nicht.

ORGABRAIN unterstützt Unternehmen beim digitalen Kulturwandel mit modernen Verfahren und wegweisenden IT-Lösungen für:

+ CORPORATE LEARNING

+ KNOWLEDGE MANAGEMENT

+ KOMPETENZ MANAGEMENT

+ WERTE MANAGEMENT

+ TALENT MANAGEMENT

www.orgabrain.com

www.kowex.de

ORGABRAIN GmbH

New Work Solutions

Trierer Str. 256

D-56072 Koblenz

Weitere Infos zu dieser Pressemeldung:
Unternehmensinformation / Kurzprofil:
Bereitgestellt von Benutzer: PresseBox
Datum: 27.02.2023 - 10:38 Uhr
Sprache: Deutsch
News-ID 2035579
Anzahl Zeichen: 3688

Kontakt-Informationen:
Ansprechpartner: Prof. Götz Piwinger
Stadt:

Koblenz

Telefon: +49 (261) 28757065

Kategorie:

Information & TK

Diese Pressemitteilung wurde bisher 374 mal aufgerufen.

Toxische Suchvorgänge ...
Also erstellen wir uns typischerweise Favoriten im jeweiligen Browser. Spätestens, wenn wir unser digitales Eselsohr wiederfinden wollen, beginnt die Suche. Denn die Merk-Einträge verschachteln sich in verschiedenen Ansichten und Websites. Gerade im Organisationskontext kostet die tägliche Suche

People&Culture Seminare oder Kurse: Welche sind empfehlenswert- ...
. von Prof. Götz Piwinger Schnell eine Suche im World Wide Web und schon ist die Unsicherheit perfekt. Da gibt es Angebote von IHKs und den üblichen privaten Akademien und ja, da wird eine Menge Quatsch angeboten. Es schleicht sich der Verdacht in das Herz des Betrachters, dass die angebotenen Inh

Das Knowledge Management System ...
Dieser Beitrag beschreibt in kompakter Form einige Herausforderungen des Themas und damit auch die Anforderung an die Erfahrung externer Beratung. Die wenigsten Unternehmen, die ich kenne, verfügen über ein echten Knowledge Management System. Natürlich gibt es Suchsysteme, um überhaupt Informati

Weitere Mitteilungen von Orgabrain GmbH

Fastenzeit für den Computer ...
Die Fastenzeit hat begonnen. Viele nutzen die Fastenzeit, um bis Ostern zu entgiften und Körper und Geist zu reinigen. Eine gute Gelegenheit, das Groß-Reinemachen auch bei PC und Co. fortzusetzen. Das lenkt nicht nur von der Lust auf Laster ab, sondern macht die Geräte schneller. Wie der Datenmü

Alpenhotel Kitzbühel taucht mit Peakmedia in die smarte Kommunikationswelt ein ...
Zwei 65-Zoll Displays in der Hotellobby und siebzig 50-Zoll Displays in den Hotelzimmern bringen eine neue, digitale und gleichzeitig äußerst persönliche Gästekommunikation abseits der Hotelrezeption ins Alpenhotel Kitzbühel - lakeside hotel & lodge . Über zwei Jahre hinweg erfand sich das

Investieren mit Kadena– Eine Chance auf finanzielle Unabhängigkeit ...
Kadena ist ein attraktives Investitionsziel, da es finanziellen Unabhängigkeit durch ein einfaches Grid-Computing-Modell verspricht. Es hat eine intuitive Benutzeroberfläche, integrierte Tools und Support-Services, die es Anlegern ermöglichen, mit digitalen Assets zu handeln und zu minen. CryptoM

Türschilder: Immer auf dem neuesten Stand ...
Professionelles Ambiente und eine klare visuelle Kommunikation: Das sind die Hauptanliegen bei der Neubeschilderung eines Unternehmens. Doch es gibt viele weitere Gründe, warum es sinnvoll ist, die Türschilder in einem Unternehmen oder einer Einrichtung von Zeit zu Zeit auszutauschen. Ein Grund