1.4. Halluzinationen und Bullshit

 Dieser Eintrag ist Teil eines Portfolioprojekts namens Mensch, Maschine und Sprache. Wenn ihr mehr darüber wissen wollt, schaut mal rechts bei der Seite "Mensch, Maschine und Sprache" vorbei!

                                                                 ─────𓅪─────

Manchmal passiert es, dass LLMs wie ChatGPT oder DeepSeek falsche Antworten geben, Befehle missachten oder sich sogar Fakten ausdenken. Sowohl in der Forschung als auch in populärwissenschaftlichen Artikeln wird dann häufig davon gesprochen, dass die Sprachmodelle „halluzinieren“ — sie generieren Antworten, die faktisch falsch oder widersprüchlich sind. Huang et al. haben sich mit diesen Fehlleistungen der LLMs, den Ursachen und den möglichen Lösungen auseinandergesetzt. Sie definieren Halluzinationen von LLMs als „generated content that is either nonsensical or unfaithful to the provided source content“, wobei zwischen den zwei Kategorien „factuality hallucination“ (faktische Unstimmigkeiten) und „faithfulness hallucination“ (Abweichung von Befehlen oder fehlende Kohärenz) unterschieden wird (Huang et al. 2024: 2). Dadurch, dass die generierten Texte der Sprachmodelle so menschlich und plausibel klingen, ist es schwierig, diese Fehler zu erfassen, sodass Fehlinformationen verbreitet werden können und sogar Schaden angerichtet werden kann (vgl. Huang et al. 2024: 2).

1.3. Die Umweltkosten der hungrigen LLMs

 Dieser Eintrag ist Teil eines Portfolioprojekts namens Mensch, Maschine und Sprache. Wenn ihr mehr darüber wissen wollt, schaut mal rechts bei der Seite "Mensch, Maschine und Sprache" vorbei!

                                                                 ─────𓅪─────

Die ungreifbare Kraft und Rechenleistung von LLMs kommen nicht aus dem nirgendwo. Die „Cloud“ ist kein abstraktes Netz im Himmel, sondern fest in riesigen Datenzentren verankert (die meisten in den USA), die riesige Mengen an Energie und Kühlwasser benötigen, um einwandfrei zu funktionieren. Im Zuge der Klimakrise ist es unabdingbar, diese Kosten bei der Entwicklung und Erhaltung von LLMs mit einzuberechnen und auf nachhaltigere Energiequellen umzusteigen (vgl. Bender et al. 2021: 613). Dabei sind die hohen Preise und negativen Konsequenzen der energiehungrigen Datenzentren bereits jetzt sowohl auf großer als auch auf kleiner Skala zu sehen. In einem Interviewmit BBC berichtet eine Frau, neben deren Haus ein Datenzentrum für Meta gebaut wurde, wie ihr Wasser seitdem verschmutzt ist. Sie kann es nicht mehr trinken und durch den niedrigen Wasserdruck muss sie Eimer mit Wasser benutzen, um ihre Toilettenspülung betätigen zu können.

1.2. Bedeutung in Sprache

 Dieser Eintrag ist Teil eines Portfolioprojekts namens Mensch, Maschine und Sprache. Wenn ihr mehr darüber wissen wollt, schaut mal rechts bei der Seite "Mensch, Maschine und Sprache" vorbei!

                                                                 ─────𓅪─────

Mit der zentralen Frage, ob große Sprachmodelle Sprache verstehen können und ob sie die Bedeutung der Wörter, die sie generieren, kennen, haben sich Emily Bender und Alexander Koller beschäftigt. An einem Gedankenexperiment illustrieren sie ihre These, dass ein System, das ausschließlich mit der Form von Sprache trainiert wurde, Bedeutung nicht lernen kann (vgl. Bender & Koller 2020: 5187). Obwohl der Artikel für des Feld der LLM-Recherche relativ alt ist und einige Postulate anfechtbar sind, ist es dennoch wertvoll, ihren Gedanken zu folgen.

1.1. Sprachideologien in Large Language Modellen

Dieser Eintrag ist Teil eines Portfolioprojekts namens Mensch, Maschine und Sprache. Wenn ihr mehr darüber wissen wollt, schaut mal rechts bei der Seite "Mensch, Maschine und Sprache" vorbei!

                                                                 ─────𓅪─────

Um genauer betrachten zu können, wie die Verbindung zwischen LLMs und Sprache ist, muss einerseits zuerst klargestellt werden, wie LLMs funktionieren, und andererseits eine Definition von Sprache festgelegt werden. LLMs, wie beispielsweise ChatGPT oder DeepSeek, sind „generative pretrained transformers“, sie generieren also Text, indem sie große Mengen an Trainingsdaten analysieren und die Wahrscheinlichkeiten errechnen, dass ein Wort auf einen Text folgt (3Blue1Brown 2024: 0:15–0:21). Dabei berechnen die Computer nicht nur die höchste Wahrscheinlichkeit eines einzigen Tokens (Wort), sondern von allen möglichen Wörtern (vgl. 3Blue1Brown 2024: 0:37–0:55). Diese Ergebnisse werden dann von Menschen einzeln gefiltert, bewertet und korrigiert — was stark mit Ausbeutung verbunden ist: z.B. hat OpenAI, die Firma von ChatGPT, Arbeiter:innen in Kenia weniger als $2 pro Stunde bezahlt, um Ergebnisse von ChatGPT nach expliziten Inhalten zu filtern, die Gewalt, Vergewaltigung und andere traumatisierende Theme explizit thematisieren (vgl. Perrigo 2023). Hinter dem Hype um KI stecken also auch dunkle Seiten.