Große Sprachmodelle stellen die Zukunft der Hochschulbildung vor Herausforderungen

Jan 15, 2024

Nature Machine Intelligence Band 5, Seiten 333–334 (2023)Diesen Artikel zitieren

5221 Zugriffe

1 Zitate

20 Altmetrisch

Details zu den Metriken

ChatGPT ist ein Chatbot, der auf einem großen Sprachmodell (LLM) basiert und Text im Dialogformat generiert. Es wurde im Dezember 2022 von OpenAI öffentlich veröffentlicht und hat im Hochschulsektor für Aufsehen gesorgt, da es in der Lage ist, ausgefeilte, selbstbewusst klingende Texte zu erstellen, die zum Verfassen von Aufsätzen und Aufgaben verwendet werden können. Derzeit kann es zwar Antworten1 liefern, die nur so kompetent sind, dass eine bestandene Note erreicht wird, es ist jedoch in der Lage, Multiple-Choice-Fragen in mehreren Fachgebieten korrekt zu beantworten, einschließlich des Bestehens von Musterfragen aus hochkarätigen Lizenzprüfungen. Der Fortschritt solcher Anwendungen ist so schnell, dass es nicht schwer ist, sich vorzustellen, dass bald ein deutlich verbesserter Nachfolger von ChatGPT veröffentlicht wird.

Es stellt sich die Frage, ob und wie die Hochschulbildung reagieren sollte. Sollten Universitäten die Verwendung verbieten? Oder sollten Akademiker stattdessen akzeptieren, dass Sprachmodelle zu einem integralen Bestandteil ihres beruflichen Werkzeugkastens werden und sie in unsere Lehr- und Bewertungspraktiken integrieren?

Auf praktischer Ebene würde sich die Zulassung der Verwendung LLM-basierter Tools auf die Bewertungsstruktur auswirken. Und was das berufliche Verhalten betrifft, teilen viele die Meinung, dass die Verwendung von Texten, die von einem LLM erstellt wurden, einem Plagiat gleichkommt. Da es an Universitäten bereits strenge Strafen für die Sanktionierung von Plagiaten auf andere Weise gibt, liegt es nahe, diese auf LLM-Studiengänge auszuweiten. Ein Problem bei diesem Ansatz besteht jedoch darin, dass die Durchsetzung schwierig sein wird. Im Gegensatz zum Kopieren und Einfügen oder Paraphrasieren erzeugen LLMs neuen Text, der nicht auf eine einzelne Quelle zurückgeführt werden kann, und obwohl Software zur Überprüfung der Wahrscheinlichkeit von LLM-gestütztem Betrug veröffentlicht wurde (Ref. 2), scheint ihre Zuverlässigkeit gering zu sein Jetzt. Darüber hinaus wird jeder Versuch, die Erkennungssoftware zu aktualisieren, angesichts der sich schnell entwickelnden LLMs wahrscheinlich scheitern3.

Eine weitere Reaktion einiger Universitäten war (zumindest vorübergehend) die Rückkehr zu den altmodischen Prüfungen mit Stift und Papier und unter Aufsicht als primärer Bewertungsmethode. Obwohl diese Lösung das LLM-bezogene Betrügen kurzfristig drastisch reduzieren wird, ist es unwahrscheinlich, dass sie nachhaltig oder allgemein anwendbar ist. Der Ansatz kann nur in traditionellen Institutionen angewendet werden, in denen Studierende physisch anwesend sind, und ist ein regressiver Schritt im Hinblick auf die digitalen Transformationen in der Bereitstellung und Bewertung von Hochschulbildung4, die durch die globale COVID-19-Pandemie ausgelöst wurden. Die Umwandlung schriftlicher Prüfungen in mündliche Prüfungen ist möglicherweise besser für digitale Umgebungen geeignet, bringt jedoch Bedenken hinsichtlich der Zuverlässigkeit, Validität und Skalierbarkeit mit sich.

Eine dritte Art der Reaktion auf LLMs, und möglicherweise die einzig nachhaltige, besteht darin, sie anzupassen und anzunehmen, wie in einem aktuellen Leitartikel5 in dieser Zeitschrift vorgesehen und im Einklang mit der jüngsten Ankündigung des International Baccalaureate zu ihren Qualifikationen6. Es gibt viele Möglichkeiten, mit ChatGPT beim Unterrichten und Bewerten von Schülern zu experimentieren und kreativ zu sein. Allerdings birgt die Einführung von ChatGPT (oder ähnlichen privaten Anwendungen) als Teil der Standardpraxis ernsthafte Risiken negativer betrieblicher, finanzieller, pädagogischer und ethischer Folgen für Universitäten. OpenAI ist insbesondere nicht verpflichtet, auf die Bedürfnisse von Bildungseinrichtungen einzugehen, wenn es um die Wartung und den Zugriff auf sein Modell geht, was zu grundlegenden betrieblichen Problemen führt, wenn dies Teil der Bewertung ist.

Auch die langfristigen pädagogischen Auswirkungen der Akzeptanz von LLMs als Lerninstrumente müssen berücksichtigt werden. Das Üben wissenschaftlichen Schreibens ist eine gängige Methode, um logische Argumentation und kritisches Denken7 zu lehren und zu bewerten (welche ironischerweise notwendige Fähigkeiten sind, um die Ergebnisse eines LLM zu bewerten). Am stärksten betroffen dürften fremdsprachige oder bildungsbenachteiligte Studierende sein, wobei Pädagogen weniger Wert darauf legen, zu lernen, wie man gut geschriebene und argumentierte Texte verfasst. Dies könnte dazu führen, dass sich die sozialen Spaltungen verstärken und die soziale Mobilität sinkt, sobald Studierende ihren Abschluss machen und in Arbeitsumgebungen geworfen werden, in denen LLMs möglicherweise nicht verfügbar oder nützlich sind.

Eine weitere Herausforderung betrifft das Vertrauen, das Pädagogen in das Modell setzen können, in die Art und Weise, wie es trainiert wurde und auf welchen Daten. Von LLMs erzeugter Text spiegelt Muster8 in den Trainingsdaten wider. Sein Einsatz im Bildungsbereich könnte Repräsentationsschäden auf eine Art und Weise verschärfen, die nur schwer zu dokumentieren und zu beheben ist9. OpenAI hat einige Fortschritte bei der Verbesserung der Genauigkeit von ChatGPT bei sachlichen Eingabeaufforderungen und auch bei der Moderation toxischer Inhalte gemacht. Die Grenzen dieser Technik lassen sich jedoch nicht testen, und sie gehen zu Lasten der Ausbeutung der Arbeit von Datenarbeitern, die, wie sich herausstellte10, mit der Sichtung und Kennzeichnung giftiger Inhalte beauftragt wurden. Pädagogen, die ChatGPT in ihrem Unterricht einsetzen, würden diese schädlichen und extraktiven Praktiken implizit bestätigen.

Schließlich sollten Bedenken hinsichtlich der Ressourcen bestehen, die für die Durchführung von LLMs erforderlich sind, insbesondere angesichts der Netto-Null- und CO2-armen Verpflichtungen Hunderter Universitäten. In einem kürzlich erschienenen Artikel wird der tägliche CO2-Fußabdruck von ChatGPT auf etwa 23 kg CO2e geschätzt, etwa so viel wie eine einfache Hin- und Rückfahrt mit dem Eurostar von London nach Paris, die Kosten für das Training des Modells sind darin jedoch nicht enthalten. Auch wenn dies relativ klein erscheint, wird es mit zunehmender Verbreitung der Technologie schnell zunehmen. Bildungseinrichtungen sollten daher darauf achten, von Studierenden die Nutzung eines Modells zu verlangen, dessen Betrieb aktiv zur Klimakrise beiträgt, es sei denn, der aus seiner Nutzung erzielbare Wert übersteigt nachweislich die Umweltkosten.

Was können Wissenschaftler angesichts dieser Herausforderungen tun? Ein Schritt könnte die Schaffung öffentlich finanzierter LLMs in Zusammenarbeit mit offenen, von Interessengruppen geleiteten Initiativen wie dem BigScience-Projekt sein. Solche Modelle könnten speziell für Bildungseinrichtungen entwickelt werden, um sicherzustellen, dass sie im Hinblick auf ihre menschlichen und ökologischen Kosten überprüfbar und transparent sind. Dies erfordert eine zukunftsweisende Vision, erhebliche Investitionen sowie die aktive Einbindung und Lobbyarbeit von Bildungseinrichtungen und ihren Geldgebern. Die Begeisterung über ChatGPT und andere LLM-Tools lässt die große politische Frage ahnen, wer im Zeitalter der KI die Bildungsstandards innehat und setzt.

Choi, JH, Hickman, KE, Monahan, A. & Schwarcz, D. SSRN https://doi.org/10.2139/ssrn.4335905 (2023).

Artikel Google Scholar

Heikkilä, M. Wie man KI-generierten Text erkennt. MIT Technology Review https://www.technologyreview.com/2022/12/19/1065596/how-to-spot-ai-generated-text/ (2022).

Natur 613, 612–612 (2023).

García-Morales, VJ, Garrido-Moreno, A. & Martín-Rojas, R. Front. Psycho. 12, (2021).

Nat. Mach. Intel. 5, 1 (2023).

Hill, C. & Lawton, WJ High. Educ. Richtlinienverwalter 40, 598–610 (2018).

Artikel Google Scholar

Liu, F. & Stapleton, P. Assess. Schreiben. 38, 10–20 (2018).

Artikel Google Scholar

Bender, EM, Gebru, T., McMillan-Major, A. & Shmitchell, S. in Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency 610–623 (ACM, 2021).

Weidinger, L. et al. Vorabdruck bei arXiv http://arxiv.org/abs/2112.04359 (2021).

Zeit. Exklusiv: Die 2-Dollar-pro-Stunde-Arbeiter, die ChatGPT sicherer gemacht haben. Zeit https://time.com/6247678/openai-chatgpt-kenya-workers/ (18. Januar 2023).

Referenzen herunterladen

Exeter Centre for the Study of the Life Sciences (Egenis), University of Exeter, Exeter, Großbritannien

Silvia Milano und Sabina Leonelli

Melbourne Graduate School of Education, Universität Melbourne, Melbourne, Victoria, Australien

Joshua A. McGrane

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Korrespondenz mit Silvia Milano.

Die Autoren geben an, dass keine Interessenkonflikte bestehen.

Nature Machine Intelligence dankt den anonymen Gutachtern für ihren Beitrag zum Peer-Review dieser Arbeit.

Nachdrucke und Genehmigungen

Milano, S., McGrane, JA & Leonelli, S. Große Sprachmodelle stellen die Zukunft der Hochschulbildung in Frage. Night March Intell 5, 333–334 (2023). https://doi.org/10.1038/s42256-023-00644-2

Zitat herunterladen

Veröffentlicht: 31. März 2023

Ausgabedatum: April 2023

DOI: https://doi.org/10.1038/s42256-023-00644-2

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein gemeinsam nutzbarer Link verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt