Teuken 7B
Sprachmodell
From Wikipedia, the free encyclopedia
Teuken 7B ist ein großes, multilingual trainiertes Sprachmodell mit sieben Milliarden Parametern. Sprachmodelle dieser Art werden verwendet, um menschenähnlichen Text zu generieren und komplexe sprachliche Aufgaben zu bewältigen, beispielsweise Übersetzungen, Textzusammenfassungen oder die Beantwortung von Fragen.[1][2]
Teuken 7B wurde im Rahmen des vom Bundesministerium für Wirtschaft und Klimaschutz (BMWK) geförderten Forschungsprojekts OpenGPT-X entwickelt.[3] Das Modell entstand ab 2022[4] durch die Zusammenarbeit eines Konsortiums unter Leitung der Fraunhofer-Institute IAIS und IIS, gemeinsam mit Partnern wie der TU Dresden, dem Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI), dem Forschungszentrum Jülich sowie Unternehmen wie Aleph Alpha und IONOS.[5]
Geschichte
Das Projekt OpenGPT-X und die Entwicklung von Teuken 7B starteten im Frühjahr 2022[6] mit dem Ziel, ein leistungsfähiges europäisches Sprachmodell zu schaffen, das speziell für die 24 Amtssprachen der Europäischen Union optimiert ist.[5][7] Das Projekt reagiert auf den wachsenden Bedarf nach offenen und transparenten KI-Lösungen, die europäische Datenschutzstandards einhalten und an die sprachliche Vielfalt Europas angepasst sind.[5][8]
Merkmale
Teuken 7B ist ein europäisches, multilinguales großes Sprachmodell, das im Rahmen des Forschungsprojekts OpenGPT-X entwickelt wurde und als Open-Source-Alternative zu vorwiegend englischsprachigen Modellen positioniert ist.[9] Es wurde mit rund vier Billionen Tokens vortrainiert.[10] Über 50 % der Trainingsdaten stammen aus nicht-englischen Quellen[11], um eine hohe Leistung in den europäischen Sprachen zu gewährleisten.
Anwendungen
Das Modell eignet sich für vielfältige Anwendungsbereiche. Dazu gehören multilinguale Chatbots, Dokumentenzusammenfassungen, die Informationsgewinnung aus Texten sowie der Einsatz in Retrieval-Augmented Generation (RAG)-Systemen.[12]
Durch die Offenheit des Modells können Unternehmen und Forschungseinrichtungen eigene Anpassungen und Feinabstimmungen vornehmen. Dies ermöglicht es, sensible Daten innerhalb der eigenen Infrastruktur zu verarbeiten, was besonders für Anwendungen mit hohen Datenschutzanforderungen relevant ist.[3]