Tokenisierung

In der Sprach-/Textverarbeitung bezeichnet Tokenisierung die Segmentierung eines Textes in Einheiten der Wortebene (manchmal auch Sätze, Absätze o. Ä.). Die Tokenisierung des Textes ist Voraussetzung für dessen Weiterverarbeitung, beispielsweise zur syntaktischen Analyse durch Parser, im Textmining oder Information Retrieval. In der Informatik bezeichnet der Begriff analog die Zerlegung eines in einer Programmiersprache verfassten Computerprogrammes in kleinste Einheiten, siehe Token (Übersetzerbau) und Tokenbasierte Kompression. Außerdem wird mit Tokenisierung im Finanzwesen auch der Trend zur Abschaffung des Trägermediums Papier-Urkunde durch digitale Daten bezeichnet.

Üblicherweise wird ein Text bei der Tokenisierung in seine Wörter zerlegt. Die White-Space-Tokenisierung ist die einfachste Form einer solchen Zerlegung. Der Text wird bei diesem Verfahren an den Leer- und Interpunktionszeichen aufgetrennt. Bei nicht-segmentisierenden Schriften wie der chinesischen oder japanischen kann es nicht angewandt werden, da in diesen keine Leerzeichen vorhanden sind.

Bei einem alternativen Tokenisierungsverfahren bilden Folgen von Buchstaben einen Token, ebenso alle Folgen von Ziffern. Alle anderen Zeichen bilden für sich genommen einen Token.

Beide Verfahren sind jedoch problematisch im Fall von Mehrwortlexemen, speziell Eigennamen, Währungsangaben usw. Für den Satz „Klaus-Rüdiger kauft in New York für $2,50 Fish’n’Chips.“ wäre aus linguistischer Sicht eine Segmentierung in folgende Tokenfolge adäquater:

 Klaus-Rüdiger
 kauft
 in
 New York
 für
 $2,50
 Fish’n’Chips

Tokenisierung bezeichnet in den Bereichen Zahlungsverkehr und Datensicherheit die Ersetzung sensibler Daten (z. B. Kreditkartennummern) durch nicht-sensible Platzhalter-Tokens, die nur innerhalb eines Systems wieder aufgelöst werden können.^[1]

Tokenisierung ist in der Finanzwirtschaft und im Wertpapierrecht der Trend, Finanzprodukte als Kryptowerte zu digitalisieren und auf einer Blockchain als dezentral gespeicherte Vermögenswerte abzubilden.^[2] Der Trend führt weg von der klassischen Papierform eines Trägermediums hin zu digitalen Daten. Beispiele sind die Verwendung von Buchgeld anstatt Bargeld, die Einführung von Kryptowährungen oder die Einführung von elektronischen Wertpapieren anstelle von Wertpapierurkunden. Bei allen wird die Papierform als Trägermedium für Finanzinstrumente abgelöst (tokenisiert) durch digitale Formen.^[3] Das Gesetz über elektronische Wertpapiere (eWpG) vom Juni 2021 ermöglicht den Wertpapierhandel mit völlig urkundenlosen Finanzinstrumenten, indem es deren Übergabe durch Eintragung im Wertpapierregister nach § 4 Abs. 4 eWpG ersetzt.^[4]

Von Hyun Song Shin, der für die Bank für Internationalen Zahlungsausgleich (BIZ) tätig ist, wurde 2022 eine Integration „tokenisierter Vermögenswerte“ (etwa Immobilienansprüche) innerhalb einer „Multi-CBDC-Platform“ (mCBDCs) präsentiert.^[5][6] Mit der Tokenisierung von Vermögenswerten befassen sich die BIZ und die Schweizer Nationalbank seit 2020 (Projekt Helvetia); mit der Tokenisierung von „grünen Wertpapieren“ („green bonds“, „carbon credits“), dem Projekt Genesis (2.0)^[7], befassen sich die BIZ sowie die Sonderverwaltungszone Hongkong.^[8]

• Kai-Uwe Carstensen, Christian Ebert, Cornelia Ebert, Susanne Jekat, Ralf Klabunde, Hagen Langer: Computerlinguistik und Sprachtechnologie. Eine Einführung. 3. Auflage. Spektrum Akademischer Verlag, Heidelberg 2010, ISBN 978-3-8274-2023-7, S. 264–271