Tokenisierung bezeichnet in der Computerlinguistik die Segmentierung eines Textes in Einheiten der Wortebene (manchmal auch Sätze, Absätze o. Ä.). Die Tokenisierung des Textes ist Voraussetzung für dessen Weiterverarbeitung, beispielsweise zur syntaktischen Analyse durch Parser, im Textmining oder Information Retrieval. In der Informatik bezeichnet der Begriff analog die Zerlegung eines in einer Programmiersprache verfassten Computerprogrammes in kleinste Einheiten, siehe Token (Übersetzerbau) und Tokenbasierte Kompression. Außerdem wird mit Tokenisierung im Finanzwesen auch der Trend zur Abschaffung des Trägermediums Papier-Urkunde durch digitale Daten bezeichnet.
Probleme der Tokenisierung Bearbeiten
Üblicherweise wird ein Text bei der Tokenisierung in seine Wörter zerlegt. Die White-Space-Tokenisierung ist die einfachste Form einer solchen Zerlegung. Der Text wird bei diesem Verfahren an den Leer- und Interpunktionszeichen aufgetrennt. Bei nicht-segmentisierenden Schriften wie der chinesischen oder japanischen kann es nicht angewandt werden, da in diesen keine Leerzeichen vorhanden sind.
Bei einem alternativen Tokenisierungsverfahren bilden Folgen von Buchstaben einen Token, ebenso alle Folgen von Ziffern. Alle anderen Zeichen bilden für sich genommen einen Token.
Beide Verfahren sind jedoch problematisch im Fall von Mehrwortlexemen, speziell Eigennamen, Währungsangaben usw. Für den Satz Klaus-Rüdiger kauft in New York für $2.50 Fish'n'Chips. wäre aus linguistischer Sicht eine Segmentierung in folgende Tokenfolge adäquater:
Klaus-Rüdiger kauft in New York für $2.50 Fish'n'Chips
Finanzwesen Bearbeiten
Tokenisierung ist im Finanzwesen und im Wertpapierrecht der Trend, Finanzprodukte als Kryptowerte zu digitalisieren und auf einer Blockchain als dezentral gespeicherte Vermögenswerte abzubilden. Der Trend führt weg von der klassischen Papierform eines Trägermediums hin zu digitalen Daten. Beispiele sind die Verwendung von Buchgeld anstatt Bargeld, die Einführung von Kryptowährungen oder die Einführung von elektronischen Wertpapieren anstelle von Wertpapierurkunden. Bei allen wird die Papierform als Trägermedium für Finanzinstrumente abgelöst (tokenisiert) durch digitale Formen. Das Gesetz über elektronische Wertpapiere (eWpG) vom Juni 2021 ermöglicht den Wertpapierhandel mit völlig urkundenlosen Finanzinstrumenten, indem es deren Übergabe durch Eintragung im Wertpapierregister nach § 4 Abs. 4 eWpG ersetzt.
Literatur Bearbeiten
- Kai-Uwe Carstensen, Christian Ebert, Cornelia Ebert, Susanne Jekat, Ralf Klabunde, Hagen Langer: Computerlinguistik und Sprachtechnologie. Eine Einführung. 3. Auflage. Spektrum Akademischer Verlag, Heidelberg 2010, ISBN 9783827420237, S. 264–271
Einzelnachweise Bearbeiten
- BaFin vom 16. August 2019, Zweites Hinweisschreiben zu Prospekt- und Erlaubnispflichten im Zusammenhang mit der Ausgabe sogenannter Krypto-Token, Az.: GZ: WA 51-Wp 7100-2019/0011 und IF 1-AZB 1505-2019/0003, S. 1
- Adam Reining, Lexikon der Außenwirtschaft, 2003, S. 99
- BT-Drs. 19/26925 vom 24. Februar 2021, Entwurf eines Gesetzes zur Einführung von elektronischen Wertpapieren, S. 39