Sprache und Semantik. Part-of-Speech-Tagging angewendet auf Web-Texte

Studienarbeit aus dem Jahr 2012 im Fachbereich Ingenieurwissenschaften - Wirtschaftsingenieurwesen Note: 10 Karlsruher Institut für Technologie (KIT) (Institut für Angewandte Informatik und Formale Beschreibungsverfahren (AIFB)) Veranstaltung: Seminar Sprache und Semantik: statistische und symbolische Verfahren Sprache: Deutsch Abstract: Viele Kinder lernen es wahrscheinlich schon in der Grundschule: Mit bunten Farben werden die verschiedenen Wortarten in einem Satz unterstrichen. Das klingt eigentlich ganz einfach doch für den Computer ist es nicht so leicht Texte zu lesen und zu verstehen wie für den Menschen. Es bedarf zunächst einer syntaktischen Analyse damit er wenigstens teilweise an diese Fähigkeit heranreicht und nach „Verstehen der Grammatik mit bestimmten Methoden auch Inhalte verstehen kann wie z.B. auch Inhalte aus dem Internet. Das Internet nimmt einen immer größeren Raum in unserer Gesellschaft ein. Alle möglichen wichtigen und unwichtigen Informationen sind dort öffentlich zugänglich. Um diese Informationen maschinell herauszulesen und zu filtern ist es oft ein grundlegender Vorverarbeitungsschritt in einem Satz zu jedem Wort die richtige Wortkategorie zuzuordnen was Part-of-Speech-Tagging (POS-Tagging) genannt wird. Mit den gewonnen Informationen aus den Annotationen können Maschinen leichter die Bedeutung eines Satzes erfassen oder in eine andere Sprache übersetzen. Automatisches Part-of-Speech Tagging ermöglicht genau diese Zuordnung maschinell. Häufig wird Part-of-Speech-Tagging als „solved task bezeichnet da die Exaktheit bis zu 98% beträgt. Allerdings muss man dabei berücksichtigen dass bei diesen hohen Treffgenauigkeiten ausschließlich Zeitungstexte oder in ähnlicher Sprache geschriebenen Texte betrachtet wurden die in der Regel formgerecht und fehlerfrei sind. Andere Textarten wie z.B. Texte in Umgangssprache erreichen deutlich geringere Genauigkeiten. Besonders im Internet finden sich viele unterschiedliche Textga