Datenvorverarbeitung
From Wikipedia, the free encyclopedia
Datenvorverarbeitung (DVP) bezeichnet alle maschinellen Maßnahmen, mit denen Datenmengen in ein geeignetes Format gebracht werden, um sie weiterverarbeiten oder analysieren zu können. Aus unstrukturierten Datenmengen werden dabei geeignete Informationen gewonnen (zum Beispiel für das Training von KI-Modellen). Ziel ist es, die zu verarbeitenden Daten in eine strukturierte, konsistente und analysierbare Form zu bringen[1][2][3].
Dabei werden die Daten in maschinenlesbare Datensätze umgewandelt und Probleme wie fehlende Werte, Ausreißer und andere Fehler im System beseitigt. Die konkrete Art der Datenvorverarbeitung hängt stark vom konkreten Anwendungsfall an und welche Daten benötigt werden[4][5].
Art der Daten
Vorverarbeitet werden häufig bei der Datenanalyse oder beim Aufbau von Modellen verwendeten Daten, da genaue, aussagekräftige Ergebnisse gewünscht sind. Es wird also die Datenqualität erhöht[2][5].
Grundoperationen
- Bereinigung von Duplikaten, fehlenden/fehlerhaften Werten, Tippfehlern
- Zusammenführung von Daten aus verschiedenen Quellen (z. B. Anpassen von Zeitformaten oder Datentypen)
- Normalisierung oder Standardisierung von Werten
- Zerlegung von Attributen und Filterung der Datenwerte nach Relevanz[5][4]