Das Ziel der Arbeit ist es, einen Überblick über die Bereiche Datenbanken, Data Warehouse, APIs, Datentransformation sowie Ausreißererkennung zu schaffen und deren Konzepte zu erläutern. Anschließend soll das erworbene Wissen auf einen Open Source Datensatz angewandt und mit Hilfe der Programmiersprache Python eine Ausreißererkennung durchgeführt werden.
In der Arbeit wird der Weg der Rohdaten aus einer Datenbank über die Datentransformation bis zur Ausreißererkennung erläutert, untersucht und an einem Datensatz angewandt. Als Erstes wird der Begriff der (Roh-)Daten nahegebracht und der Datensatz vorgestellt. Im darauf folgenden Kapitel wird das Konzept der Datenbanken, insbesondere des RDBMS, erläutert.
Anschließend wird der vorgestellte Datensatz in eine Datenbank eingespeist. Im Anschluss wird die Anbindung der Datenbank an ein Data Warehouse erläutert. Dieses Konzept wird vorgestellt und in der Praxis angewandt. In dem folgendem Kapitel wird auf das Data Warehouse zugegriffen. Nach dem Zugriff wird schließlich Ausreißererkennung mit Python durchgeführt.
Inhaltsverzeichnis
- Motivation und Zielsetzung.
- Motivation zur Bearbeitung der Projektarbeit.
- Schwerpunkte und Zielsetzung.......
- Untersuchung des Datensatzes..
- Begriff der Rohdaten .......
- Art der Datenverfügbarkeit...........
- Anwendungsbeispiel: Vorstellung der Rohdaten
- Transformation und Datenbanken
- Datenbanksysteme.
- Datenbanktypen.
- SQL Datenbanken
- Das Globale ER - Modell...
- Aufbau einer relationalen Datenbank.
- RDBMS und SQL.……...........
- Normalisierung.
- 1. Normalform.
- 2. Normalform
- 3. Normalform.
- Boyce Codd - Normalform.......
- Anwendungsbeispiel: Transformation der Rohdaten und Einspeisung in eine Datenbank ....
- Data Warehouse..
- Definition Data Warehouse
- DWH Architektur.
- ETL Prozesse.
- Erste Ebene Datenanbindung..
- Zweite Ebene - Datenverwaltung und -distribution
- Dritte Ebene Datenauswertung und -nutzung ...
- Datenschemata
- OLAP...
- Sternschema.....
- Schneeflockenschema...
- Anwendungsbeispiel: APIs und Einspeisen aus der Datenbank in das Data Warehouse.....
- APIS
- Laden der Daten in ein DWH
- Fazit
- Anwendungsbeispiel: Ausreißererkennung.
Zielsetzung und Themenschwerpunkte
Die vorliegende Arbeit befasst sich mit der Speicherung und Transformation von Rohdaten, beginnend mit ihrer Extraktion aus der Datenbank und endend mit der Anwendung von Ausreißererkennungstechniken. Ziel ist es, einen umfassenden Überblick über den gesamten Prozess der Datenverarbeitung zu geben und die dabei auftretenden Herausforderungen und Lösungsansätze zu beleuchten.
- Untersuchung von Rohdaten und deren Eigenschaften
- Datenbankkonzepte und deren Anwendung in der Praxis
- Data Warehouses als Plattform für die Datenanalyse
- Anwendungen von ETL-Prozessen zur Datenbereinigung und -transformation
- Ausreißererkennung als Werkzeug für die Datenqualitätssicherung
Zusammenfassung der Kapitel
- Das erste Kapitel der Arbeit beleuchtet die Motivation und Zielsetzung des Projekts. Es werden die relevanten Themengebiete eingeführt und die Forschungsziele definiert.
- Kapitel zwei widmet sich der Untersuchung des Datensatzes. Hier werden die Art und Verfügbarkeit der Rohdaten sowie ein Anwendungsbeispiel vorgestellt.
- Kapitel drei behandelt die Transformation von Rohdaten und deren Einspeisung in Datenbanken. Es werden verschiedene Datenbanktypen und -konzepte erläutert, darunter auch die Normalisierung von Daten.
- Kapitel vier fokussiert auf Data Warehouses als Plattform für die Datenanalyse. Es werden die Architektur, die ETL-Prozesse und verschiedene Datenschemata vorgestellt.
Schlüsselwörter
Rohdaten, Datenspeicherung, Datenbanksysteme, SQL, Normalisierung, Data Warehouse, ETL-Prozesse, Datenschemata, Ausreißererkennung
- Arbeit zitieren
- Georgy Khromov (Autor:in), 2022, Datenspeicherung und -transformation. Der Weg der Rohdaten von der Datenbank bis zur Ausreißererkennung, München, GRIN Verlag, https://www.hausarbeiten.de/document/1234529
