Datenarchitekturen

Die 70er: Hierarchische und Netzwerk-Datenbanken

In den 1970er-Jahren wurden Computersysteme hauptsächlich von Grossrechnern dominiert, die zentralisiert waren. Die Organisation der Daten erfolgte mithilfe von hierarchischen oder Netzwerk-Datenbankmodellen. Diese Modelle boten die Möglichkeit, Daten in einer Datenbank auf verschiedene Weisen anzuordnen – sei es in einer hierarchischen Struktur, die eine Beziehung von einem Element zum anderen darstellte, oder in einem Netzwerk, das viele Elemente miteinander verband. 

Die 80er: Das Client-Server-Modell

In den späten 1980er- und frühen 1990er-Jahren entstand mit dem Aufkommen des Client-Server-Modells ein neues Paradigma der Datenarchitektur. Dieses Modell bedeutete eine Abkehr von den zentralisierten Grossrechnersystemen hin zu einem verteilten System, bei dem die Verantwortlichkeiten zwischen Servern (Anbietern von Ressourcen oder Diensten) und Clients (Nutzern dieser Dienste) aufgeteilt wurden. Im Bereich der Datenbanken bedeutete dies, dass die Datenbanksoftware (DBMS) auf einem Server installiert sein konnte, während Benutzer oder Anwendungen von Client-Rechnern aus auf die Daten zugreifen konnten. Dieser Ansatz revolutionierte die Skalierbarkeit und Zugänglichkeit und vereinfachte die Verwaltung wachsender Datenmengen und einer zunehmenden Anzahl von Benutzern. 

Die 2010er: Cloud- und Data Lake-Architekturen

In den 2010er-Jahren setzte sich das Konzept des Cloud Computing als neues Paradigma durch, das skalierbare Ressourcen als Service über das Internet bereitstellt. Diese Entwicklung hatte bedeutende Auswirkungen auf die Datenarchitektur und führte zur Entstehung von Data Lakes: Wurde in herkömmlichen Data Warehouses der ETL-Prozess (Extrahieren, Transformieren, Laden) verwendet, um Daten aufzunehmen, setzen Data Lakes auf einen Extract-Load-Transform (ELT)-Prozess. Die Daten, die aus verschiedenen Quellen extrahiert werden, werden zuerst in einen kostengünstigen BLOB-Speicher geladen, dann transformiert und schliesslich in ein Data Warehouse übertragen, das teuren Blockspeicher verwendet.

Aus der Notwendigkeit heraus, grosse Datenmengen in Echtzeit zu verarbeiten, entstanden die Lambda- und die Kappa-Architekturmodelle. Die Lamda-Architektur verfolgt einen hybriden Ansatz, der sowohl die Batch- als auch die Stream-Verarbeitung nutzt, um genaue und aktuelle Erkenntnisse zu gewinnen. Alle eingehenden Daten werden erfasst und nur als Anhang gespeichert, wodurch ein unveränderter historischer Datensatz entsteht. Dabei wird die Architekturkomponente in drei Schichten unterteilt: Batch Layer, Speed Layer und Serving Layer. In der Kappa-Architektur werden alle Daten als unbegrenzter Strom von Ereignissen aufgenommen und verarbeitet. Die Architektur besteht aus drei Hauptkomponenten: der Stream Ingestion, der Stream-Verarbeitung und der dauerhaften Speicherung. 

Die 2020er: Data Fabric

Die Data Fabric repräsentiert die vierte Generation der Datenplattformarchitektur. Ihr Ziel ist es, Daten überall und jederzeit verfügbar zu machen. Eine Data Fabric besteht aus einem Netzwerk von Datenplattformen wie Data Warehouses, Data Lakes, IoT/Edge-Geräten und transaktionalen Datenbanken, die miteinander interagieren und über das Computing-Ökosystem des Unternehmens verteilt sind. Ein Knoten in der Fabric kann Rohdaten an einen anderen liefern, der dann Analysen durchführt. Diese Analysen können als REST-APIs innerhalb der Fabric bereitgestellt werden, sodass sie von Transaktionssystemen für Entscheidungsfindungen genutzt werden können. Datenbestände lassen sich in verschiedenen Kategorien veröffentlichen, was die Schaffung eines unternehmensweiten Datenmarktplatzes ermöglicht.