Data Mesh
Dezentraler Architekturansatz für Datenmanagement, bei dem Fachbereiche ihre Daten eigenverantwortlich als Produkt bereitstellen und verwalten.
Data Mesh ist ein dezentraler Architekturansatz für das Datenmanagement in Unternehmen, der mit dem traditionellen Modell zentraler Data Warehouses und Data Lakes bricht. Statt alle Daten in einer zentralen Plattform zusammenzuführen, verwalten bei Data Mesh die einzelnen Fachbereiche ihre Daten eigenverantwortlich als sogenannte Datenprodukte.
Das Konzept basiert auf vier Kernprinzipien: Erstens die domänenorientierte Datenverantwortung – jeder Fachbereich kennt seine Daten am besten und ist für deren Qualität verantwortlich. Zweitens das Prinzip "Data as a Product" – Daten werden mit klaren Schnittstellen, Dokumentation und Qualitätsstandards bereitgestellt. Drittens eine Self-Service-Dateninfrastruktur, die Fachbereichen die nötigen Werkzeuge zur Verfügung stellt. Viertens föderierte Governance, die übergreifende Standards und Interoperabilität sicherstellt.
Data Mesh adressiert typische Probleme großer Organisationen: Engpässe beim zentralen Datenteam, mangelnde Datenqualität durch fehlende Fachkenntnis und langsame Bereitstellungszeiten. Besonders für KI-Projekte ist Data Mesh relevant, da qualitativ hochwertige, gut dokumentierte Daten die Grundlage für zuverlässige KI-Modelle bilden.
Verwandte Begriffe
Annotation
Im Kontext der künstlichen Intelligenz (KI) bezieht sich Annotation auf den Prozess, bei dem Daten…
Attention-Mechanismus
Technik, die einem neuronalen Netz erlaubt, sich bei der Verarbeitung auf die jeweils relevantesten…
Big Data
Mit Big Data werden Mengen von Daten bezeichnet, die zu groß, zu komplex, zu schnelllebig oder zu…
Common Crawl
Common Crawl ist eine gemeinnützige Initiative, die das Web durchforstet, um umfangreiche Archive…
Cosine Similarity
Mathematisches Maß für die Ähnlichkeit zweier Vektoren, Standardverfahren in semantischer Suche und…