en de
login download

Architektur

ELT Desktop bietet Ihnen die Möglichkeit Daten innerhalb der Datenbank zu transformieren. Ja, es gibt bereits einige ETL-Tools auf dem Markt, die sich auf Datentransformation spezialisiert haben und Sie fragen sich wahrscheinlich: Was ist der Unterschied? Der große Unterschied zu den meisten Tools liegt im Grundkonzept: Wir transformieren innerhalb der Datenbank.

ELT vs. ETL

In beiden Abkürzungen haben die Buchstaben "E", "L" und "T" die gleiche Bedeutung: "Extraktion", "Laden" und "Transformation". Was ist also der Unterschied der beiden Konzepte? Der Unterschied besteht in der Reihenfolge der Tätigkeiten "Laden" und "Transformieren". Vereinfacht gesagt führen ETL-Tools die Datentransformation in einem Filesystem durch und laden die Daten danach in die Datenbank. Ein ELT-Tool hingegen lädt die Rohdaten zunächst in die Datenbank und verwendet die dort vorhandene Performance um die Daten zu verarbeiten. Dieser kleine Unterschied hat eine große Wirkung.

Es ist offensichtlich, dass ELT Desktop dem ELT-Konzept folgt. Da die Verarbeitung innerhalb der Datenbank erfolgt, wird keine eigene Transformations-Plattform mit viel Prozessorleistung, Plattenspeicher, Hauptspeicher, etc. benötigt. Stattdessen übergeben wir die rechenintensiven Aufgaben dem Kraftpaket, das sich bereits in Ihrem Unternehmen befindet, nämlich der Datenbank!

In ELT Desktop definieren Sie über eine grafische Benutzeroberfläche was zu tun ist. Sie erstellen Jobs in einer SQL-ähnlichen Syntax, setzen diese in einem Job Diagram zu einem Arbeitsablauf zusammen (mit Schleifen, Abhängigkeiten, etc.) und ELT Desktop generiert daraus validen SQL-Code, der an die Datenbank gesendet wird. Dieses Vorgehen bietet Ihnen folgende Vorteile:

  • volle Kontrolle über die SQLs, die an die Datenbank gesendet werden
  • es wird kein performanter ETL-Server benötigt, ELT Desktop könnte sogar auf einem Notebook laufen
  • die Metadaten liegen nicht in einem proprietären Format vor, sondern werden direkt aus dem SQL extrahiert (das SQL wird geparst)
  • Daten werden nicht unnötigerweise zwischen verschiedenen Servern hin und her geschoben
  • es steht die volle Performance der Datenbank für Transformationen zur Verfügung

 

 

Um mehr über die Features und Funktionen von ELT Desktop zu erfahren, klicken Sie hier.

Wenn Sie hier weiterlesen, bekommen Sie zusätzliche Informationen über die Vorteile von ELT Desktop im Vergleich zu typischen ETL-Tools.

Wo das ETL-Konzept Sinn macht...

ETL-Tools haben für gewöhnlich ihre eigene Transformations-Plattform auf einem System, das von der Datenbank getrennt ist. Um ihre Arbeit zu verrichten, müssen ETL-Tools also die Daten aus einer Quelle (Datenbank oder Dateien) importieren, die Transformationen durchführen und die Ergebnisse zurück in eine Datenbank schreiben. Dieser Ansatz ist sinnvoll, solange viele verteilte Datenbanken in Ihrer DWH-Landschaft vorhanden sind und kein integriertes DWH existiert.

In einem solchen Szenario müssen Daten sowieso von einem Server zum anderen transportiert werden und es kann durchaus sinnvoll sein die Transformationen in diesem Schritt durchzuführen.

...und wo ETL eher schlecht aussieht!

Doch was passiert wenn man Daten transformieren muss, die sich bereits in Ihrem Data Warehouse befinden? In diesem Fall müssen die ETL-Tools genauso vorgehen wie zuvor beschrieben: Die Daten werden aus dem DWH exportiert, dann transformiert und danach wieder geladen. Schauen wir uns doch an was passiert:

 

 

Wenn man nun bedenkt, dass die Extraktion und das Laden nicht die Stärke der meisten relationalen Datenbanken ist, wird offensichtlich, dass viel Zeit damit verschwendet wird, die Daten zwischen den Servern zu transportieren. Häufig ist es sogar so, dass mehr Zeit für das Laden und Entladen der Daten, als für die eigentliche Verarbeitung, benötigt wird.

Push-Down Optimierung

Natürlich haben die ETL-Anbieter dieses Problem erkannt. Darum wird von vielen eine Funktion namens "Push-Down" angeboten. Die Push-Down-Funktion soll ermöglichen, dass die vorhandene ETL-Logik (die auf der ETL-Plattform ausgeführt wird) automatisch in SQL-Abfragen konvertiert wird um die Verarbeitungen direkt auf der Datenbank durchzuführen. Diese Idee klingt sehr gut, aber praktische Erfahrungen zeigen: Es funktioniert nicht richtig!

  • Einige Funktionen, die von den proprietären ETL-Plattformen angeboten werden, lassen sich nicht automatisch in SQL konvertieren. Es sind manuelle Eingriffe nötig.
  • Das generierte SQL ist schlecht, weil auf Besonderheiten der Datenbank (Indizes, Statistiken, Schlüssel, etc.) nicht eingegangen wird. Dies führt zu schlechter Performance.

Es ist natürlich möglich das generierte SQL manuell anzupassen oder fehlende Funktionen durch eigene SQL-Skripte hinzuzufügen. Sobald man jedoch manuell eingreift, verliert man all diejenigen Funktionen, die ursprünglich der Grund dafür waren, sich ein ETL-Tool anzuschaffen: automatische Dokumentation, data lineage, konsistente Metadaten, einfache Wartung, etc. Die einheitliche Plattform existiert nicht mehr, weil die ETL-Tools die manuellen Anpassungen nicht interpretieren können, sondern einfach nur ausführen.

 

 

 

ELT Desktop als Lösung

ELT Desktop die beste Lösung für datenbankinterne Transformationen. Unser Tool bringt alle Vorteile zusammen:

  • maximale Performance durch Nutzung der Datenbankressourcen
  • Impact Analyse des SQL Codes (SQL wird geparst und verstanden)
  • niedrige Kosten, weil keine dedizierten ETL-Server benötigt werden