Gastartikel - Peter Lipp, it-novum

Best Architecture Practices für Kettle und IoT

Bild: it-novum
Peter Lipp ist Sales Manager Österreich bei it-novum.
Bild: it-novum

Was müssen Verantwortliche von Pentaho Data Integration Projekten berücksichtigen, damit das Projekt nicht schief läuft? Und was ist bei der Verarbeitung und Analyse von IoT-Daten wichtig? Auf dem Pentaho User Meeting 2018 gab es die Antworten auf wichtige Fragen.

Eine Data Integration-Architektur sollte dann aufgebaut werden, wenn 

  • die Lösung sehr komplex wird,
  • die Entwicklerteams eine gewisse Größe erreicht haben,
  • bewusst Entscheidungen für bestimmte Lösungskomponenten getroffen werden, 
  • ein holistischer Blick auf Sicherheit, Qualität, Transparenz, Leistung erwünscht ist oder 
  • eine Validierung von High-Level-Anforderungen nötig ist.

Whiteboarding ist eine gute Methode, die mit den beteiligten Stakeholdern gemacht werden kann. Dadurch, dass sie versucht, Wissen von verschiedenen Parteien zu vereinen, ermöglicht sie den schnellen Aufbau eines High-level Designs. Man sollte sich aber darüber im Klaren sein, dass sie nur der Anfang ist.

Auch Skalierbarkeit sollte bei Datenintegrationsprojekten unbedingt beachtet werden, genauso wie Transparenz: Je stärker die Komplexität von Daten und Prozessen wächst, umso wichtiger wird Transparenz. Als Grundregel gilt: Man sollte stets die Daten nachverfolgen können, die sich zwischen den einzelnen Teilen einer Architektur bewegen. Im Zweifel sollte man lieber mehr Logging, Tracking und Tracing verwenden als zu wenig. Zudem ist es empfehlenswert, in der Architektur Komponenten zu verwenden, die ein Monitoring ermöglichen (z. B. Server einsetzen, die einem erlauben zu sehen, was gerade vor sich geht).

Best Practices für IoT

Für die Verarbeitung und Analyse von IoT-Daten sind die folgenden Tipps hilfreich:

Hadoop - Man sollte die Software innerhalb des Hadoop-Ökosystems auswählen, die am besten zu der jeweiligen Architektur passt. Dabei sollten nur wirklich unterstützte Komponenten zum Zug kommen. Durch ein durchgehendes Logging kann man Transparenzproblemen entgegenwirken. Das richtige Sizing bei der Architektur ist wichtig, denn die Balance muss stimmen. Hadoop sollte zudem nicht nur als Datenbank genutzt werden, sondern als skalierbarer Teil der Architektur.

"IoT is messy." - Wer IoT-Analyseanwendungen umsetzen will, muss sich darüber im Klaren sein, was das bedeutet: schwankende Datenqualität, Datenverbindungsprobleme, spät ankommende Daten, unregelmäßig ankommende Daten (geringe Vorhersagbarkeit), hohe Komplexität, unterschiedliche Datenformate und -versionen sowie eine stark variierende Anzahl von Geräten.

Um keine bösen Überraschungen zu erleben, sollten man schon im Voraus Pläne für Fehler und Ausfälle erstellen, moderne Technologien wie Metadata Injections nutzen, Queues so stark wie möglich in jeglicher Form einsetzen und immer damit rechnen, dass in jedem Szenario Dinge falsch laufen können.

Fazit:

  • Die Architektur muss der Kern des Ganzen sein, nicht nur Teil der Dokumentation.
  • Ein kritischer Blick ist essentiell.
  • Details sind ausschlaggebend.
  • Man sollte bereit sein, seine Vorstellungen jederzeit über den Haufen zu werfen.
  • Stakeholder müssen involviert werden.
  • Der Einsatz von Pentaho Data Integration sollte erwogen werden.

Die Tipps aus der Praxis stammen von Matt Casters, der mit Kettle den wichtigsten Teil der Pentaho-Plattform entwickelt hat und diese Best Practices beim diesjährigen Pentaho User Meeting präsentiert hat. Andere, dort präsentierte Inhalte finden Sie auf der Eventseite. Eine Zusammenfassung aller Vorträge und Präsentationen finden Sie in diesem Dokument.

Peter Lipp ist Sales Manager Österreich bei it-novum.

SEO Sommerfrische Woche 6 – Seitengeschwindigkeit optimieren

Wer hat schon Zeit und Geduld, auf langsam ladende Seiten zu...

Weiterlesen

KI ist eine Chance für das IT Service Management

Herkömmliches ITSM genügt nicht, um die Herausforderungen,...

Weiterlesen

Wenn Firmengeräte auf Reisen gehen

Immer öfter landen auch Firmen-Handy oder -Laptop im...

Weiterlesen

SEO Sommerfrische Woche 5 – interne Links

Links sind ein wichtiger Rankingfaktor für Google. Wenn sie...

Weiterlesen

Digitalisierung ohne Open Source wäre nicht denkbar

"Wenn Sie sich die modernen Komponenten etwa im...

Weiterlesen

SEO Sommerfrische Woche 4 – Bilder auf SEO-Hochglanz optimieren

Bilder sind Blickfang und Informationsträger zur gleichen...

Weiterlesen

Sicherheits-Container für Datenschutz unterwegs

Führungskräfte und Mitarbeiter, die viel unterwegs sind,...

Weiterlesen

Wachsende IT-Komplexität: 6 Strategien für CIOs

Die Zukunft erschien nie komplexer. IT-Führungskräfte sollen...

Weiterlesen

SEO Sommerfrische Woche 3 – Content optimieren

Nach dem letzten Teil der SEO-Sommerfrische haben Sie sicher...

Weiterlesen

it-novum: Neuer Country Manager in Österreich

Johannes Michael Weiß hat mit Juli die Verantwortung für das...

Weiterlesen

SEO Sommerfrische Woche 2 – Care for your Keywords

Mit der "SEO Sommerfrische" bringen wir heuer praktische...

Weiterlesen

Die Wärme muss weg

Moderne datenzentrierte Geschäftsmodelle führen dazu, dass...

Weiterlesen

SEO Sommerfrische Woche 1 – Snippet optimieren

Mit der "SEO Sommerfrische" bringen wir heuer praktische...

Weiterlesen

Entscheidung für Windows 10: The Day After

Viele Unternehmen zögern noch, von Windows 7 oder 8/8.1 auf...

Weiterlesen

FH Burgenland bekommt Fab-Lab

Damit Studierende des Masterstudiengangs Cloud Computing...

Weiterlesen

Mit Funk und Cloud gegen Ratten

Seit jeher stellen Ratten ein Problem für Städte, Kommunen...

Weiterlesen

T-Mobile hat sein IoT-Netz fertig

Wer Digitalisierung sagt, muss auch IoT sagen. Und wer IoT...

Weiterlesen

Datensilos werden zum Problem

Ein schneller Zugriff auf konsistente Datenbestände ist für...

Weiterlesen

"Innovate with IoT" – vor der Technologie kommt der Kunde

Auf Österreichs größtem zweitägigen IoT und Industrie...

Weiterlesen