Gastartikel - Peter Lipp, it-novum

Best Architecture Practices für Kettle und IoT

Bild: it-novum
Peter Lipp ist Sales Manager Österreich bei it-novum.
Bild: it-novum

Was müssen Verantwortliche von Pentaho Data Integration Projekten berücksichtigen, damit das Projekt nicht schief läuft? Und was ist bei der Verarbeitung und Analyse von IoT-Daten wichtig? Auf dem Pentaho User Meeting 2018 gab es die Antworten auf wichtige Fragen.

Eine Data Integration-Architektur sollte dann aufgebaut werden, wenn 

  • die Lösung sehr komplex wird,
  • die Entwicklerteams eine gewisse Größe erreicht haben,
  • bewusst Entscheidungen für bestimmte Lösungskomponenten getroffen werden, 
  • ein holistischer Blick auf Sicherheit, Qualität, Transparenz, Leistung erwünscht ist oder 
  • eine Validierung von High-Level-Anforderungen nötig ist.

Whiteboarding ist eine gute Methode, die mit den beteiligten Stakeholdern gemacht werden kann. Dadurch, dass sie versucht, Wissen von verschiedenen Parteien zu vereinen, ermöglicht sie den schnellen Aufbau eines High-level Designs. Man sollte sich aber darüber im Klaren sein, dass sie nur der Anfang ist.

Auch Skalierbarkeit sollte bei Datenintegrationsprojekten unbedingt beachtet werden, genauso wie Transparenz: Je stärker die Komplexität von Daten und Prozessen wächst, umso wichtiger wird Transparenz. Als Grundregel gilt: Man sollte stets die Daten nachverfolgen können, die sich zwischen den einzelnen Teilen einer Architektur bewegen. Im Zweifel sollte man lieber mehr Logging, Tracking und Tracing verwenden als zu wenig. Zudem ist es empfehlenswert, in der Architektur Komponenten zu verwenden, die ein Monitoring ermöglichen (z. B. Server einsetzen, die einem erlauben zu sehen, was gerade vor sich geht).

Best Practices für IoT

Für die Verarbeitung und Analyse von IoT-Daten sind die folgenden Tipps hilfreich:

Hadoop - Man sollte die Software innerhalb des Hadoop-Ökosystems auswählen, die am besten zu der jeweiligen Architektur passt. Dabei sollten nur wirklich unterstützte Komponenten zum Zug kommen. Durch ein durchgehendes Logging kann man Transparenzproblemen entgegenwirken. Das richtige Sizing bei der Architektur ist wichtig, denn die Balance muss stimmen. Hadoop sollte zudem nicht nur als Datenbank genutzt werden, sondern als skalierbarer Teil der Architektur.

"IoT is messy." - Wer IoT-Analyseanwendungen umsetzen will, muss sich darüber im Klaren sein, was das bedeutet: schwankende Datenqualität, Datenverbindungsprobleme, spät ankommende Daten, unregelmäßig ankommende Daten (geringe Vorhersagbarkeit), hohe Komplexität, unterschiedliche Datenformate und -versionen sowie eine stark variierende Anzahl von Geräten.

Um keine bösen Überraschungen zu erleben, sollten man schon im Voraus Pläne für Fehler und Ausfälle erstellen, moderne Technologien wie Metadata Injections nutzen, Queues so stark wie möglich in jeglicher Form einsetzen und immer damit rechnen, dass in jedem Szenario Dinge falsch laufen können.

Fazit:

  • Die Architektur muss der Kern des Ganzen sein, nicht nur Teil der Dokumentation.
  • Ein kritischer Blick ist essentiell.
  • Details sind ausschlaggebend.
  • Man sollte bereit sein, seine Vorstellungen jederzeit über den Haufen zu werfen.
  • Stakeholder müssen involviert werden.
  • Der Einsatz von Pentaho Data Integration sollte erwogen werden.

Die Tipps aus der Praxis stammen von Matt Casters, der mit Kettle den wichtigsten Teil der Pentaho-Plattform entwickelt hat und diese Best Practices beim diesjährigen Pentaho User Meeting präsentiert hat. Andere, dort präsentierte Inhalte finden Sie auf der Eventseite. Eine Zusammenfassung aller Vorträge und Präsentationen finden Sie in diesem Dokument.

Peter Lipp ist Sales Manager Österreich bei it-novum.

LCM: Geburtshelfer für innovative Ideen

Die klugen Köpfe der Linz Center of Mechatronics GmbH...

Weiterlesen

IT-Monitoring mit Open Source oder einer kommerziellen Lösung?

Kaum ein Unternehmen kann auf ein umfassendes IT-Monitoring...

Weiterlesen

IoT-Lösungen für Industrie 4.0

Das Unternehmen it-novum zeigt bei einer Roadshow in Graz,...

Weiterlesen

T3UXW18 – TYPO3 User eXperience Week

Die diesjährige TYOP3 User Experience Week (T3UXW) fand vom...

Weiterlesen

Überlegen, was Kunden interessiert

Ein Suchmaschinen-Treffer steht heute zumeist am Anfang...

Weiterlesen

Huawei und T-Mobile unterzeichnen IoT-Absichtserklärung

Im Rahmen des österreichischen Staatsbesuchs in China...

Weiterlesen

Keine Angst vor digitaler Transformation mit VDI

Virtual Desktop Infrastructure bzw. Desktop-Virtualisierung...

Weiterlesen

Vorsicht, Open-Source-Falle!

Die Euphorie rund um das 20-jährige Open-Source-Jubiläum ist...

Weiterlesen

Einkauf & Bezahlung im IoT

Die vernetzte Zukunft ist näher als je zuvor – dank des...

Weiterlesen

EU-DSGVO: Was ist noch machbar?

Die neue Datenschutz-Grundverordnung der EU steht...

Weiterlesen

25 interessante Red-Hat-Facts

Red Hat feiert in diesem Monat seinen 25. Geburtstag....

Weiterlesen

IoT Forum CE - "Innovate with IoT"

Unter dem Motto "Innovate with IoT" findet am 16. und 17....

Weiterlesen

"Das Lernen muss sich verändern"

"Wir sind gedanklich noch nicht an den Grenzen des Möglichen...

Weiterlesen

66 Prozent schützen Office-365-Umgebung nicht!

Barracuda hat kürzlich eine Umfrage unter seinen...

Weiterlesen

EU-Datenschutz-Grundverordnung: Die Zeit wird knapp

Die neue Datenschutz-Grundverordnung gilt ab 25. Mai 2018 in...

Weiterlesen

Offene Open-Source-Ansätze

IT-Entscheider stehen vor der Herausforderung, aus aktuellen...

Weiterlesen

Top-Trends im Industrial IoT für 2018

Martin Groicher von der ROI Management Consulting AG hat...

Weiterlesen

Fachkräftemangel in Sachen Cybersicherheit – Fünf Ansätze

Gerade im Bereich Cybersicherheitsanalytik und -betrieb...

Weiterlesen

Neue Einnahmequellen durch IoT

Bis zum Jahr 2025 werden voraussichtlich mehr als 100...

Weiterlesen

7 Dinge, die Entwickler über Container wissen sollten

Container sind eine noch junge Technologie, die sich immer...

Weiterlesen