Gastartikel - Peter Lipp, it-novum

Best Architecture Practices für Kettle und IoT

Bild: it-novum
Peter Lipp ist Sales Manager Österreich bei it-novum.
Bild: it-novum

Was müssen Verantwortliche von Pentaho Data Integration Projekten berücksichtigen, damit das Projekt nicht schief läuft? Und was ist bei der Verarbeitung und Analyse von IoT-Daten wichtig? Auf dem Pentaho User Meeting 2018 gab es die Antworten auf wichtige Fragen.

Eine Data Integration-Architektur sollte dann aufgebaut werden, wenn 

  • die Lösung sehr komplex wird,
  • die Entwicklerteams eine gewisse Größe erreicht haben,
  • bewusst Entscheidungen für bestimmte Lösungskomponenten getroffen werden, 
  • ein holistischer Blick auf Sicherheit, Qualität, Transparenz, Leistung erwünscht ist oder 
  • eine Validierung von High-Level-Anforderungen nötig ist.

Whiteboarding ist eine gute Methode, die mit den beteiligten Stakeholdern gemacht werden kann. Dadurch, dass sie versucht, Wissen von verschiedenen Parteien zu vereinen, ermöglicht sie den schnellen Aufbau eines High-level Designs. Man sollte sich aber darüber im Klaren sein, dass sie nur der Anfang ist.

Auch Skalierbarkeit sollte bei Datenintegrationsprojekten unbedingt beachtet werden, genauso wie Transparenz: Je stärker die Komplexität von Daten und Prozessen wächst, umso wichtiger wird Transparenz. Als Grundregel gilt: Man sollte stets die Daten nachverfolgen können, die sich zwischen den einzelnen Teilen einer Architektur bewegen. Im Zweifel sollte man lieber mehr Logging, Tracking und Tracing verwenden als zu wenig. Zudem ist es empfehlenswert, in der Architektur Komponenten zu verwenden, die ein Monitoring ermöglichen (z. B. Server einsetzen, die einem erlauben zu sehen, was gerade vor sich geht).

Best Practices für IoT

Für die Verarbeitung und Analyse von IoT-Daten sind die folgenden Tipps hilfreich:

Hadoop - Man sollte die Software innerhalb des Hadoop-Ökosystems auswählen, die am besten zu der jeweiligen Architektur passt. Dabei sollten nur wirklich unterstützte Komponenten zum Zug kommen. Durch ein durchgehendes Logging kann man Transparenzproblemen entgegenwirken. Das richtige Sizing bei der Architektur ist wichtig, denn die Balance muss stimmen. Hadoop sollte zudem nicht nur als Datenbank genutzt werden, sondern als skalierbarer Teil der Architektur.

"IoT is messy." - Wer IoT-Analyseanwendungen umsetzen will, muss sich darüber im Klaren sein, was das bedeutet: schwankende Datenqualität, Datenverbindungsprobleme, spät ankommende Daten, unregelmäßig ankommende Daten (geringe Vorhersagbarkeit), hohe Komplexität, unterschiedliche Datenformate und -versionen sowie eine stark variierende Anzahl von Geräten.

Um keine bösen Überraschungen zu erleben, sollten man schon im Voraus Pläne für Fehler und Ausfälle erstellen, moderne Technologien wie Metadata Injections nutzen, Queues so stark wie möglich in jeglicher Form einsetzen und immer damit rechnen, dass in jedem Szenario Dinge falsch laufen können.

Fazit:

  • Die Architektur muss der Kern des Ganzen sein, nicht nur Teil der Dokumentation.
  • Ein kritischer Blick ist essentiell.
  • Details sind ausschlaggebend.
  • Man sollte bereit sein, seine Vorstellungen jederzeit über den Haufen zu werfen.
  • Stakeholder müssen involviert werden.
  • Der Einsatz von Pentaho Data Integration sollte erwogen werden.

Die Tipps aus der Praxis stammen von Matt Casters, der mit Kettle den wichtigsten Teil der Pentaho-Plattform entwickelt hat und diese Best Practices beim diesjährigen Pentaho User Meeting präsentiert hat. Andere, dort präsentierte Inhalte finden Sie auf der Eventseite. Eine Zusammenfassung aller Vorträge und Präsentationen finden Sie in diesem Dokument.

Peter Lipp ist Sales Manager Österreich bei it-novum.

Neues IAM-Modell MIRA schont Ressourcen

Wachsen Unternehmen, verkompliziert sich die Verwaltung von...

Weiterlesen

Computer sollen Fake News erkennen

Die Universität Salzburg ist Partner in einem neuen...

Weiterlesen

Drohnendaten zur Monsunüberwachung

Wenn Wissen die Vision für die Zukunft ist, sind Daten und...

Weiterlesen

6 Schritte zur Automatisierung mit RPA

Im digitalen Zeitalter kämpfen immer noch viele Unternehmen...

Weiterlesen

Sieben IT-Risiken, an die niemand denkt

NTT Security, das auf Sicherheit spezialisierte Unternehmen...

Weiterlesen

Management von Hybrid- und Multi-Cloud: Hürden erfolgreich nehmen

Alle Daten in die Public Cloud auslagern? Das war vor gut...

Weiterlesen

So funktioniert erfolgreiche Führung

Im Leadership-Training von Austrian Standards vermittelt die...

Weiterlesen

Chatbots – Digitale Assistenten als Umsatztreiber

Chatbots verändern das Service-Management und Marketing im...

Weiterlesen

Die nächste Smart Home-Revolution findet in der Küche statt

Gadget oder Küchenmaschine: In Zukunft wollen wir beides.

Weiterlesen

Modernes Arbeiten - Quo vadis?

Modernes Arbeiten ist zum Schlagwort unserer Arbeitswelt...

Weiterlesen

IoT: Von Standards profitieren alle

Mehr als hundert Teilnehmer kamen ins Austrian Standards...

Weiterlesen

Max Schrems: "Fehlinterpretationen der DSGVO"

Die Datenschutzbehörde ist seit dem "Startschuss" für die...

Weiterlesen

Entwickler profitieren von der Cloud

Im Gegensatz zu den Ressourcen im eigenen Rechenzentrum,...

Weiterlesen

Community-Event für Datenanalyse und -integration

Vom 23. bis 25. November 2018 treffen sich Anwender der Big...

Weiterlesen

Standards braucht die smarte Stadt

Highlight: Die Stadterneuerungsexpertin Julia Girardi-Hoog...

Weiterlesen

Software AG: IoT Innovation Tour

Top Speaker wie Cumulocity-Gründer Bernd Groß beantworten am...

Weiterlesen

SEO Sommerfrische Woche 8 – Mobile Website und SEO

Mobile ist ein SEO-Thema, an dem man kaum vorbeikommt....

Weiterlesen