Wenn Excel scheitert

Close

Artikel

Wenn Excel scheitert

23.06.2017

Wie wir ein Daten-Ungeheuer mit Big Data Mitteln zähmten

Kaum ein Buzzword hat es sich in den letzten Jahren derart gemütlich gemacht wie Big Data. Es bestimmt nicht nur unseren Alltag, sondern hat auch in politischen Diskursen, Hollywood-Filmen und der Literatur Einzug gehalten. Vielleicht, weil Big Data in der Popkultur bevorzugt die Rolle des Bösewichts einnimmt, wird der Begriff mehr und mehr mit etwas Bedrohlichem konnotiert. Dabei beschreibt das Konstrukt Big Data zunächst nicht mehr als eine große Datenmenge, die zu umfangreich oder komplex ist, um sie mit herkömmlichen Methoden der Datenverarbeitung auszuwerten. Das Buzzword Big Data umfasst jedoch auch die Gesamtheit an Technologien, die zu ihrer Auswertung benutzt werden, sowie ihre Auswirkungen auf die digitale Gesellschaft. So oder so: Big Data ist gekommen, um zu bleiben.

Bei TALLENCE kommen wir vor allem dann mit der Praxis hinter der Worthülse in Kontakt, wenn Daten nahezu in Echtzeit flexibel ausgewertet werden müssen. Da wir nicht an die Tabellenstrukturen und Indexe klassischer Datenbanken gebunden sind, können die Daten dabei mit unterschiedlichen Formatierungen und Formaten leicht miteinander verknüpft werden.

Die Big Data Technologie haben wir uns unter anderem bei einem Großprojekt zu Nutzen gemacht. Unser Kunde vollzog eine bundesweitere Netzumschaltung, bei der im großen Stil Daten abfielen. Mehrere zehn Millionen Zeilen aus unterschiedlichsten Systemen mit jeweils eigenen Dateiformaten wurden bis dato händisch ins Tool Excel eingelesen und zu Fortschrittsberichte zusammengefasst.

 

In der Vergangenheit wurden die Daten von einem etwa drei Mann starken Team zunächst bearbeitet und in einer Oracle-Datenbank voraggregiert. Das Ergebnis wurde exportiert, in Excel importiert und dort weiterverarbeitet. Doch Excel erwies sich nicht als Paradelösung, da jedes Mal ein hoher Programmieraufwand nötig war, wenn sich Dateiformate änderten oder wenn neue Auswertungen abgefragt werden sollten. Die Komplexität der Daten führte außerdem dazu, dass Vorgänge oft doppelt gezählt oder gar nicht erfasst wurde, was die Aussagen über den Projektstand unzuverlässig machte. Ein hoher, kostenintensiver Aufwand stand also einem nur bedingt zufriedenstellenden Ergebnis gegenüber. Der Klassiker Excel stieß bei einer derart großen Datenmenge einfach an seine Grenzen.

Wir sind im Zuge eines anderen Projekts auf diese Problematik gestoßen und boten unserem Kunden proaktiv eine Lösung an: Ein Ansatz mit Big Data Technologien sollte dem ressourcenfressenden Daten-Chaos ein Ende setzen. Mit dem Tool Splunk als Grundlage, hat TALLENCE Reader-, Processor- und Writerkomponenten entwickelt, die diese speziellen Daten einlesen, verarbeiten und in eine verständliche Form umwandeln können.

In die von uns erstellte Software lesen wir kontinuierlich die anfallenden Daten ein. Unser Kunde hat die Möglichkeit, regelmäßige Reports zu erstellen. Das System macht es dabei unter anderem ganz leicht, ohne große Umstände Managementpräsentationen mit verständlichen Vosualisierungen zu erstellen. Die Software generiert so täglich automatisch diverse Management-Reports. Diese beinhalten:

  • Detaillierte Aussagen über den Projektfortschritt
  • Alarmierung bei Abweichungen vom geplanten Soll
  • Warnungen beim Auftreten von technischen und organisatorischen Problemen, die das System durch Analyse der Daten automatisch erkennt
  • Projektforecast auf Grundlage älterer Daten

Darüber hinaus ist das System voll flexibel und kann auf Nachfrage Reports erstellen, die zum Beispiel auf eine bestimmte Region beschränkt sind. Es ist außerdem möglich, Teil-Reports anzufordern, indem beispielsweise der Fortschritt einzelner Arbeitsschritte oder gewisse technische Eigenschaften der Umschaltung herausgefiltert werden. Wenn die Anforderungen geändert werden sollen, ist kein großer Anpassungsaufwand mehr nötig – eine neue Anfrage an das System genügt. Die Reports werden automatisch durch verschiedene Grafiken ergänzt, die die Ergebnisse übersichtlich darstellen.

Das Reporting-Tool unseres Kunden wurde dank Big-Data also nicht nur in sämtlichen Workflow-Schritten effizienter und ressourcenschonender, sondern auch wesentlich übersichtlicher und flexibler.

ProjektanfrageIch möchte mit TALLENCE über ein neues Projekt sprechen.Kontakt Wir freuen uns, Sie kennenzulernen.