Die Datenflut unter Kontrolle:
Wie komplexe Big-Data-Projekte gelingen
Fast alle Unternehmen verfügen heute über einen Datenschatz, der wertvolle Erkenntnisse in sich birgt, wie betriebliche Abläufe optimiert, operative Prozesse besser gesteuert und fundierte Entscheidungsgrundlagen geschaffen werden können, um den Kundenservice weiter zu verbessern. Unter welchen technischen Voraussetzungen lassen sich diese kostbaren Ressourcen profitabel verwalten? Welche Strategie ist anzuwenden, um erhobene Daten wertschöpfend zu analysieren? Hier ist das Know-how entscheidend. Die Erfolgsgeschichte der Zusammenarbeit zwischen den Firmen Trafo2 und KAMP erzählt ein mögliches Lösungsszenario.
Big-Data-Projekte sind komplex. Unternehmen, die bestrebt sind, das volle Potenzial einer Datenanalyse auszuschöpfen, müssen sich darüber im Klaren sein, dass große Serververbände Unmengen an Daten generieren. Dazu gehören beispielsweise Maschinendaten genauso wie Netzwerkprotokolldateien oder Daten aus Internetsuchen. Die Datenflut zu beherrschen setzt also ein hohes Maß an Know-how voraus. Doch damit nicht genug: Big-Data-Analysen erfordern ein geeignetes Tool, das den aufwendigen Prozess der Erfassung, Aufbereitung und der Visualisierung der Ergebnisse bewältigen kann. Hier ist das Angebotsspektrum groß, die Lösungsszenarien oft ebenso vielfältig wie undurchsichtig. Die Firma Trafo2 GmbH ist auf Big-Data-Projekte spezialisiert, verfügt über einen jahrelangen Erfahrungsschatz sowie fundiertes Wissen auf dem Gebiet. Als Internet-Systemhaus mit Sitz in Essen legt Trafo2 seinen Schwerpunkt auf Internetprojekte im B2B-Bereich und Web-Applikationen und betreut deutschlandweit Unternehmen sowohl aus dem Mittelstand als auch aus Konzernen und Verbänden. Zu den namhaften Kunden zählen zum Beispiel die RAG Aktiengesellschaft, NEW AG oder KGAL GmbH & Co.KG. Trafo2 sieht sich als Teil des neuen Ruhrgebietes und des Strukturwandels in der Region. Dabei setzt die Firma bei ihren Dienstleistungen stets auf Lösungen, die individuell auf die jeweiligen Kunden zugeschnitten sind.
Trafo2 GmbH
- Standort: Deutschland, Essen
- Gründung: 2000
- Profil: IT-Dienstleister mit erfahrenen Software-Architekten, Software-Entwicklern, TYPO3-Integratoren, IT-Beratern und Projektmanagern deutschlandweit
- Branche: B2B-Internetdienstleistungen
- Besonderheit: Komplexe Internetprojekte, Web-Applikationen und Datenbanken für Unternehmen aus dem B2B-Umfeld
- Website: www.trafo2.de
Big Data mit dem Elastic Stack
Zur Big-Data-Analyse nutzt Trafo2 ein Tool der Firma Elastic. Basierend auf Apache Lucene, einer Suchmaschine für Java, vereint die Software eine leistungsfähige Suchmaschine (Elasticsearch), ein Tool zum Verarbeiten von Protokollen (Logstash), eins zum Visualisieren der Auswertungen (Kibana) sowie eine Familie von Protokollversendern (Beats). Logstash erhält die Daten aus den Logdateien oder anderen Datenquellen, reichert diese gegebenenfalls mit weiteren Daten an und legt sie in einem Elasticsearch-Index ab. Bei den Datenquellen kann es sich um Datenbanken, Sensoren, APIs oder Ähnlichem handeln. Beats leiten Logs und Dateien unkompliziert weiter. Kibana schließlich ist das Visualisierungstool, das aus den erhaltenen Daten und abgefragten Informationen grafische Darstellungen erzeugt. Solche Auswertungen können zum Beispiel als Kuchen-, Linien- sowie Balkendiagramme, Tabellen oder Metriken angezeigt werden. Die Kooperation zwischen Elasticsearch, Logstash, Beats und Kibana bildet zusammen den sogenannten Elastic Stack, also eine effiziente Plattform für die Verarbeitung, Speicherung, Auswertung und Visualisierung von zeit- und eventbasierten Daten. Die praktische Funktionsweise und das vielfältige Potenzial, welches das Tool unter fachkundiger Verwendung entfaltet, veranschaulicht Daniel Jarusch, Geschäftsführer der Trafo2, anhand eines Anwendungsfalls.
Gewinnbringende Datenanalyse in der Praxis
Über das Nutzungsverhalten der Websitebesucher einer Wohnungsbaugesellschaft werden unterschiedliche Arten von anonymisierten Daten erhoben. Dazu gehören beispielsweise statistische Daten, aus denen sich erschließt, in welchem Radius eine Wohnungssuche in der Regel stattfindet, in welchen Städten die meisten Wohnungen gesucht werden, welche Stadtteile am beliebtesten sind oder wie viele Anfragen aus dem Ausland kommen. Weitere mögliche aufschlussreiche Merkmale ergeben sich durch die Erhebung der Daten über die gefragtesten Wohnungstypen, die bevorzugten Ausstattungsmerkmale oder die gewünschte Anzahl und Größe der Zimmer. Zusätzlich erhebt die Wohnungsbaugesellschaft unter anderem Daten über gemeldete Störungen in den vermieteten Wohnungen, erfolgte Schadensregulierungen oder die Qualität seiner Dienstleister. „Häufig haben Unternehmen das Problem, dass sie entweder nicht genug Daten haben, genug Daten haben aber nicht zusammenführen – oder es sind halt so viele, dass man nur einen Datenberg sieht“, erklärt Daniel Jarusch. „Mit der von uns eingesetzten Software erhält man eine Vogelperspektive und kann sich über ein Einfallstor die relevanten Aspekte rauspicken, ohne von der Menge erschlagen zu werden.“Dies geschieht durch die Korrelation der unterschiedlichen Daten miteinander. Beispielsweise könnte eine Wohnungsbaugesellschaft jetzt ausgewählte Stadtteile mit dem Aufwand für Schadensregulierungen und Kosten für externe Dienstleister in diesem Gebiet über einen selbst gewählten Zeitraum miteinander in Zusammenhang stellen – und erhält in Sekundenschnelle Aufschluss darüber, ob sich Investitionen in dieser Region unter diesen Aspekten lohnen. Eine weitere Möglichkeit: Die Anzahl der Fotos in Anzeigen in Verbindung mit anschließenden Vertragsabschlüssen kann Klarheit über die optimale Anzahl der Bilder in einer Wohnungsanzeige schaffen. „Durch die Möglichkeit, die Daten beliebig zu korrelieren, ergeben sich oftmals Ergebnisse auf Fragen, von denen man nicht einmal wusste, dass sie sich überhaupt stellen. Entsprechend sind die Antworten darauf sehr aufschlussreich“, so Michael Schiller, ebenfalls Geschäftsführer bei Trafo2. Meist dauert es nur wenige Sekunden, bis die Software Millionen von Einzelwerten im Index durchforscht und verwertbare Metriken preisgibt. Dank der flexiblen Suchalgorithmen sowie einer prompten und anschaulichen Auswertung der Daten mit Kibana erspart der Einsatz des Elastic Stacks viel wertvolle Arbeitszeit und ermöglicht eine fundierte Entscheidungsfindung in Unternehmen. Eine weitere wichtige Funktion, über die der Elastic Stack verfügt und von der Unternehmen maßgeblich profitieren, ist die Infrastruktur-Überwachung. Fehleranalysen in großen Mengen an Logdateien sind normalerweise zeitraubend und anspruchsvoll. Die Monitoring-Features des Elastic Stacks ermöglichen es, Logfiles zahlreicher Server detailliert und in Echtzeit zu überwachen. Somit werden mögliche Anomalien im Logaufkommen, die normalerweise mit Cyberangriffen einhergehen, rechtzeitig erkannt und abgewehrt. „Bei einem angegriffenen Server können Unmengen an Log-Einträgen innerhalb weniger Sekunden generiert werden“, so Jarusch. Dabei kann das System bei Unregelmäßigkeiten im Logaufkommen visuell und akustisch Alarm schlagen. Dank der Geschwindigkeit, mit der Elasticsearch sicherheitsrelevante Informationen indexiert und durchsucht, können Bedrohungen rechtzeitig entdeckt werden, die andernfalls vielleicht unbemerkt bleiben würden.
Die zuverlässige und flexible IT-Basis: KAMP DHP Enterprise
Dass eine Anwendung, die derart große Datenaufkommen in Sekundenschnelle sichtet und sortiert, eine ebenso leistungsstarke und flexible IT-Infrastruktur erfordert, ist naheliegend. Um den Elastic Stack gewinnbringend einzusetzen, setzt Trafo2 bei seiner vServer-Infrastruktur auf das virtuelle DataCenter seines Partner-Rechenzentrums KAMP. Trafo2 führt damit eine langjährige Partnerschaft fort. Seit einiger Zeit hat Trafo2 seine Systeme in DHP Enterprise, das größte der fünf Leistungspakete der dynamischen IaaS-Plattform von KAMP, migriert. Mit DHP (Dynamic Hardware Pool) bietet KAMP ein komplettes virtuelles DataCenter, welches online mit wenigen Klicks an die eigenen Bedürfnisse angepasst werden kann. Vom eco Verband als bestes Hosting-Produkt 2018 ausgezeichnet, stellt die innovative IaaS-Lösung von KAMP eine optimale IT-Plattform für Kunden mit hohem Verfügbarkeitsanspruch bereit. Die von Trafo2 verwendete DHP Enterprise-Variante wurde eigens für die Realisierung großer IT-Projekte konzipiert. Enthalten sind hier zusätzliche Netzwerkfeatures wie VLAN-Funktionalitäten oder die konfigurierbare IPv4/IPv6-Netzverwaltung.
Der Ressourcenumfang von 24 vCPUs, 48 GB RAM, 1 TB Storage und 100 GB Traffic pro Tag mit einer Bandbreite von 1 Gbit/s bilden eine leistungsstarke Ressourcenbasis, die Trafo2 für seine Kunden jederzeit schnell und bedarfsgerecht erweitern oder reduzieren kann. KAMP DHP Enterprise stellt drei Storage-Performance-Klassen bereit, die von Nutzern nicht nur in 50 GB-Schritten, sondern auch kostengünstig in 1 TB-Schritten gebucht und eingeteilt werden können. Für leistungsintensive Workloads bietet ein Burstbereich kurzfristig zusätzliche Performance. Redundanz sowie Sicherheit durch inkludierte Service Level Agreements runden das KAMP DHP Enterprisepaket ab. „Mit seinen ausgesprochen flexiblen Erweiterungsoptionen wird das DHP Enterprisepaket auch sehr leistungshungrigen Applikationen und Datenbanken gerecht“, so KAMP Geschäftsführer Michael Lante. „Die Bandbreite der inkludierten Leistungen, verbunden mit der Einhaltung höchster internationaler Standards für IT-Sicherheit, zeichnen KAMP DHP aus.“ Gehostet wird KAMP DHP ISO 27018-konform im ISO 27001 und ISO 9001-zertifizierten Rechenzentrum in Oberhausen. Trafo2 hat in KAMP einen zuverlässigen Technologiepartner gefunden, der das Know-how des Systemhauses optimal ergänzt. Die erstklassige Qualität der von KAMP und Trafo2 angebotenen Dienstleistungen ergibt sich durch die Konzentration der jeweiligen Unternehmen auf ihre Kernkompetenzen. Dabei sind die angebotenen Konzepte wie Zahnräder eines Uhrwerks aufeinander abgestimmt und greifen reibungslos ineinander. KAMP stellt für eine Vielzahl an Anwendungsfeldern und IT-Projekten ein solides IT-Fundament zur Verfügung. Mit einem sicheren und mehrfach zertifizierten Rechenzentrum als Basis, bietet KAMP vom eigenen Serverraum bis hin zur datenschutzkonformen und leistungsstarken Cloud-Plattform vielfältige Möglichkeiten, auch komplexe IT-Vorhaben in einer hochverfügbaren Umgebung zu realisieren und zu betreiben. Das Ergebnis sind bedarfsgerechte und auf den Kunden individuell abgestimmte IT-Lösungen.
Mit seinen ausgesprochen flexiblen Erweiterungsoptionen wird das DHP Enterprisepaket auch sehr leistungshungrigen Applikationen und Datenbanken gerecht.
Case Study als PDF herunterladen
Einfach und unkompliziert die gesamte Case Study als PDF herunterladen und komfortabel jederzeit offline lesen.
Hintergrund: Big-Data-Analyse – Chance oder Risiko?
"Big Data“ ist der Trendbegriff unserer Zeit. Das Generieren, Erfassen und Analysieren von sehr großen Datenmengen ist längst ein wesentlicher Bestandteil des digitalen Alltags geworden. Gleichwohl steht diese Praxis datenschutzrechtlich vielfach in der Kritik. Was steckt dahinter? Wir beleuchten wesentliche Aspekte des komplexen Themas.
Shutterstock.com
Wenn von „Big Data“ gesprochen wird, ist meist die Analyse riesiger Datenmengen gemeint, mit dem Ziel, diese wirtschaftlich zu nutzen. Im Alltag profitieren viele Menschen in vielen Lebensbereichen, häufig unbewusst, von dem Erfassen und Verarbeiten von Daten. So werden mit Hilfe von Datenanalysen beispielsweise Verkehrsstaus prognostiziert, Polizeibehörden bei der Verbrechensprävention unterstützt und Krankheiten besser diagnostiziert und therapiert. Die Wissenschaft untersucht auf diese Weise den Klimawandel, die Entstehung von Erdbeben oder Entwicklungen in der Bevölkerung. Auch bei der Abwehr von Cyberattacken und der Entdeckung von Malware-Aktivitäten kommt Big Data eine erhebliche Bedeutung zu. Enthusiastisch werden Daten daher häufig als „Rohstoff der Zukunft“ bezeichnet. Auf der anderen Seite stellt die Anhäufung von Daten, insbesondere von personenbezogenen Daten, eine Herausforderung für den Datenschutz und die Persönlichkeitsrechte dar. In der Öffentlichkeit wird das Thema „Big Data“ kontrovers diskutiert und ist hierzulande vornehmlich negativ besetzt. Als Konsequenz fürchten viele Unternehmen in Deutschland, dass die Nutzung von Big Data dem eigenen Ruf schaden könnte. Grund genug, genau hinzusehen – und zu differenzieren.
Die Chancen
Wir alle produzieren täglich eine Vielzahl von Daten. Die Nutzung von immer mehr internetfähigen mobilen Geräten, die Vernetzung von diversen Maschinen, die Nutzung von Social Media Plattformen oder die Digitalisierung von Unternehmensabläufen generieren eine Flut an immer größer und komplexer werdenden Datenmengen. Hierzu zählen beispielsweise Daten zum Online-Suchverhalten, Bewegungsdaten, Daten zum Kaufverhalten, Produktions- oder Transportdaten. Aus unterschiedlichsten Quellen werden die Daten dabei zunächst unstrukturiert erfasst, um dann unter Einsatz von spezieller Software in völlig neue Zusammenhänge und Kombinationen gebracht zu werden. Aus diesen Korrelationen ergeben sich Erkenntnisse, die für Unternehmen neue Perspektiven und Marktpotenziale eröffnen. So können beispielsweise Informationen über das Verhalten von Besuchern auf einer Website dafür genutzt werden, Kunden besser zu verstehen und die Angebote entsprechend anzupassen. Ein weiteres Beispiel: Die Auswertung von Kundendaten in Verbindung mit Preisverläufen, Lieferzeiten und -engpässen gibt Aufschluss über die perfekte Strategie bei der zeitlichen Planung des Einkaufs. Der Schlüssel zum Erfolg ist demnach nicht das Erfassen der Daten selbst, sondern die Art und Weise, wie diese miteinander in Verbindung gebracht werden. Das volle Potenzial von Big Data entfaltet sich folglich in Kombination mit leistungsfähigen Analyse-Tools. Kommt ein solches Tool zum Einsatz, können Entscheidungen, die auf Grundlage der erhaltenen Ergebnisse getroffen werden, dazu führen, dass Unternehmen sich strategisch besser auf dem Markt ausrichten können und von Wettbewerbsvorteilen wie besserem Kundenservice, höherer Produktqualität sowie effizienteren Logistik- oder Produktionsprozessen profitieren.
Die Risiken
Den Preis dafür zahlen Nutzer mit ihren Daten. Aus diesem Grund stehen diesen wirtschaftlichen Interessen immer Datenschutzbestimmungen, Gesetze und Bedenken entgegen. Denn regelmäßig sind bei Datenanalysen auch personenbezogene Daten enthalten mit denen, ohne Einverständnis der jeweiligen Nutzer, präzise Anwenderprofile erstellt werden können. Durch diese wachsenden Möglichkeiten in die Privatsphäre einzugreifen, wächst gleichzeitig die Gefahr der missbräuchlichen oder gar kriminellen Nutzung der persönlichen Daten. Bekannt gewordene Datenschutzskandale, die auf einer unautorisierten Weitergabe von personenbezogenen Daten an Dritte beruhten, haben einen erheblichen Vertrauensverlust zur Folge. Zumal nicht nur wirtschaftliche Vorteile, sondern auch politische, ideologische oder interessensgeleitete Schlussfolgerungen auf Basis von Datenanalysen gezogen werden können. Das wohl bekannteste Beispiel liefert hier das Datenanalyse-Unternehmen Cambridge Analytica, das bis zu 87 Millionen Nutzerdaten des Social Media-Dienstes Facebook dazu genutzt haben soll, den US-Wahlkampf zu beeinflussen. Als besorgniserregend stufen Kritiker daher vor allem die Daten-Monopolstellung einiger Big Player wie Google, Facebook oder Amazon ein, die auf sehr große Datenbestände zurückgreifen und die Gefahr eines groß angelegten Datenmissbrauchs erheblich steigern. Neben rechtlichen und datenschutzrechtlichen Bedenken ergeben sich somit auch ethische Vorbehalte gegen die groß angelegte Datenanalyse.
Datensicherheit im Fokus
Dem Nutzen und der großen Bandbreite der Anwendungsmöglichkeiten von Datenanalysen stehen also die Einhaltung allgemeingültiger gesellschaftlicher Normen, Werten und Gesetzen entgegen. Diese Diskrepanz wird am Beispiel der Stauprognose ganz deutlich: Der bei Autofahrern sehr beliebte Online-Kartendienst Google Maps liefert Echtzeit-Verkehrsinformationen, die nicht nur eine Routenplanung erheblich erleichtern, sondern in der Folge auch zu flüssigerem Verkehr und besserer Stadtluft beitragen können. Gleichzeitig werden mit Hilfe von Ortungsdaten Bewegungsprofile erstellt, die, in Verbindung mit weiteren Parametern, häufig empfindlich viel über die Privatsphäre der Nutzer preisgeben können. Inwiefern sich anhand der, laut Anbieterangaben ausschließlich anonymisiert verarbeiteten Daten, Rückschlüsse auf die einzelnen Nutzer ziehen lassen, ist umstritten. Der Grundsatz der Anonymisierung oder Reduzierung des Personenbezugs durch Pseudonyme bei der Datenauswertung ist jedoch nach Maßgaben der EU-DSGVO (EU-Datenschutz-Grundverordnung) eine wesentliche Grundvoraussetzung für die Verarbeitung von Daten. Die rechtlichen Vorgaben der Verordnung gelten für alle in der EU ansässigen Unternehmen. Bei allen wirtschaftlichen und gesellschaftlichen Vorteilen, die eine fachkundige Auswertung von Nutzerdaten mit sich bringt, gilt es auch zu berücksichtigen, dass der Nachweis der Datenschutzkonformität und das Kundenvertrauen in die Datensicherheit ebenfalls entscheidende Wettbewerbsfaktoren sind.
Fazit
Der Umgang mit Big Data ist sowohl in der Gesellschaft als auch in der Wirtschaft noch mit vielen Unsicherheiten verbunden. Die fortschreitende Digitalisierung und konsequente Implementierung von Big-Data-Lösungen ist ein unaufhaltsamer Prozess des technischen Fortschritts. Ob bei der Stauprognose, im Gesundheitswesen, beim Klimaschutz, der Armutsbekämpfung oder bei der Erforschung des Kaufverhaltens – es gibt zahlreiche sinnvolle Anwendungsmöglichkeiten, für die Big-Data-Analysen heute nutzbringend eingesetzt werden. Indessen ist diese Phase des Umbruchs noch nicht abgeschlossen und der Weg zu einem gesellschaftlichen Konsens nur unter sorgfältiger Abwägung der vorgestellten Chancen und Risiken möglich. Insbesondere müssen die Auswirkungen von Big Data auf den Datenschutz und die Privatsphäre beachtet werden und entsprechende Maßnahmen und Regelungen zum Schutz der personenbezogenen Daten global klar definiert und umgesetzt werden. Unternehmen, die Datenanalysen für sich nutzen wollen, können Vorbehalten mit Aufklärung bezüglich der Datenerhebung sowie der Schaffung entsprechender Kontrollstrukturen und einer nachvollziehbaren transparenten Datennutzung entgegenwirken. Unter diesen Voraussetzungen haben auch deutsche Unternehmen gute Chancen, von den Wettbewerbsvorteilen von Big Data zu profitieren.