Im Zeitalter von C2X, Industrie 4.0 und IoT fallen enorme Mengen an Daten an. Bis 2020 soll sich laut der aktuellen, siebten Auflage der „EMC Digital Universe“-Studie von EMC und IDC die Menge aller produzierten Daten verzehnfachen.1 Um effizient verarbeitet werden zu können, müssen diese Massendaten zunächst hochverfügbar und sicher gespeichert werden.

Dies bedarf einem Paradigmenwechsel der Architektur von Datenhaltungssystemen in der Verkehrstelematik. Die Daten werden künftig nicht mehr zentral  gespeichert, sondern verteilt im System und direkt dort, wo die Daten anfallen.  Um im System  große Datentransfers zu  vermeiden, erfolgen Analyse und Bearbeitung der Daten ebenso am Ort der Persistenz.

Weitere Anforderungen sind eine parallele Verarbeitung  der Daten und eine Erweiterbarkeit des Systems im laufenden Betrieb.  Beim Traffic Data Archive von Hahn Projects wird die Open Source NoSQL-Datenbank von Apache „Cassandra“ eingesetzt. Offene Schnittstellen ermöglichen eine einfache Integration  in vorhandene Verkehrsmanagementsysteme.

1) http://germany.emc.com/leadership/digital-universe/index.htm

Verteilte Datenspeicherung und -bearbeitung

Ein SMiLE Data Archive wird durch eine Anzahl von Computern (Nodes) in einem Netzwerk physikalisch repräsentiert.  Das Schreiben beispielsweise eines Datums in einen Node bewirkt eine sofortige Replikation dieses Datums auf eine oder mehrere andere Nodes   Für eine gute Performance  beim Zugriff auf die Daten sorgt eine Verteilung der Daten im Netz. Im nebenstehenden Bespiel erfolgt die primäre Echtzeitspeicherung in bestimmte Netzknoten und die Bearbeitung der Daten  auf den Replikationen anderer Netzknoten.

Leistungen

Das HAHN PRO Traffic Data Archive erfüllt folgende Anforderungen:

  •  Leicht zu installieren und zu betreiben
  • Einfache Integration in vorhandene Systeme
  • Einsatz von Standard-Hardware
  • Keine Systemausfälle durch den Ausfall einer einzigen Komponente (no Single Point of Failure)
  • Komponententausch im laufenden Betrieb
  • Gute Performance durch horizontale Skalierbarkeit
  • Multi-Master Replikation
  • Garantierte Hochverfügbarkeit durch Verwaltung von Replikaten auf verschiedenen Servern und Rechenzentren
  • Offene Schnittstellen durch eine ESB Integrationsplattform (HAHN PRO Traffic Gateway)
  • Flexibles und schemaloses Datenmodel
  • Kein Bottleneck durch einen Datenverteiler
  • Parallele Verarbeitung der Daten auf verschiedenen Rechnern der Datenhaltung
  • Einsatz von Map / Reduce-Verfahren für die Bearbeitung von großen Datenmengen
  • Einsatz von Storm für die Verarbeitung von großen Datenmengen in Echtzeit
  • ….