LiDAR-Daten werden in so genannten Punktwolken dargestellt. Diese Darstellung fasziniert: Sie ist ein exaktes Abbild der vom Sensor erfassten Umgebung in 3D. Durch den dreidimensionalen Charakter können verschiedenste Blickwinkel eingenommen werden, die Szene aus verschiedenen Perspektiven beleuchtet werden.
Anwendende setzen LiDAR-Sensoren aber nicht ein, weil sie schöne Bilder mögen. Die Daten liefern eine Fülle an Informationen, die zahlreiche Anwendungen von Crowd-Analytics über Volumenerfassung bis zu Sicherheitsanwendungen ermöglichen. In der hübschen Punktwolke sehen Menschen die benötigten Informationen nicht auf den ersten Blick, Algorithmen können sie aber sehr gut interpretieren.
Wie dabei Objekte erkannt und getrackt werden, beleuchtet dieser Artikel.
w
Blickfeld Percept
Um im Allgemeinen mit LiDAR-Rohdaten arbeiten zu können, müssen sich Anwendende im Umgang mit 3D-Daten auskennen. Da dieses Know-how häufig nicht im Unternehmen vorhanden ist, haben wir bei Blickfeld ein Software-Produkt entwickelt, das aus den vom LiDAR generierten Daten verwertbare Informationen zieht. So lassen sich mit Blickfeld Percept Anwendungen aus den Bereichen Crowd Analytics, Sicherheit oder Volumenmessung schnell und unkompliziert umsetzen.
w
Laufwege erfassen dank Objekterkennung und Tracking
Stellen Sie sich einen Marktplatz vor, auf dem ein Stadtfest stattfindet. Es sind verschiedene Stände aufgebaut, aus denen Produkte, Essen und Getränke verkauft werden. Die Veranstaltenden möchten gerne analysieren, wie sich die Besuchenden auf dem Platz bewegen. So wird ausgewertet, welche Positionen für die Verkaufsstände gut gewählt sind und welche Angebote besonders beliebt sind. Diese Insights helfen zum einen den Budenbetreibenden, indem sie zum Beispiel aufzeigen, wie ihr Auftreten angenommen wird, oder ob sie dieses optimieren sollten. Zum anderen geben sie den Veranstaltenden Aufschluss darüber, welche Standflächen je nach Auslastung wie bepreist werden sollten.
Hintergrund von Vordergrund unterscheiden, um Datenübertragung zu reduzieren
Um die Bewegungen der Besuchenden auf dem Fest zu erfassen, werden zunächst die Menschen in der Punktwolke identifiziert. Da diese aus der gesamten gescannten Umgebung in 3D-Punkten besteht, werden zunächst Objekte innerhalb der Punktwolke erkannt. Objekte beschreiben hierbei zunächst alles: Die Besuchenden ebenso wie Fahrzeuge, Bänke, Kinderwägen oder Hunde.
Da in unserem Beispiel die zu detektierenden Objekte Menschen sind, die sich auf dem Marktplatz bewegen, werden in einem ersten Schritt Punkte erkannt, die sich bewegen. Dies ist nicht zwangsläufig nötig, reduziert aber die Menge an zu übertragenden Daten und ist daher häufig von Vorteil. Objekte können aber ganz genauso in komplett statischen Punktwolken erkannt werden.
Die sich bewegenden Punkte innerhalb der Punktwolke werden erfasst, indem zu Beginn des Messzeitraums eine Referenzaufnahme getätigt wird. Alles, was auf dieser Aufnahme zu sehen ist und sich nicht bewegt, wird als Hintergrund definiert. Dieser kann herausgefiltert werden, sodass die zu übertragenden Daten sich drastisch reduzieren. In Innenräumen reicht dieser Vorgang aus, da davon ausgegangen werden kann, dass sich der Hintergrund nicht mehr ändert. Um zukünftige Veränderungen des Hintergrunds zu berücksichtigen (z.B. das Wegfahren eines Marktstandes) wird dieser im Betrieb kontinuierlich identifiziert und aktualisiert – es findet eine dynamische Hintergrund-Subtraktion statt. Dies geschieht, indem Objekte, die sich über einen vordefinierten Zeitraum nicht bewegen, ebenfalls zum Hintergrund gezählt werden.
Welche Punkte gehören zu einem Objekt?
Nachdem durch das Abziehen des Hintergrundes alles aus der Punktwolke entfernt wurde, was bei der Objekterkennung nicht von Interesse ist, bleibt nun der Vordergrund und damit die Objekte übrig. Erkannt werden diese durch das so genannte Clustering oder die Segmentierung. Sich bewegende Punkte in der Punktwolke werden erkannt und es wird der Abstand zwischen mehreren Punkten vermessen. Punkte, die nah beieinander liegen werden zu einem Objekt geclustert. Dieser Vorgang funktioniert genauso in einer statischen Punkwolke, in der sich die Objekte nicht bewegen.
Die Objekte werden mit einer Bounding Box markiert und erscheinen in der Objektliste. Diese Art von Informationen kann einfach weiterverarbeitet und in bereits bestehende Architekturen integriert werden. Indem gewisse Regeln zur Größe und Form der Objekte aufgestellt werden, wird ausgespielt, um welche Art von Objekten es sich handelt, beziehungsweise gleich nur jene Objekte berücksichtigt, die die Vorgaben erfüllen. Sollen, wie in unserem Beispiel, Menschen erfasst werden, werden also nur zylinderförmige Objekte in einem gewissen Höhenspektrum erfasst und als Personen markiert. Auf die gleiche Art funktioniert etwa die Erkennung von Autos durch die Festlegung entsprechender Parameter.
Wie bewegen sich die Objekte?
Um beispielsweise Laufwege von Besuchenden zu erfassen, wird das detektierte Objekt nun noch getrackt. Dies geschieht indem aufgrund der bisherigen Laufbahn des Objekts und Wahrscheinlichkeitsmodellen antizipiert wird, an welcher Stelle sich das Objekt in der nächsten Aufnahme, bzw. Frame, befinden muss. Läuft eine Person also beispielsweise von links nach rechts mit einer Geschwindigkeit von einem Meter pro Sekunde, wird antizipiert, dass sie mit der gleichen Geschwindigkeit in die bereits eingeschlagene Richtung weiterläuft und sie wird im nächsten Frame an der entsprechenden Stelle verortet. Die im nächsten Frame detektierten Objekte werden dann entsprechend der Vorhersage der Bewegung den Objekten zugeordnet – und somit getrackt.
Grafische Darstellung in einer Heatmap
Indem Laufwege der Besuchenden erfasst werden, kann die Auslastung an einzelnen Ständen analysiert und eine so genannte Heatmap erstellt werden. Sie zeigt an, welche Orte von der größten Zahl an Besuchenden aufgesucht wurden, welche also dementsprechend beliebt waren. Diese Information können die Veranstaltenden beim nächsten Event für die Stellplatzvergabe berücksichtigen.
w
Heatmaps sind beispielsweise auch besonders aufschlussreich im Messebereich: Indem LiDAR-Sensoren Besuchende auf einem Messestand erfassen und ihre Laufwege aufzeichnen, kann klar erkannt werden, welche Exponate von besonderem Interesse für die Besuchenden waren – und welche vielleicht gar nicht. Diese Informationen können noch während der Veranstaltung zu Veränderungen in der Personalverteilung oder auch in der Standgestaltung führen und auf jeden Fall in darauffolgende Standplanungen einfließen.
w
Grundlage für weitere Insights
Erkennung und Tracking von Objekten sind die Grundlagen für weitere Auswertungsformen, die Anwendungen wie Personenzählung, Belegungserkennung oder Bereichseintritte ermöglichen.
