Unterschleißheim, 05.10.2017 - Philosys Label Editor und Semantische Segmentierung

Philosys gibt einen ersten Ausblick auf die Annotation für die Semantische Segmentierung.

Einführung

Die kürzlich stattgefundene AutoAI Konferenz in Berlin zeigte dass AI Methoden in Verbindung mit Deep Neural Networks (DNN) und Machine Learning im Umfeld von Autonomen Fahrzeugen immer wichtiger werden. Ein Kernalgorithmus ist dabei die sogenannte semantische Segmentierung. Dabei geht es darum für jedes Pixel im Kamera Bild oder jeden Scanpunkt eines LiDAR anzugeben zu welcher Objektklasse der jeweilige Punkt gehört. Diese Zuordnung zu treffen ist die Aufgabe eines DNN.

Damit das DNN in der Lage ist muss es mit Trainingsdaten angelernt, und nach dem Anlernen mit einem unabhängigen Datensatz getestet werden. Die Trainings- und Testdaten werden heute überwiegend manuell durch Annotation erstellt. Das Labeling für die Semantische Segmentierung oder Semantic Labeling ist sehr aufwändig und benötigt spezielle Tools. In der nächsten Version des Label Editors wird es auch möglich sein damit das Ground-Truth für die semantische Segmentierung zu erstellen. 

 

Beschreibung

Ausgangspunkt für das Semantic Labeling mit dem Philosys Label Editor sind Bilder aus Videoaufnahmen. Diese können so wie auch beim konventionellen Objektlabeling aus eine ADTF DAT Datei, oder mit Hilfe eines Player Plugins aus beliebigen Quellformaten (PNG, JPG, ...) kommen. Die Bilder müssen so aufbereitet werden dass sie kompatibel zu den ADTF Bildformaten sind. Die Bilder können original oder rektifiziert sein.

 

Segmentation RAW FV

 

Oberfläche

Die Bedienoberfläche sieht so aus wie bisher. Nur gibt es parallel zum bisherigen Video3D Provider den neuen Segmentation Provider. Dieser kann wie der Video3D Provider den Window Manager nutzen, so dass man mehrere unabhängige Inhalte gleichzeitig oder mit Tabbed Windows anzeigen lassen kann. Im folgenden Beispiel wird der Kamerainhalt von RV und FV in Tabbed Windows angezeigt.

 

Segmentation LE FV annotated

  

Das Segmentation Provider Fenster zeigt in seiner Toolzeile die verschiedenen Tools an, und links neben dem Videobild werden die definierten Segmentklassen angezeigt. Die Segmentklassen können mit Hilfe der Strukturdefinition hinsichtlich Name, Wert und Farbe völlig frei definiert werden.

 

Brush Tool

Mit dem Brush Tool kann man nach der Selektion der Segmentklasse einfach Bereiche übermalen und so den Wert für die Pixel setzen.

 

Segmentation Brush

Segmentation Brush Example

  

Superpixel Tool

Mit dem Superpixel Tool können nach der Selektion der Segmentklasse Pixelbereiche mit ähnlichem Inhalt markiert werden. Es stehen verschiedene Algorithmen zur Auswahl.

 

Segmentation Superpixel

Segmentation Superpixel Example

  

FloodFill Tool

Das FloodFill Tool markiert nach der Selektion der Segmentklasse Pixelbereiche mit ähnlichen Farbwerten. Der Inhalt kann mit Filtern weichgezeichnet werden so dass Bereiche leichter gefüllt werden können.

 

Segmentation FloodFill

Segmentation Floodfill Example

  

PolyFill Tool

Mit dem PolyFill Tool werden Bildbereiche mit einem Linienzug markiert und dann mit der selektierten Segmentklasse gefüllt.

 

Segmentation Polyfill

Segmentation PolylineFill Example

  

AutoADD Tool

Wie beim normalen Labeln mit dem Philosys Label Editor gibt es eine AutoAdd Funktion um das Labeling von Videodatenströmen zu beschleunigen. Dabei werden die Labeldaten in das nächste Frame übernommen. Dies wird auf intelligente Art und Weise durch Berücksichtigung der Bewegung der Objekte erreicht. Dadurch muss das neue Bild nicht komplett neu segmentiert werden.

Image Frame 1:

Segmentation Frame1

Image Frame 10 nach AutoAdd ohne eine manuelle Korrektur:

Segmentation Frame10

Für ein optimales Ergebnis sollten im neuen Bild erst alle Fehler vollständig korregiert werden bevor wieder ein Framewechsel erfolgt.

 

Labelformat

Die Labeldaten werden wie bisher im XML-Format gespeichert. In der Labeldatei ist dann für jedes Bild ein Blob mit einem komprimierten PNG-Bild enthalten.

 

Segmentation RAW FV image

 

Zusammenfassung

Mit dieser neuen Funktion gibt es jetzt auch im Label Editor eine vollwertige Unterstützung für das Semantische Segmentieren. Dieses kann natürlich mit dem normalen Labeling in 2D und 3D kombiniert werden, so dass ein umfassendes Ground-Truth für Szenen erstellt werden kann.

 

Weitere Informationen

Philosys Label Editor Version 4 - Snapshots

Philosys Label Editor Version 4 - Release 4.2

Philosys Label Editor Version 4 - Release 4.3

Philosys Label Editor Version 5 - Release 5.1

Philosys Label Editor Version 6 - Release 6.0

Philosys Label Editor Version 6 - Release 6.1

 

Gerne entwickelt Philosys im Rahmen von kundenfinanzierten Projekten auch weitere neue Features. Bitte melden Sie sich einfach.

Der Philosys Label Editor wird bei der Entwicklung unterschiedlichster Assistenzsysteme (Advanced Driver Assistance System / ADAS) und Autonomer Systeme (AD) zur Gewinnung von Ground-Truth Daten eingesetzt. Dabei werden die Objekte in der Szene manuell und/oder automatisch markiert und mit detaillierten Attributen versehen (Annotation/Labeling). Angefangen von Fahrzeugen aller Art, Fahrbahnbegrenzungen, Verkehrszeichen, bis hin zu Fußgängern und Wildtieren wird das Ground-Truth erfasst. Das Ergebnis wird in HIL/SIL-Tests zur ADAS Validierung/Absicherung der von Fahrerassistenzsystemen erkannten Objekte, und für die Generierung von Referenzdaten für Deep Neural Networks (DNN), Machine Learning und deren Validierung genutzt. Dadurch dass er auf EB Assist/ADTF basiert fügt er sich nahtlos in die EB Assist/ADTF Entwicklungsumgebung für Assistenzsysteme ein.

Normal 0 21 false false false DE X-NONE X-NONE

Ende 2012 wird der neue Philosys Label Editor Version 2 erscheinen. Dieser enthält eine Vielzahl von neuen Features, die nicht nur den Prozess der Annotation beschleunigen, sondern auch neue Anwendungsgebiete erschließen.

  • Integration externer Referenzdaten
  • Interpolation
  • Geometrisches Objekt Polygon
  • Projektmodus

Die folgenden Kapitel geben eine Übersicht über die Funktionalität und Anwendung der neuen Funktionen.

Integration externer Referenzdaten

Zur Validierung komplexerer Assistenzsysteme werden neben der reinen Position des Objektes auf dem Videobild, und einfachen durch den Annotator aus dem Videobild zu bestimmender Attributen, oft auch Daten benötigt, die aus anderen Quellen als dem Videobild kommen. Dies sind neben bestimmten CAN-Daten für das eigene Fahrzeug, oft auch Daten von Sensoren, die nur in den Fahrzeugen für die Aufzeichnung verbaut werden. Dies können unter anderem z. B. objektbildende Laserscanner sein. Diese erkennen wie das zu testende Assistenzsystem ebenfalls Objekte und können eine Reihe von nützlichen Daten, wie die Entfernung zum jeweiligen Objekt, relative Geschwindigkeit, usw., bereitstellen.

Interessant sind hier die Daten die der Annotator nicht so einfach selbst bestimmen kann, wie die Entfernung zum Objekt und dessen relative Geschwindigkeit. Anstatt diese Referenzdaten alle manuell von der Laserscanner Software in die Annotationsdaten zu übernehmen, bietet es sich hier an diese Aufgabe direkt mit Hilfe des Labeleditors zu erledigen.

Notwenig ist dazu dass die Sensordaten zeitsynchron zusammen mit den Videodaten aufgezeichnet werden. Die Umwandlung der Sensordaten in das Format das der Philosys Labeleditor versteht, erfolgt dann mit Hilfe eines neu zu erstellenden Decoder-Filters, der in Filtergraph, der das Video für den Labeleditor aufbereitet, integriert wird. Die Schnittstelle des Labeleditors für externe Referenzdaten ist XML. Diese Daten sind im Prinzip genauso aufgebaut wie das Ergebnis der Annotation, die Labeldaten. Sie müssen auch wie die Labeldaten in der Strukturdatei beschrieben werden.

Wurde die Struktur der externen Referenzdaten beschrieben, und von dem Filter die gewünschten Referenzdaten in dieses Format konvertiert, dann kann der Philosys Labeleditor diese Daten im Detail im ObjectView darstellen. Wenn in den Daten auch geometrische Objekte vorhanden sind, dann werden diese auch im VideoView angezeigt. Es gibt dann einmal die Möglichkeit bestimmte in der Strukturdefinition beschriebene Datenelemente einfach in ein gerade aktives Annotationsobjekt für das aktuelle Frame zu übernehmen. Oder aber man kann einen Link zwischen Referenzobjekt und Annotationsobjekt herstellen, womit dann die entsprechenden Datenelemente für alle Frames in denen das Referenzobjekt und das Annotationsobjekt existieren, übernommen werden. Dies reduziert den Aufwand für die Übernahme erheblich. Das Feature funktioniert auch zusammen mit der Interpolation. Existieren Referenzdaten zu einem interpolierten Frame so werden die Referenzdaten verwendet, so dass die Genauigkeit der Referenzdaten erhalten bleibt.

Dieses neue Feature ist der Einstig in die 3D-Annotation für Videodaten mit dem Philosys Labeleditor. Dabei kann so wie bisher das jeweilige Objekt vom Annotator auf dem Bild markiert, zusätzlich können aber noch die Entfernung und andere relevante Daten mit Hilfe der Referenzdaten automatisch gesetzt werden.

Durch die offene Schnittstelle kann der Kunde den nötigen Filter für die Wandlung der Referenzdaten in XML selbst implementieren. Er kann aber auch die Erfahrung von Philosys nutzen und den Decoder-Filter von Philosys erstellen lassen.

Interpolation

Das Annotieren ist ein zeitaufwendiger Prozess. Der Zeitaufwand pro Videominute kann je nach Komplexität mehr als das Hundertfache der Videolaufzeit betragen. Durch das Feature vorhandene Daten jeweils in das nächste Bild zu übernehmen, und die Position geometrischer Objekte dabei auch noch zu Extrapolieren, beschleunigt schon der bisherige Philosys Label Editor das Annotieren gegenüber herkömmlichen Verfahren erheblich.

Durch das neue Feature Interpolation wird die Annotationszeit jetzt in Fällen, wo Objekte sich über viele Frames hinweg kaum in ihrer Position verändern, nochmal deutlich verkürzt. Man markiert wie gewohnt am Anfang der Sichtbarkeit das Objekt auf dem Videobild mit einem beliebigen geometrischen Objekt, und setzt dieses über das per rechten Mausklick erscheinende Kontextmenü als Startbild für die Interpolation. Dann geht man zu dem Bild, an dem man das Objekt normalerweise zuletzt markieren würde, markiert dieses und setzt dieses als Endbild für die Interpolation. Jetzt wird für alle Bilder zwischen Start- und Endbild das geometrische Objekt interpoliert. Die anderen Attribute werden automatisch vom Zustand im Startbild übernommen. Gibt es im interpolierten Bereich eine Abweichung, so kann man an der entsprechenden Position einfach durch anklicken und Repositionierung des interpolierten geometrischen Objektes einen neuen Stützpunkt erzeugen. Die Interpolation wird dann automatisch vor und hinter dem Stützpunkt neu berechnet. Idealerweise setzt man einen neuen Stützpunkt dort wo die Abweichung am größten ist. In vielen Fällen reichen dann wenige Stützpunkte für eine hinreichend genaue Übereinstimmung aus.

Derzeit wird linear interpoliert, das kann aber erweitert werden. Denkbar ist auch eine zukünftige Erweiterung mit einem Tracker.

Als Nebeneffekt reduziert sich auch der Hauptspeicherbedarf bei Szenen mit langer Objektsichtbarkeit deutlich. Natürlich werden zur Gewährleistung der Kompatibilität in der Toolkette wie bisher die Daten für alle Bilder geschrieben.

Geometrisches Objekt Polygon

Um auch unregelmäßige Objekte effizient markieren zu können, wird der Philosys Label Editor um das neue geometrische Objekt Polygon erweitert. Das Polygon wird wie die anderen geometrischen Objekte am einfachsten mit der Maus erstellt. Es gibt dabei die Möglichkeit sowohl einen offenen Linienzug oder ein geschlossenes Polygon zu erzeugen. Der Typ kann auch nachträglich geändert werden.

Wie gewohnt kann man das Polygon über das mit der rechten Maustaste erscheinende Kontextmenü in der in der Struktur-XML vordefinierten Form an der Mausposition erzeugen. Danach kann man durch Neupositionierung der Maus und der linken Maustaste weitere Linien an ein offenes Polygon anhängen. Man kann auf Linien weitere Eckpunkte einfügen und natürlich Punkte, Linien und das gesamte Polygon verschieben. Natürlich funktioniert mit dem Polygon auch die hilfreiche Extrapolation beim automatischen Übertrag von einem Bild zum Nächsten.

Mit dem Polygon kann man nicht nur unregelmäßige Objekte markieren, sondern mit seiner offenen Form auch als Linienzug nutzen. Damit ist es z. B. auch möglich Spuren genauer und einfacher zu markieren.

Projektmodus

Der Projektmodus erlaubt es die für die Annotation nötigen Dateien mit einem Befehl zu laden. Dazu packt man den Filtergraph, die Strukturdatei, die DAT-Datei und die Annotationsdatei in ein Verzeichnis. Die Generierung des Inhalts kann dann durch ein entsprechendes Szenenmanagement-system geschehen.

Damit ist es jetzt einfach möglich ohne komplizierte Namenstransformationen mit mehreren Kameras aufgezeichnete Szenen für verschiedene Projekte individuell zu annotieren. Zu dem erleichtert es die Arbeit der Annotatoren und vermeidet fehlerhafte Namen beim Abspeichern der Daten.

 

Der Philosys Label Editor wird bei der Entwicklung unterschiedlichster Assistenzsysteme zur Gewinnung von Ground-Truth-Daten eingesetzt. Dabei werden die verschiedensten Objekte markiert und mit detaillierten Attributen versehen. Angefangen von Fahrzeugen aller Art, Fahrbahnbegrenzungen, Verkehrszeichen, bis hin zu Fußgängern und Wildtieren. Die erfassten Daten werden anschließend zur Verifizierung der von Assistenzsystemen erkannten Objekte verwendet.

Back to top