Die Label Tools Philosys Label Editor und Philosys Ground Truth Annotator sind Anwendungen zum Annotieren/Labeln und Visualisieren von Video- und Referenzdatenströmen für Advanced Driver Assistance Systems (ADAS) und Autonomous Driving (AD).
Philosys Label Editor basiert auf EB Assist/ADTF und integriert sich damit nahtlos in die EBAssist/ADTF Umgebung.
Supported Data Formats
Philosys Ground Truth Annotator kann unabhängig von ADTF eingesetzt werden, und lässt sich damit in beliebiger Umgebung verwenden.
Supported Data Formats
Annotieren bedeutet in diesem Zusammenhang, dass reale Objekte in Video- oder Referenzdatenströmen je nach Gestalt und Eigenschaften mit verschiedenen geometrischen Objekten manuell und/oder halb automatisch markiert und mit Attributen versehen werden können (Ground-Truth). Das Ergebnis wird dann für die Validierung/Absicherung/Testen der Algorithmen und für Machine Learning und Validierung von DNNs verwendet.
Die Label Tools verwenden Qt und OpenGL zur Darstellung der Bedienoberfläche, der Daten, geometrischen Objekte und deren Eigenschaften. Neben konventioneller 2D Darstellung unterstützen die Label Tools auch die Darstellung und das Annotieren von 3D Szenen. Dies wird insbesondere zum labeln von 3D-Referenzdaten, z.B. von LiDAR/Radar verwendet..
Die Label Tools bieten standardmäßig verschiedene Ansichten auf die Daten:
- VideoView zur Darstellung von Videobildern, 3D-Szenen und der markierten Objekte.
- InspectorView zur Darstellung/Modifikation der Objekte über die Zeit.
- ObjectView zur Detaildarstellung/Modifikation der geometrischen Objekte und Attribute.
- SettingsView zur Darstellung/Modifikation der Einstellungen.
- Console für Meldung
Die unterschiedlichen Fenster erlauben es je nach Tätigkeit (Annotieren, Modifikation, Kontrolle) eine individuelle Arbeitsumgebung für das Datenlabeling einzurichten.
Die Label Tools zeichnen sich durch eine Vielzahl von Features aus, die das Annotieren/Labeling und Visualisieren von Szenen gegenüber anderen Implementierungen deutlich erleichtern, und die Anpassung an individuelle Anforderungen ermöglichen:
- Weitgehend freie Definition der Struktur der Labeldaten im XML-Format über eine XML-Strukturbeschreibung.
- Lesen von Daten in verschiedenen Datenformaten (ADTF-DAT, ROS Bag, Sample File)
- Annotieren von 2D-Bildern und 3D-Szenen über Maus und Tastatur (individuelle Tastenbelegung).
- Unterstützung von unterschiedlichen Objektmarkern (Punkt, Linie, Rechteck, Parabel, Polygon/Spline, Box, Mesh).
- Extrapolation/Tracking beim Hinzufügen von neuen Objekten.
- Übersichtsdarstellung des Zustandes aller Objekte über die Zeit (InspectorView).
- Detaildarstellung aller Attribute eines Objektes (ObjectView).
- Fenster der Bedienoberfläche lassen sich frei anordnen (auch auf weiteren Bildschirmen).
- Unterstützung von ADTF-Filtern zur Aufbereitung von Eingangsdaten für die Darstellung (PLE only).
- Nutzung von externen Referenzdaten (CAN, Lidar, Radar, Point Cloud, ...) zum Labeln/Annotieren/Visualisieren
- Interpolation von Frames zwischen Stützpunkten.
- Objekttracking und Objektdetektion.
- Projektverzeichnis und Projektmodus.
- Nutzung der ADTF Compression und ADTF Display Toolbox (nur PLE)
- Plugin-Schnittstellen für eigene Player, GUIs und geometrische Objekte für die Markierung.
Da der Philosys Label Editor auf ADTF basiert, ist für die Nutzung ein EB-Assist Runtime Lizenz nötig, für den Philosys Ground Truth Annotator dagegen nicht.
Die Philosys Label Tools stehen für Windows 7/10 (64-bit) als 64-bit Anwendung zur Verfügung. Der Philosys Label Editor wird auf Kundenwunsch für eine spezifische ADTF Version ab ADTF 2.9 generiert. Dies erlaubt den Einsatz von ADTF Filtern mit einer bestimmten Version.
Bitte beachten Sie auch die aktuellen Meldungen in den News und die Videos auf YouTube.
Nehmen Sie bitte noch heute mit uns Kontakt auf, um nähere Informationen zu erhalten und gegebenenfalls einen Termin für eine Vorführung zu vereinbaren.
Mehr als 1000 Nutzer verlassen sich bereits auf die Philosys Label Tools. Sie können der Nächste sein.
ADTF ist ein von Audi entwickeltes Tool und steht für Automotive Data and Time Triggered Framework. Es stellt ein Basis-Framework zur Entwicklung beliebiger (Fahrer-)Assistenzsysteme dar. Dabei unterstützt es den Entwickler beim schnellen Erstellen von Prototypen und zielt somit auf die Verwendung in Forschungs- und Entwicklungsabteilungen bei Automotive-Firmen.
Die von Philosys auf Basis von ADTF entwickelten Produkte unterstützen bei der Entwicklung von Assistenzsystemen.
Philosys Ground Truth Annotator - Philosys Label Editor
Labeln oder Annotieren bedeutet in diesem Zusammenhang, dass reale Objekte in Videodatenströmen je nach Gestalt und Eigenschaften mit verschiedenen geometrischen Objekten manuell und/oder halb automatisch markiert und mit Attributen versehen werden können. Die resultierenden Grunddaten können zur Verifikation von Algorithmen genutzt werden. Mehr...
VALassistPRO - Validation Assisting Process
VALassistPRO ist ein Framework zur Absicherung sensor- und kamerabasierter Fahrerassistenzsysteme. VALassistPRO wurde projektorientiert konzipiert und lässt sich daher über Plug-Ins und entsprechende Schnittstellen leicht auf spezifische Projektanforderungen anpassen. Mehr...
Nach den Testläufen werden die Resultate ausgewertet. Wie gut stimmen die Ergebnisse der Steuergeräte mit den Referenzdaten vom Labeling überein? Diese Überprüfung wird nun Szene für Szene und gegebenenfalls Bild für Bild durchgeführt.
Am Ende wird aus diesen Vergleichen ein Wert errechnet, der die Qualität des Ergebnisses vom Steuergerät bewertet (KPI). Diesen Wert kann man nun als Vergleichswert für weitere Tests nutzen.
Was kann VALassistPRO für mich tun?
VALassistPRO übernimmt nach den Tests die Ergebnisse und führt automatisch den Vergleich der Ergebnisse mit den Referenzdaten durch. Anhand der vorgegebenen Festlegungen zur Berechnung von KPIs berechnet VALassistPRO diese nun. Auch können die Berechnungsvorschriften nachträglich geändert und damit alle bestehenden KPIs neu berechnet werden. Selbstverständlich lassen sich auch völlig neue KPIs bestimmen und auf alle gelaufenen Tests nachträglich anwenden. Dies alles für einzelne Szenen, alle Szenen oder z.B. Teilmengen nach Kriterien ("KPI nur für Nachtszenen").
Die Zahlen werden archiviert und sind somit jederzeit wieder verfügbar ohne die langwierigen Tests zu wiederholen. Eine Langzeitarchivierung ist möglich - auch wenn die Szenendaten selbst nicht mehr gespeichert sind.
Zusammenfassung der wesentlichen VALassistPRO Features
- Frei definierbarer Workflow
- Rechtesystem regelt Zugriff auf Daten und Funktionalitäten, frei definierbare Rollen
- Import beliebigen Datentypen und Dateizahl mit freier Verknüpfung zu Szenen
- Konzipiert für die Verarbeitung von großen Daten- und Dateimengen
- Wiederverwendung von Szenen in verschiedenen Projekten
- Kategorisierung und Verschlagwortung (Tagging) von Szenen
- Freie Toolwahl zum Labeln
- Versionierung der Label- und Reaktionsdaten
- Automatisierter SIL und HIL Betrieb
- Trennung zwischen verwaltender Software (im Core) und ausführender Software (in Plugins)
- Offenes Plugin-Interface zu Szenenbearbeitung und Prozesssteuerung
- Primäre Steuerung steckt in den Plugins, dadurch spezifische Anpassungen ohne Änderungen am Core-System möglich
- Beliebige Verarbeitung der Daten über das Plugin-Interface
- Freie Wahl von Frameworks zur Verarbeitung der Daten (z.B. ADTF)
- Windows und Linux Unterstützung, auch Mischung
- Minimaler Startaufbau bestehend aus einem Server
- Beliebiger Ausbau durch weitere Server zur Lastverteilung und Parallelisierung
- Datenbank unterstütztes System
- Signierte Applikationen
- Benutzer Applikation nutzt Leistung des Benutzer-Rechners, entlastet Server
- Automatisches Updates der Benutzer Applikation über Java Standards
- (Android) Tablet Support
Zum Test der Steuergeräte oder der Algorithmen werden dem Assistenzsytem die Szenen "vorgespielt", d.h. mit einem speziellen Hardware- oder Software-Aufbau werden die Daten über entsprechende Schnittstellen zugeführt.
Der sogenannte HIL bzw. SIL (Hardware/Software in the loop) sollte nach jeder Änderung an den zu testenden Komponenten laufen. Die Ergebnisse (z.B. gefundene Objekte) werden dabei gespeichert und dienen der weiteren Analyse.
Was kann VALassistPRO für mich tun?
VALassistPRO steuert die Tests vollautomatisch. Der Anwender wählt dazu nur die Testkandidaten aus. Das können alle Szenen sein, einzelne Szenen oder eine Teilmenge, die bestimmten Kriterien genügt (z.B. nur Nachtszenen). VALassistPRO bespielt dann die angeschlossenen Steuergeräte mit den Szenen bzw. startet beim SIL die entsprechende Software.
Dabei können beliebig viele Geräte parallel betrieben werden, um so die Testzeit zu verkürzen. VALassistPRO regelt die optimale Ausnutzung der Geräte und stellt vor jedem Test einen initialen Zustand her, um so vergleichbare Ergebnisse zu erhalten.