Technologie
Modernste Computer-Vision-Technologie ist das Herzstück unseres Unternehmens.
Szenenrekonstruktion aus Videoaufnahmen
Unser Kerngeschäft ist die Gewinnung von 3D-Informationen aus Bildern mithilfe von SLAM- (Simultaneous Localization and Mapping) und SfM-Techniken (Structure from Motion). Unsere Algorithmen ermöglichen die Rekonstruktion von 3D-Szenen und Kamerabewegungen aus beliebigen Bildsequenzen, die mit Geräten wie GoPros, Smartphones oder integrierten Kameras moderner Fahrzeuge aufgenommen wurden.
Gebäude-Rekonstruktion und Modellierung
Automatisierte Erfassung, Digitalisierung, Klassifizierung und Strukturierung von Gebäudeoberflächen
- Building Information Modeling (BIM)
- Rekonstruktion aus Kamerabildern
- Semantische Segmentierung von Bildern und Punktwolken
- Fokus auf Fassaden: Digi-PV-Projekt
Datenerstellung: Interaktive Tools für automatisierte 2D/3D-Annotation
Für neue, bildverarbeitungsbasierte KI-Aufgaben ist eine spezielle Annotation der Bildinhalte erforderlich.
Wir entwickeln flexible, halbautomatische Toolchains für die jeweiligen Aufgaben.
Trajektorienvorhersage
Basierend auf vergangenen Flugbahnen sagen wir das wahrscheinlichste zukünftige Verhalten von Objekten voraus.
Unser Modell liefert mithilfe eines effizienten, in Echtzeit einsetzbaren KI-Ansatzes mehrere unterschiedliche und realistische zukünftige Flugbahnen.
- Flyer zur Bahnvorhersage
- GATraj: Ein graph- und aufmerksamkeitsbasiertes Multi-Agenten-Modell zur Bahnvorhersage
- LAformer: Bahnvorhersage für autonomes Fahren mit spurbezogenen Szenenbeschränkungen
Schätzung des Straßenzustands
Zur kamerabasierten Bestimmung des aktuellen Straßenzustands werden Klassifizierung und Unsicherheitsschätzung mittels maschinellem Lernen integriert.
Geben Sie niemals die Kontrolle über Ihr Lenkrad ab, ohne den Straßenzustand zu kennen!
Unsicherheitsschätzung im Deep Learning
Viele Anwendungen basieren auf Computer-Vision-Modellen, die auf Deep Learning beruhen.
Die Vorhersagen dieser Modelle unterliegen aufgrund begrenzter Lerndaten einer gewissen Unsicherheit.
Wie sicher sind diese Modelle in ihren Vorhersagen? – Wir verwenden Modelle für Unsicherheit, die valide Schätzungen für Daten liefern, die nicht innerhalb der Verteilung des Lerndatensatzes liegen.
- Anwendungsbeispiel:"RoadSaW: A Large-Scale Dataset for Camera-Based Road Surface and Wetness Estimation", paper at CVF, paper at ieeexplore
Objektbewegungs-schätzung
Während SfM und SLAM sich auf statische Geometrie konzentrieren, erfassen Objektsegmentierungstechniken Form, Typ und Bewegung von sich bewegenden Objekten. Zu den Ansätzen, die wir in unserer Software verwenden, gehören
- Panoptische Videosegmentierung
- Variationsansätze für Video- und Bewegungssegmentierung
- RANSAC und hypergraphbasierte Hypothesenbildung
- KI-basierte Lokalisierung, Verfolgung und Klassifizierung
Anwendungsbeispiel: Koordinierung von Fahrspurwechseln
- Demonstrationsvideo zur Fahrzeuglokalisierung, 5GCAR-Projekt [youtube]
- VLMV: Datensatz für Fahrzeuglokalisierung und Manöverplanung
Kamerakalibrierung
Um aus einer Bildsequenz eine hochpräzise 3D-Szene zu rekonstruieren, ist es von entscheidender Bedeutung, die spezifischen Eigenschaften der Kamera zu kennen, wie beispielsweise die Brennweite oder die Art und das Ausmaß der durch das Objektiv verursachten Verzerrung. Wir verfügen über umfangreiche Erfahrung in der schnellen und präzisen Kalibrierung einer Vielzahl unterschiedlicher Kameras, von nahezu idealen Lochkameras bis hin zu stark verzerrenden Fischaugenobjektiven. Zu den gängigen Aufgaben gehören
- Geführte Kalibrierung: Berechnung der Kameraparameter unter Verwendung bekannter Kalibrierungsmuster für einzelne Kameras und Mehrkamera-Setups
- Registrierung: Schätzung der Kameraparameter auf der Grundlage bekannter 3D-Geometrie.
- Selbstkalibrierung: Optimierung der Kalibrierung während der Erfassung. Automatisch ausgewählte Bildmerkmale dienen als Kalibrierungsmarken.
Stereo
Die Tiefenerkennung mittels Stereoaufnahmen hat in den letzten Jahren zunehmend an Bedeutung gewonnen, da immer mehr Stereokameras in Smartphones und modernen Fahrzeugen integriert werden. Wir entwickeln Algorithmen zur Erstellung präziser Tiefenkarten aus Stereobildpaaren unter Verwendung von Dense Matching, Optical Flow und maschinellen Lernverfahren. Darüber hinaus bieten wir
- Kalibrierungsgenauigkeitskontrolle: Messung der aktuellen Kalibrierungsgenauigkeit
- Selbstkalibrierung: Optimierung der Stereokalibrierung während der Erfassung.
- NEU: Veröffentlichung eines Artikels
- "Accuracy Evaluation and Improvement of the Calibration of Stereo Vision Datasets", ECCV - VCAD workshop, 2024, pdf
- Method provides calibration accuracy measurement + online calibration
- Results Demonstration [YouTube]
Prozessierung von Punktwolken
Als Ergebnis von Rekonstruktionstechniken werden Punktwolken und Netze für die Erstellung von 3D-Modellen verwendet. 3D-Modelle haben messbare Eigenschaften wie Größe, Form und Abstände zu anderen Modellen. Diese Eigenschaften ermöglichen Anwendungen, z. B. zur Hinderniserkennung in automatisierten Fahrszenarien. Objekt-Clustering und -Anpassung ermöglichen die Identifizierung auf der Grundlage von 3D-Punkten und spezifischen Modellen.
Semantische Szenenrekonstruktion
Viele Anwendungen profitieren davon, nicht nur zu wissen, wo sich Objekte befinden, sondern auch, um welche Objekte es sich handelt. Die semantische Analyse, d. h. die Klassifizierung des Inhalts eines Bildes oder einer 3D-Szene, ist ein wichtiges Instrument, um ein umfassenderes Verständnis der Umgebung zu erlangen. Bei VISCODA kennen wir die Vorteile und Grenzen sowohl datengesteuerter als auch modellbasierter Ansätze, sodass wir modernstes maschinelles Lernen mit traditioneller Computer Vision kombinieren können, um die optimale Lösung für das jeweilige Problem zu finden.
- Techniken des Maschinellen Lernens: leistungsstarke Echtzeitleistung für spezielle Aufgaben wie Objekterkennung, Klassifizierung und Segmentierung
- Deep Learning: groß angelegte Optimierung für Referenzergebnisse
- Datensatzgenerierung: Entwicklung von Tools für die automatische Erweiterung und halbautomatische Generierung von Ground Truth.
Ressourcenadaptive Szenenanalyse und -rekonstruktion
Bei Echtzeitanwendungen hängen die Genauigkeit der 3D-Szenenrekonstruktion und die Zuverlässigkeit der Objekterkennung von Ressourcenbeschränkungen wie der hardwarespezifischen Rechenleistung ab. Unser Ziel ist es, durch die Fusion klassischer Algorithmen mit neuartigen Techniken des maschinellen Lernens ein optimales Gleichgewicht zwischen Genauigkeit und Rechenzeit zu erreichen.
Einige dieser Techniken wurden im Rahmen des Forschungsprojekts RaSar entwickelt.
