- The Importance of Loss Functions for Increasing the Generalization Abilities of a Deep Learning-Based Next Frame Prediction Model for Traffic Scenes. Machine Learning and Knowledge Extraction 2 (2), 2020, 78-98 more… Full text ( DOI )
- FutureGAN: Anticipating the Future Frames of Video Sequences using Spatio-Temporal 3d Convolutions in Progressively Growing GANs. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences (ISPRS) XLII-2/W16, 2019, 3-11 more… Full text ( DOI )
- Enhancing Traffic Scene Predictions with Generative Adversarial Networks. IEEE Intelligent Transportation Systems Conference (ITSC), 2019, 1768-1775 more… Full text ( DOI )
FAS-VidGen
Prädiktion von Bildfolgen aus FAS-Videosequenzen durch implizite Modellierung von Aktivitätsmustern
Im Zuge dieses Projekts soll eine Methode entwickelt werden, die mit Hilfe von Deep Learning (DL) Ansätzen eine videobasierte Verkehrsprädiktion für die Anwendung in Fahrassistenzsystemen oder autonomen Fahrsystemen ermöglicht. Konkretes Ziel des Projekts ist es, aus den Pixelwerten einer beobachteten Videosequenz, zukünftige Bildfolgen zu generieren. Für Videos von Verkehrsszenen beinhalten die generierten Bildfolgen dann unter anderem Vorhersagen zu den Postionen von verkehrsrelevanten Objekten und anderen Verkehrsteilnehmern. Unsere Methode kann also dazu genutzt werden, das Fahrzeugumfeld zu erfassen und zu analysieren und Präditkionen zum Verkehrsgeschehen zu treffen. Die Entwicklung eines solchen Systems zielt in gewissser Weise darauf ab, das menschliche Verhalten, zukünftige Ereignisse auf Basis von Beobachtungen zu antizipieren, nachzubilden. Durch die Implementierung eines Convolutional Neural Network (CNN) Ansatzes, gehen wir davon aus, dass unser Modell Objektinteraktionen und Aktivitätsmuster implizit lernt. Informationen die aus unserem Modell abgeleitet werden können, tragen im Gesamtsystem eines Fahrzeugs dazu bei, die Fahrweise hinsichtlich einer vorausschauenden Planung zu optimieren.
Für das Anlernen und die Evaluierung unserer Methode werden wir frei verfügbare und auch eigene Datensätze verwenden. Um eine ausreichende Menge und Diversität der Daten zu erhalten, setzen wir auf eine Kombination aus realen und synthetischen Datensätzen. Als Quelle für synthetische Daten verwenden wir dabei existierende Datensätze und werden zudem Daten aus fotorealistischen Videospielen abgreifen.
