VideoSimLab

Open Source Videostudien Toolchain für die pre-Simulator Evaluation von EcoDisplays

VideoSimLab

VideoSimLab ist eine Open-Source-Toolchain für videobasierte Evaluationsstudien von in-vehicle EcoSimLabs. Das System bietet eine Lösung für das zentrale Problem von EcoSimLabs Simulatorstudien - den hohen Ressourcenaufwand. Dieser entsteht dadurch, dass immer nur eine Versuchsperson gleichzeitig im Labor an einer Studie teilnehmen kann. In der iterativen EcoSimLabs Entwicklung sorgt diese Eigenschaft von Simulatorstudien für einen hohen zeitlichen Aufwand.

Das System bietet die Möglichkeit eine Variante einer Simulatorstudie online mit mehreren parallelen Teilnahmen durchzuführen. Dadurch wird eine ressourcenunaufwändige Pre-Evaluation eines Displays im Vergleich zu einer ressourcenaufwändigen Simulatorstudien möglich, ohne die Validität der Messung zu verringern. Das System eignet sich dementsprechend für formative Evaluationen im iterativen Entwicklungsprozess, die vor einer summativen Evaluation durch eine Simulatorstudie durchgeführt werden.

VideoSimLab zeigt während einer Erhebung im Browser ein Fahrvideo und ein zu der Fahrt synchrones Display. Fahraufnahmen und Displays sind voneinander entkoppelt. Die Displays werden durch die aufgezeichneten Fahrdaten der Aufnahme mit dem Video synchronisiert. Eine einzige Aufnahme kann dadurch für beliebig viele Interfaces genutzt werden, ohne neu aufgezeichnet werden zu müssen.

Das System basiert auf jsPsych (Experimentlogik & Stimuluspräsentation) und JATOS (Teilnehmermanagement, Datenspeicherung, Export) und besteht aus drei Kernkomponenten:

  • jsPsych-Plugins: Sie erweitern die Grundfunktionalität von jsPsych und ermöglichen bspw. die Synchronisation von Cockpit-Videos und Displays oder die Integration von Messmethoden wie SAGAT,
  • Display-Bibliothek: Durch sie integriert das VideoSimLab 17 einsatzbereite EcoSimLabs.
  • Template-Repository: Die konfigurierbare VideoSimLab Codebase mit Beispielen für Assets und Studienkonfigurationen. Sie ist per JSON und ohne die Anpassung des Kerncodes konfigurierbar.

Die Architektur trennt konsequent drei Ebenen: 1) Codebase: die implementierte Grundfunktionalität von VideoSimLab, 2) Study Assets: Cockpit Videos, Fahrdaten und Fragebögen der Studie und 3) Study Procedure: der Ablauf der Studie.

Neue Studien können durch Forken des Template-Repositories und Anpassen der JSON-Konfigurationsdateien mit minimalen Programmierkenntnissen erstellt werden. Der Deployment-Prozess ist per CI/CD-Pipeline automatisiert.

Das VideoSimLab wurde als Ergänzung zum EcoSimLab entwickelt, kann aber auch in Kombination mit anderen Simulatoren verwendet werden. Es benötigt lediglich browser-kompatible Videodateien und dazu synchronisierte Datenströme.

Ansicht der Proband*innen während der Bearbeitung einer Studie im Browser. Es wird eine Fahrt auf einer geraden Strecke abgespielt. Das StatusQuo Display wird im Bereich des Tachos angezeigt.
C4 Container Diagramm des VideoSimLab
Studienablauf einer mit dem VideoSimLab durchgeführten within-subject Studie
Studienablauf einer mit dem VideoSimLab durchgeführten between-subject Studie

Recording Pipeline

Die Recording Pipeline ermöglicht die synchrone Aufnahme von Fahrvideos und Fahrzeugdaten der Simulatorsoftware BeamNG.tech. Sie ist in die bestehende Simulator-Infrastruktur des EcoSimLab integriert und besteht aus folgenden Komponenten:

  • OBS: Zeichnet die Cockpit-Ansicht auf
  • OBS Controller: Bindet OBS über eine MQTT-to-WebSocket-Bridge an die EcoSimLab Infrastruktur an
  • SimLabPy Recording Modul: Loggt die Fahrdaten und setzt die Recording Flag
  • Cockpit Recording Modul: Ermöglicht das Starten und Stoppen einer Aufnahme über die Studienkontrollansicht der Versuchsleitung
  • Post-Processing mit FFmpeg: Komprimiert die Videos auf Full HD für den Browser
Monitoring Ansicht der StudyControlApp vor der Aufzeichung eines Fahrvideos. Auf der linken Seite ist das Recording Control Panel zu sehen.
Recording Control Panel vor der Aufzeichnung einer Fahrt. Der Recording Controler ist Online, es kann eine Aufzeichung gestartet werden.
C4 Landscape Diagramm der Recording Pipeline

Tech Stack

Referenziert in