Virtual Reality Audio for Cyber Environments (VRACE)
| Topic: | H2020-MSCA-ITN-2018: Innovative Training Network in the field of Virtual Acoustics | |
| Project leader: | Vasileios Chatziioannou, University of Music and Performing Arts Vienna (mdw) | |
| Local coordinators: | Wilfried Kausel, Vasileios Chatziioannou, Alex Hofmann, University of Music and Performing Arts Vienna (mdw) | |
| Other consortium partners: |
Technische Universität Wien (TUW), Vienna, AT; Gottfried Wilhelm Leibniz Universitaet Hannover (LUH), Hannover, DE; The Queen’s University of Belfast (QUB), Belfast, UK; Mueller-BBM GmbH (BBM), Munich, DE; Siemens Industry Soft-ware NV (SISW), Leuven, BE; Sennheiser Electronic GmbH & Co. KG (SENN), Hannover, DE;
Facebook Reality Labs / Oculus VR, LLC (OCULUS), Seattle, US; Centre d’etudes et d’expertise sur les risques l’environnement (CEREMA), Paris, FR; SYOS, Paris, FR; ARTIM, Gänserndorf, AT; IESTA, Vienna, AT; |
|
| Project start: | 01.03.2019 | |
| Project end: | 31.08.2023 | |
| Project website: | vrace-etn.eu/ | |
| Project data (ESR3) | Forum Acusticum 2023: https://github.com/titas2001/FA23_PIV_data |
Funded by the Horizon 2020 Framework Programme of the European Union
Das VRACE-Projekt, gefördert durch das EU-Programm Marie Skłodowska-Curie im Rahmen von Horizon 2020 (ITN), vereinte ein multidisziplinäres Netzwerk aus 17 akademischen und industriellen Partnern und beschäftigte über einen Zeitraum von drei Jahren **15 Nachwuchswissenschaftler\:innen (Early Stage Researchers, ESRs)**, um die akustische Dimension von Virtual und Augmented Reality grundlegend zu verbessern.
Ziel des Projekts war es, VR nicht nur als „virtuell“, sondern als wirklichkeitsnah und glaubwürdig erfahrbar zu machen. Eine neue Forschergeneration sollte ausgebildet werden, die dazu in der Lage ist, heutige Visionen von VR in reale technologische Anwendungen umzusetzen. VRACE verfolgte die Ambition, VR-Audio auf ein neues Niveau physikalischer Genauigkeit zu heben, sodass akustische Umgebungen realistisch und überzeugend erlebbar werden. Die Forschenden sollten in die Lage versetzt werden, komplette Welten für virtuelle Tests und Simulationen nachzubilden – durch Fortschritte in der Modellierung von Schallquellen, Schallausbreitung, Audio-Rendering und Psychoakustik.
Die Forschung kombinierte:
- Modellierung von Schallquellen
- Fortgeschrittene Verfahren zur Schallausbreitung in komplexen Innenräumen und Außenumgebungen
- Psychoakustische Experimente, um das räumliche Hören des Menschen besser zu verstehen und zu optimieren
Zur Umsetzung erhielten die ESRs ein umfassendes Ausbildungsprogramm:
- Grund- und Fortgeschrittenenkurse in Akustik, Audiowiedergabe, physikalischer Modellierung und Psychoakustik
- Praktische individuelle Forschungsprojekte
- Schulungen zu überfachlichen Kompetenzen wie Qualitätsmanagement, geistigem Eigentum, Unternehmertum und Open Science
- Teilnahme an Fachkonferenzen (z. B. ICA 2019, ViennaTalk 2022) und öffentliche Tutorien
Bis zum Projektabschluss hatte VRACE:
Eine neue Generation hochqualifizierter Forschende ausgebildet, die innovative VR-Audio-Forschung mit industriellen Anwendungen verbinden kann
Bahnbrechende Forschung zu realistischer Klangmodellierung, Schallausbreitung und Wahrnehmung in virtuellen Umgebungen durchgeführt
Eine Reihe technischer Workshops in Europa organisiert (u. a. in Aalto, ENSTA‑Paris, Hannover, Wien), mit einem abschließenden Workshop im Jahr 2023
Forschungsergebnisse auf wichtigen Konferenzen präsentiert und erfolgreich Wissenstransfer betrieben
Abschließend lässt sich sagen, dass VRACE seine Ziele vollständig erreicht hat: Es hat eine qualifizierte Forschergeneration hervorgebracht, neue Verfahren für realistischen Klang in virtuellen Welten entwickelt und die Zusammenarbeit zwischen Wissenschaft und Industrie nachhaltig gestärkt. Das Vermächtnis des Projekts lebt in den geschulten Expert\:innen und den entwickelten Methoden weiter.
Publikationen von IWK-Mitgliedern:
Corcuera Marruffo, Andrea; Meyer-Kahlen, Nils; and Lokki, Tapio. "Audibility of reduced spatial resolution in musical instrument directivity." Acta Acustica 9 (2025): 34.
Lluís, Francesc; Meyer‑Kahlen, Nils; Chatziioannou, Vasileios and Hofmann, Alex. “Direction Specific Ambisonics Source Separation with End‑to‑End Deep Learning.” Acta Acustica, vol. 7, 2023.
Lasickas, Titas; Caridi, Giuseppe Carlo Alp; Soldati, Alfredo, and Chatziioannou, Vasileios (2023)
"Investigating the Effect of Woodwind Instrument Tone Hole Size Using Particle Image Velocimetry,"
in 10th Convention of the European Acoustics Association, Forum Acusticum p. 4461-4468.
Corcuera Marruffo, Andrea; Chatziioannou, Vasileios and Ahrens, Jens. "Perceptual significance of tone-dependent directivity patterns of musical instruments." Journal of the Audio Engineering Society 71.5 (2023): 293-302.
Lluís, Francesc; Chatziioannou, Vasileios and Hofmann, Alex. “Points2Sound: From Mono to Binaural Audio Using 3D Point Cloud Scenes.” EURASIP Journal on Audio, Speech, and Music Processing, 2022.
Corcuera Marruffo, Andrea and Chatziioannou, Vasileios. “A Pilot Study on Tone‑Dependent Directivity Patterns of Musical Instruments.” Proceedings AES Int. Conf Audio for Virtual and Augmented Reality, 2022.
Corcuera Marruffo, Andrea; Thilakan, Jithin; Hofmann, Alex, Chatziioannou, Vasileios and Kob, Malte. “Analysing Musicians’ Acoustic Shadowing on the Directivity of the Trumpet.” Proc. DAGA 2022.
Lluís, Francesc; Chatziioannou, Vasileios and Hofmann, Alex. “Music Source Separation Conditioned on 3D Point Clouds.” arXiv, 3 Feb. 2021. arXiv:2102.02028.
Corcuera Marruffo, Andrea; Mayer, Alexander; Hofmann, Alex; Chatziioannou, Vasileios and Kausel, Wilfried. “Experimental Investigation of High‑Resolution Measurements of Directivity Patterns.” Proceedings of DAGA 2021, Vienna, DAGA, 2021.
Lluís, Francesc; Martínez‑Nuevo, Pablo; Bo Møller, Martin; and Shepstone, Sven. “Sound Field Reconstruction in Rooms: Inpainting Meets Super‑Resolution.” The Journal of the Acoustical Society of America, vol. 148, no. 2, 2020, pp. 649–659.