Teammitglieder

- Romina Begus

- Connor Zimmermann

Forschungsfrage

Bei unserem finalen Projekt kommen wir zurück auf unsere VR Applikation aus dem zweiten Kurzprojekt. Basierend auf unserer bisherigen Forschungsfrage „Wie kann Künstlern mittels VR in Kombination von Wearables eine neue Plattform geboten werden, in der sie voneinander lernen und sich inspirieren lassen können?“, wollen wir nun eine ausgearbeitete Version des Prototypen erstellen.

Zunächst wollten wir mit unserer Idee Gestalter, Künstler und alle anderen kreativen Köpfe global im virtuellen Raum zusammenbringen. Unsere Forschung fokussierte sich auf einen Handschuh der Interaktion in Form von Malerei im virtuellen Raum ermöglichen soll. Konkret wollten wir uns nur mit dem Teil der Handerkennung beschäftigen, um diese zu erfassen und Befehlen für das Programm abzuleiten.

Im Laufe der Entwicklung haben wir unse Idee jedoch angepasst und haben darauf hin unsere Forschungsfrage umformuliert:

„Wie kann eine Interaktion zwischen Künstlern via Online Plattform in Kombination von Wearables realisiert werden und wie können Musik und Malerei besser vereint werden?“

Vielleicht hat der eine oder andere Leser und Leserin hier schon versucht Musik zu hören und dann auf das Papier zu bringen oder ein Kunstwerk musikalisch zu untermalen. Mit unserer Idee versuchen wir Musik und Kunst so zu kombinieren, dass beide Prozesse gleichzeitig passieren. Durch verschiedene Farbpaletten die an bestimmte Töne und Tonarten gebunden sind können zusammen stimmungsvolle Kompositionen von Musik und Farbe erstellt werden. Durch eine Auwahl an Pinselstrichen oder auch geometrische Formen sowie eine Variation von Tönen und Geräuschen gibt es zahlreiche Möglichkeiten gemeinsam ein Meisterwerk für Augen und Ohren zu schaffen.

Beispiele

Eine Molltonart könnte mit kühlen Blau- und Grüntönen visualisiert werden um das melancholische Gefühl einzufangen.

Percussion könnten als wilde Farbkleckse visualisiert werden, während Streicher einen weichen Aquarellstrich bekommen.

Natürlich könnte es auch komplett in die abstrakte Richtung gehen, wie bei einem Kandinsky mit abgefahrener Geräuschkullisse.

Recherche

Weiterführende Links:

- http://stelarc.org/?catID=20265

- https://de.wikipedia.org/wiki/Handschuh

- https://vrdummies.org/virtual-reality/geschichte/#:~:text=1968%20entwickelten%20Ivan%20Sutherland%20und,simplen%203D%2DFiguren%20in%20Drahtgitter.

- https://www.google.com/search?q=vive+controller+2.0&rlz=1C1SQJL_deDE786DE786&sxsrf=ALeKk00sgk9tCiWOw6MMeazeCOBnnUnDZw:1592226586787&source=lnms&tbm=isch&sa=X&ved=2ahUKEwiiyu2g8oPqAhXToVwKHUDTD8AQ_AUoA3oECAsQBQ&biw=1269&bih=998#imgrc=Pbw6aPFXlophCM

VR-Tracking:

- https://mixed.de/oculus-quest-handtracking-support-fuer-unreal-engine-4/

Roadmap

Step 01:

- Arduino Code

- Biegesensor (Verschiedene Dicken an Filz zum testen)

- Erste Versuche

Step 02:

- Erste Interation (2 Finger Prototyp) | Rapid Prototype

- Code Anpassungen (Visuelle Ausgabe)

- Versuche mit Farbausgabe

Step 03:

- Zweite Iteration

- Erstellung des Handschuhs

Step 04:

- Testen der Soft- & Hardware

- Verbindung Arduino mit Unreal

- Tutorial fertig stellen

Unsere Vision

Aktuelle Versionen für VR Controller:

Neuste Version der Vive Controller:

Unsere Vision:

https://uploadvr.com/manusvr-dev-kits-cost-250-available-for-pre-order-now/

Es gibt schon einige gute Controller für die VR. Aber auch das neuste Modell liegt noch sehr klobig in der Hand. Mit unserem Handschuh möchten eine preiswertere Version zum selbermachen anbieten, die in der professionellen Ausführung nur einen Bruchteil der momentanen Angebote kostet. Ein weicher Handschuh der sich der Handform anschmiegt und gemütlich zu tragen ist.

Work In Progress

Erste Umsetzung unserer Biegesensoren die wir verwenden wollen, im nächsten Schritt versuchen wir diese kleiner zu gestalten.

Prototyp Musikprogramm mit visuellen Output

3D Prototyp - Conorina

Romina & Connor | E-Textile Tutorial

Druckversion:

Arduino -> Unreal | Recherche

https://docs.google.com/document/d/1NrniFYVNNPGGG4u4qjG2lXaYHbfSCqHy22du38odMc4/edit

https://www.google.com/search?q=arduiono+to+unreal&rlz=1C1SQJL_deDE786DE786&oq=a&aqs=chrome.0.69i59l3j69i57j35i39l2j0l2.1503j0j15&sourceid=chrome&ie=UTF-8

Arduino -> Unreal | Umsetzung

Config:

Hinweis: Arduino/Unreal Plugin genutzt von: https://github.com/RVillani/UE4Duino/releases

Ein großer Schritt war die erfolgreiche Verbindung von Arduino mit Unreal. Allerdings haben sich beim erstes Test mehrere Probleme herausgestellt. Der Code in Arduino als auch Unreal muss exakt delayed und aufeinander abgestimmt werden. Da ansonsten der Code von Unreal mit dem lesen des Arduino Outputs nicht mithalten kann, also auch Unreal gegebenenfalls den Output von Arduino zu schnell liest, was auch zu Fehlern führt. Desweiteren ist ein großes Problem die unbeständige Kommunikation mit Arduino, da immer wieder Werte fehlen, vertauscht oder hintereinander statt zusammen gesendet werden. Zu Testzwecken haben ich zudem die Krokodilklemmen genommen, da der Kontakt extrem gut sein muss, damit auch dort keine Fehler auftreten. Gelb ist daher der Daumen, Rot der Zeigefinger und Schwarz der Mittelfinger.

Nach weiteren Tests ist es möglich, die Bewegung der Finger in Unreal als visuelles Signal auf dem Instrument wiederzugeben. Für den Versuchsaufbau arbeiten wir mit 2 Fingern, in einer späteren Iteration liese sich dies aber auf 4 bzw. 8 Finger erweitern.

In der fast fertigen Version leuchten die Inputs auf dem Instrument auf und können „gespielt“ werden. Für eine nächste Version wäre es denkbar, das die Ringe zum Beispiel in Gelb aufleucheten die man Spielen soll, je nachdem ob man dann die richtigen Bewegungen macht, färben diese sich dann Rot oder Grün und reagieren damit dynamisch auf den Spieler.

Das größte Problem ist die unzuverläslichkeit der Übertragung. Oft wird der Code falsch interpretiert, zeitweise wurde nur noch ein Finger erkannt obwohl wenige Minuten zuvor noch alles perfekt funktioniert hat. Diese Fehler sind extrem frustrierend da sie so zufällig auftreten, das man keinen Grund ausmachen kann, warum es zum einen Zeitpunkt funktioniert, und zum anderen nicht.

Mein Fazit zur Arduino Unreal Verbindung  ist, das ich extrem stolz bin das überhaupt eine Verbindung aufgebaut wird, und wir darauf Informationen auslesen können. Jedoch ist das System extrem fehleranfällig und braucht wahrscheinlich deutlich mehr feinschliff und einarbeitung, damit alles reinbungslos klappt.

Zum Schluss haben wir noch das visuelle Feedback erstellt, welches nach und nach den Bildschirm füllt, desto mehr der Spieler spielt. Denkbar wäre für die nächste version, dass die Flecken an zufälligen Orten spawnen um so mehr Varianz zu erzeugen.

Evaluation

Test Person 01: Findet die Idee sehr cool mit der Hand einfach Töne erzeugen zu können. Das visuelle Feedback ist verständlich und motiviert mehr farben erscheinen zu lassen. Jedoch nervt die unzuverlässige Verbingung. Der Handschuh lässt sich bequem tragen und fällt nicht störend auf. Verbesserungen könnten nochan der Einheit auf der Hand gemacht werden, welche etwas steif ist.

Test Person 02: Zitat:„Mega lustig“. Seine Anmerkungen: Total spannend, stell ich mir mit mehreren ein wenig chaotisch vor, wenn man sich aber z.B. im Teamspeak abspricht, könnte da ne geile Jam Session daraus entstehen. Zusätzlich meinte die Person, dass es auch schön werde eigene entworfene Sounds hochladen zu können.