SCHRIFTLICHE PROJEKTDOKUMENTATION:

1. DIE ERSTEN SCHRITTE - EINFÜHRUNG

1.1 Ideenfindung zum Thema "Übersetzung"

Zu dem Dachthema „Übersetzung“ in diesem Semester, haben wir uns zuerst getrennt Gedanken gemacht und diese danach zusammengefasst. Inspiriert von den Datenvisualisierungen von Giorgia Lupi, zur Differenzierung verschiedener Kommunikationsmöglichkeiten bis hin zum Motion Tracking und Übertragung von Bewegungen auf ein Nagelbrett war so ziemlich alles dabei.

In der nachfolgenden Mindmap haben wir unsere Gedankengänge und Ideen zusammengetragen.

1.2 Inspirationen und Beispiele

Neue Impressionen - Workshop Light and Space:

• Projection Mapping (Animation auf verschiedene Formen/ Skulpturen/ Untergründe/ Stoffe/ Strukturen mappen/ beamen) -> Lichtershow Augsburg, Raster oder Gitterstruktur aufbauen
• Einfache Formen und kein Charakter -> Farbspiel einbauen
• Schwarzweiß und Neonfarben
• Flackernde Lichter
• Beispiel ANTIVIJ (Mapping auf abstrakte Figuren)
• Verschiedene Formen die sich unterschiedlich verhalten und immer wieder wiederholen
• Musik/ Töne müssen genau auf Animation passen
• Eine Form/ abstraktes Gesicht das sich verändert/ ausdehnt: Perspective Lyrique (architectural mapping)!

Ein Besuch von der Van Gogh Ausstellung in München hat die Begeisterung von Projection Mapping bestärkt.

1.3 Detaillierung und Visualisierung der Ideen

Im fortlaufenden Semester haben wir uns gegen das Nagelbrett entschieden und sind auf eine ganz neue Idee gekommen. Die Übersetzung sollte zwischen Toneingabe und bildlicher Visualisierung stattfinden:

- Eingabe: Keyboard

- Übersetzung: Code auf dem Computer

- Ausgabe: Bildsignal mit Projektor

Ein tanzender Marshmallow wurde dabei nicht ausgeschlossen...

2. WEITERENTWICKLUNG UND UMSTRUKTURIERUNG DES PROJEKTAUFBAUS

Um eine klarere Vorstellung von unserem Projekt zu bekommen haben wir uns ganz genau überlegt was, wie und wo wir die Installation umsetzen. Das Konzept stand schon grob, aber es gab noch einige Fragen die geklärt werden mussten. 

Um weg von der standardmäßigen Tastatureingabe durch das Keyboard zu kommen, haben wir uns stattdessen erstmal für drei Mikrofone entschieden, welche im Raum verteilt werden sollten, um mehr Bewegung und Dynamik zu schaffen. Es sollte mehreren Personen möglich sein die Installation gleichzeitig zu bedienen.

Projection Mapping einzubauen stand spätestens nach der eindrucksvollen Van Gogh Ausstellung fest und wir überlegten uns bereits, welche Skulpturen wir für das Mapping mit einbauen könnten.

Noch unklar war die genaue Visualisierung, also WAS wir zeigen wollten. Das hat sich aber nach und nach herauskristallisiert und wir sind inzwischen sehr zufrieden mit unserer Umsetzung.

2.1 Beantwortung der W-Fragen

Die Umsetzung

Wo:

• im Kellerraum der Hochschule

Wie:

• 3 Mikrofone im Raum verteilt

• 3 Projektionsflächen

• 3 Beamer

• Zusätzliche Körper und organische Skulpturen

Graphical Interface:

• Projection Mapping

Was:

• Abstrakte Formen und Farbflächen welche sich in Abhängigkeit zu den Benutzereingaben verhalten
• Jeder Ton hat eigene Farbe
• Intensität der Bewegungen steht im Verhältnis zur Lautstärke
• Die verschiedenen Mikrofone bringen die Probanden zur Interaktion miteinander, sodass jedes Individuum seinen Teil zum Gesamtkunstwerk einfließen lässt
• Eigendynamik der Probanden führt zur optischen Täuschung

2.2 Skizzen

2.3 Codeschnipsel

Der erste Code in p5.js mit dem es möglich ist, einfache Kreise durch die Lautstärke, also das MicLevel, in ihrer Größe zu verändern.

2.4 Recherche zur Software - "Projection Mapping"

Software projection mapping live:

Leider war es uns nicht möglich das Programme „Resolume Arena“, das im Light & Space Workshop verwendet wurde zu benutzen. Wir mussten eines finden, das die Visualisierung unseres Codes live übertragen kann.

Auf der Suche nach einem geeigneten Programm mit dem man live Mapping betreiben kann, sind wir auf HeavyM gestoßen.

HeavyM: https://progsoft.net/de/software/heavym

2.5 Planung und nächste Schritte

1. Zulassung für Räumlichkeiten und Geräte (Beamer) abklären
2. Erste Animationen erstellen und im Raum testen -> Einstellung der Mapping-Flächen
3. Bereits vorhandenen Code optimieren
4. Installation mit Interaktion des Benutzers testen (Mikrophone einsetzen)
5. Eventuell Skulpturen zufügen
6. 8D Musik verwenden?
7. Finale Tests

3. FINALES PROJEKT

3.1 Die letzten Änderung & Ausführung unseres Konzepts

Neue Beantwortung der W-Fragen:

Was:

Um der Installation einen roten Faden zu geben, haben wir beschlossen die Toneingabe (MicLevel) auf unsere 9 Planeten des Sonnensystems zu mappen. Bedeutet- jeder Ton visualisiert einen anderen Planeten. 

Steuern kann man die Visualisierung zusätzlich durch die Tonhöhe (Pitch), welche Einfluss auf die Dimension der Planeten und ihre subsidiären Komponenten wie z.B. Saturnringe und Monde hat.

Um das Gefühl zu erhalten, Teil der Visualisierung zu sein, haben wir den Hintergrund in eine „moving Galaxy“ verwandelt, welche den Probanden in eine andere Wirklichkeit versetzt. Durch den dreidimensionalen Effekt sieht es so aus, als ob sich der ganze Raum bewegen würde.

Was (um Gottes Willen) Dieter Bohlen damit zu tun hat, ist in unserem finalen Video erkennbar.

Wie?:

Der Funktionsmechanismus des „Herbeisingens der Planeten“ und technische Gründe bei der Ausführungs des Codes sowie die Anzahl der Schnittstellen liesen den Betrieb eines Hauptmikrofons zu, sowie unabhängig dazu noch die Möglichkeit zur Bedienung eines Keyboards. Das bedeutet, dass die Installation sowohl mit eigener Toneingabe durch das Mikrofon, als auch durch gezieltere und kontrolliert steuerbare Eingabe durch das Keyboard beeinflussen kann. Das war zu Testzwecken an dem Pitchcode auch sehr nützlich.

Projiziert haben wir auf zwei Wände und einen Globus, den wir in die Mitte, von der Decke herunter gehängt haben.

Für diesen Aufbau war ein Beamer völlig ausreichend.

Zum Beamer: Das Organisieren und Ausleihen eines Beamers war im Gegensatz zur Schlüsselübergabe kein Problem. Dank Professor Haag, Professor Muxel und Herrn Bahr durften wir uns das beste Exemplar aus der riesigen Auswahl der Hochschule aussuchen und ausgestattet mit einem 15 Meter HDMI-Kabel (man weis ja nie…) von dannen ziehen. **Vielen Dank von dieser Seite aus an die beteiligten Personen und die Hochschule!**

Coding:

Die Visualisierungen wurden über ca. 400 Zeilen JavaScript/p5.js gecodet. Um gemeinsam an dem Code arbeiten zu können, setzten wir ein Github-Repository auf, PUSH und PULL stellten sich als wahre Freunde heraus.

Graphical Interface-Projection Mapping:

Mit Hilfe der professionellen Projectionsmapping-Software HeavyM konnten wir unsere Visualisierung den Wänden der Hochschule optimal anpassen. Durch verschiedene Ebenen und Formen war es möglich einen perfekt realistischen Planeten auf unseren (selbst gekauften) Globus zu mappen und ganz besonders, die Beamerübertragung an die eher unübliche Ecke als Projektionsfläche anzupassen.

Routing des Livescripts:

Eine weitere kleine Herausforderung stellte die Übertragung des Java-Script-Liveservers auf die Leinwand dar. Wir hatten aber zum Glück auch gerade HeavyM als Software eingesetzt, da es die Möglichkeit bietet, einen Spout-Sender bzw. -Stream zu kanalisieren und live auf den Beamer zu schicken. Die genaue Konstellation ist in dem Bild „Übersicht Schnittstellen“ zu erkennen. Spout ist eine freie Software, die ebensolche Kanalisierungen in andere Software zulässt. Die Browseranzeige wiederum lies sich nicht ohne weiteres über Spout einfangen, hierzu fanden wir noch die Lösung über die Screenrecordingsoftware OBS, welche man als Spout-Sender nutzen kann. Ein ganzes Bündel an gleichzeitig geöffneter Software praktisch. Ich grüße hier den RAM des Laptops!

Wo?:

Als einer der größten Hürden unseres Projekt stellte sich tatsächlich die Organisation eines geeigneten Raumes für unsere Installation heraus. Am Anfang schwebte uns ein Kellerraum der Hochschule vor, was sich aber nach einem Gespräch mit dem AV-Studio als nicht zielführend herausstellte. Nach Anfrage vor den Weihnachtsferien bei Dekan Herrn Rothaug, konnte dieser uns einen Raum im P-Bau („Neumannbau“) in Aussicht stellen. Nachdem die von uns angestoßene Genehmigung dann da war, sollte dann ein Schlüsselpfand bei der Kasse der Finanzabteilung hinterlegt werden, mit deren Quittung könnte man sich dann bei dem Haustechnikbeauftragten einen Schlüssel ausleihen - eine klassische Rollenspielaufgabe also: Bringen Sie dem Wächter des magischen Tores die drei silbernen Schlangenzungen von der Hüterin des goldenen Schatzes um ihn zu besäftigen. Die Hüterin des goldenen Schatzes war aber auch nach gut einem dutzend Anrufen auf allen Durchwahlen inklusive zweier Nachfragen und Durchstellungen bei Sekretariaten der Gestaltungs- und Elektrofakultät nicht zu erreichen. So blieb entgegen dem Ratschlag der Haustechnik nichts anderes übrig als persönlich vor Ort den Dingen nachzugehen. Das hat dann - Gnade uns Gott- durch glückliche Umstände funktioniert. Doch wielange dürfen wir den freigegebenen Raum benutzen? Hörer zur Hand nehmen und sich ganz nach Asterix' „Haus das Verrückte“ macht, auf der Suche nach dem Passierschein A38. Als man dann nach vielen Weiterleitungen wieder beim ersten Gesprächspartner gelandet war, konnte schließlich über das RZ das Rätsel gelüftet werden: Wir können in den Raum!

3.2 Der Drehtag

Da wir mit einem Projektor gearbeitet haben und damit auf eine dunkle Umgebung angewiesen waren, suchten wir uns als Drehstart den späten Nachmittag bei hereinbrechender Dunkelheit aus.

Im P-Bau haben wir dann Platz für unsere Installation geschaffen, alles aufgebaut, Projekor eingestellt und den Globus mit Taschentüchern beklebt um eine bessere Mapping-Fläche zu bekommen.

Auch der Code war noch nicht ganz fertig weswegen wir diesen anschließend zusammen ergänzt haben. 

Nachdem der Computer nach einigen Stunden komplett überhitzt und überfordert war, mussten wir leider zwischendurch eine Pause einlegen die wir für die ersten Aufnahmen genutzt haben.

Zugegeben wurde es ein sehr langer Abend, bis in die Nacht, aber mit großem Durchhaltevermögen, waren dann die Aufnahmen endlich im Kasten.

3.4 Abschlusspräsentation