IASLonline NetArt: Theorie

Thomas Dreher

Geschichte der Computerkunst

V. Reaktive Installationen und Virtuelle Realität
V.2 Nahtlose Totalsimulation versus Schnittstellenarchitektur

in English

• V.2 Nahtlose Totalsimulation versus Schnittstellenarchitektur
• Inhaltsverzeichnis
• Bibliographie
• voriges Kapitel
• nächstes Kapitel

Das Ziel von Präsentationen mit Datenhelmen ("Head Mounted Displays") und Datenhandschuhen war, den Zugang zur virtuellen Realität so unbemerkt wie möglich zu gestalten. Beobachter bewegen ihren Körper, wie in alltäglicher Körperkoordination gewohnt, in einer Welt der Gravitation, während sie sich visuell in einer gravitationsfreien Simulation orientieren. 1 Beobachter sollten sich in simulierten Welten zwar so bewegen können als wären diese real, zugleich aber sollten sie in der Virtuellen Realität zu Operationen in der Lage sein, die über Körperbewegungen unter Gravitationsbedingungen hinaus gingen.

Fleischmann, Monika/Strauss, Wolfgang: Home of the Brain, Virtual Reality Installation, 1991/92 (Kluszczynski: Data 2011, S.70).

In Installationen wie "Home of the Brain" (1991/92) von Monika Fleischmann und Wolfgang Strauss 2, "Placeholder" (1993) von Brenda Laurel und Rachel Strickland 3 sowie "Osmose" (1995) von Char Davies 4 erhalten Beobachter über die VR-Interfaces für Kopf und Hände, die sie tragen, Zugang zu einem durch Geh-, Hand- und Augenbewegungen explorierbaren Bildraum. Die Installationen für Datenhelme und Datenhandschuhe benötigen eine Fläche, auf der sich Beobachter hindernisfrei bewegen können, während sie eine simulierte Welt erforschen. So umgeben in "Placeholder" Steine die Aktionsräume von zwei Beobachtern mit Datenhelmen und Datenhandschuhen. Durch Berührungen mit den Steinen erfahren sie taktil die Grenze ihres realen, gravitationsgebundenen Aktionsraumes, während sie sich zugleich in einem von drei virtuellen Räumen gavitationsfrei bewegen. 5

Laurel, Brenda/Strickland, Rachel: Placeholder, Virtual Reality Installation, 1993.

Diesem bei "inclusive environments" `nahtlosen Eintritt´ in die Simulation steht die `Naht´ der "responsive environments" von Krueger, Shaw oder Weibel (s. Kap. V.1) in technischen Interfaces zwischen der Welt der Schwerkraft und Welten der Simulation gegenüber. 6 Die `Naht´ als technisches Interface und kognitive Schnittstelle kann selbst zum Thema eines als "responsive environment" realisierten Beobachtungsmodells werden. 7

Davies, Char: Osmose, Virtual Reality Installation, 1995.

In dem von Daniel J. Sandin, Thomas A. DeFanti und Carolina Cruz-Neira zwischen 1991 und 1993 am Electronic Visualization Laboratory (University of Illinois, Chicago) entwickelten "CAVE" (Cave Automatic Virtual Environment) können von hinten auf drei bis sechs Wänden eines 3 x 3 Meter großen Raums mit Videobeamern Computeranimationen projiziert werden, die abstrakte Modellwelten ebenso wie Rundum-Simulationen einer Welt oder eines Weltzustands (zum Beispiel Rekonstruktionen des Originalzustandes zerstörter Denkmäler) sein können. Beobachter tragen Stereobrillen (LCD shutter glasses) mit Sensoren (zwischen beiden Gläsern), die ihren Standort inklusive Kopfbewegung erfassen. Perspektivische Verzerrungen bei Schrägansicht auf die Projektionswände werden aufgehoben:

Therefore, as the viewer moves around in the environment, the off-axis stereo projection is calculated according to his/her position with respect to the walls. 8

Sandin, Daniel J./DeFanti, Thomas A./Cruz-Neira, Carolina: CAVE, reaktive Installation, Electronic Visualization Laboratory (University of Illinois, Chicago), 1991-93.

Die Installation eines anderen, für "CAVE" programmierten Werkes kann auch die Montage anderer technischer Interfaces zur Steuerung erfordern. So können Beobachter in "ConFIGURING the CAVE" (1996) von Jeffrey Shaw, Agnes Hegedüs und John Lintermann durch sieben Bildwelten navigieren, indem sie Glieder einer Puppe bewegen. 9 Den Wechsel von Bildwelt zu Bildwelt erzielen Beobachter, indem sie die Hände der Puppe auf deren Augen legen.

Shaw, Jeffrey/Hegedüs, Agnes/Lintermann, John: Con FIGURING the CAVE, reaktive Installation im CAVE, 1996.

Die Besucher sind einerseits `externe Beobachter´, welche die Programmierung einer virtuellen Welt erforschen und deren `internen Beobachter´ 10 rekonstruieren, andererseits stehen sie bereits in einem Simulationstheater, das sie in seine Simulationswelt `nahtlos´ hineinzuziehen versucht. Doch der reale, als Simulationsgelegenheit dienende Raum ist von begrenzter Größe (10' x 10' x 9'/3,05 x 3,05 x 2,74 m) und die projizierte Simulation bleibt eine unbetretbare, rein optische Welt der Täuschung. Beobachter können sich im kleinen Kubus des CAVE nur begrenzt bewegen und die Tiefe des Bildraums muss in der Körperkoordination als nicht betretbare `Spiegelwelt´ hinter den Projektionswänden präsent bleiben.

Dave Papes "Crayoland" (1995) 11 provoziert Beobachter dazu, sich umzuwenden, um das mit Kreide gezeichnete und gescannte Landschaftspanorama zu verfolgen. Die Grenzen des virtuellen Raums (200´ x 200´/60,56 x 60,56 m) und die Grenzen des Realraums werden miteinander koordiniert. Im Gegensatz zu "Crayoland" versperren in "ConFIGURING the CAVE" wiederkehrende Muster aus Zeichenkonfigurationen oder abstrakten Formen die Bildtiefe: Statt des Vorwärtsstrebens mit einem Tracker im Virtuellen Raum wird die über die Puppenglieder steuerbare Veränderung der den Beobachter umfassenden vierseitigen Animation zum naheliegenden Beobachterverhalten. Der Tiefensog (Immersion) wird durch ein Gleiten ersetzt.

Pape, Dave: Crayoland, reaktive Installation im CAVE, 1995.

Während der Bewegung in der virtuellen Welt läuft im Gedächtnis die Selbstverortung in einem Realraum mit, der mehrere Schritte in einer Richtung zu gehen verhindert. Im Virtuellen sind größere Distanzen durch Operationen am technischen Interface `zurücklegbar´: Beobachter `gehen´ durch simulierte Welten meist, während sie im Realraum stehen. Wenn Beobachter sich drehen, um die Simulation auf verschiedenen Wänden und Boden oder Decke zu sehen, so vollziehen sie eine Art `Stehdrehung´, während sie in der virtuellen Welt eine Kreisbewegung ausführen: Sie bewegen sich mit den Augen in einem anderen Radius als mit dem Körper. Es ergibt sich eine `Naht´, über welche die `nahtlose´ Navigation in der virtuellen Welt möglich wird.

Die am technischen Interface des "CAVE" zur Navigation in virtuellen Welten nötigen Bewegungen mit einem Tracker und dem eigenen Körper erfordern keine Einübungen. Beobachtern kann das Interface als intuitiv leicht bedienbarer Zugang zur Virtuellen Welt erscheinen, doch `nahtlos´ im Sinne der Virtuellen Realität mit Datenhelmen und Datenhandschuhen ist es nicht: Technisches Interface (Interface 1) und kognitives Beobachter-Interface der Bewegungskoordination (Interface 2) müssen so aufeinander abgestimmt werden, dass zwei verschiedene Räume in kognitiver Vermittlung (Interface 3, s. Kap. VII.2.2, VIII.2) einander zugeführt werden, woraus sich zur Entwicklung von CAVE-adäquaten Handlungsplänen und -schemata Anforderungen an weitere Stehdrehungen, Kopfwendungen und Trackeranwendungen ergeben. Wegen dieser Situation lässt sich CAVE als steuerbares Bewegtbild-Panorama beschreiben. 12

Maurice Benayouns CAVE-Installation "World Skin, a Photo Safari in the Land of War" (1997) versetzt Beobachter in die Position von Kriegsschauplatz-Touristen. Simulationen von Soldaten, Panzern und Ruinen in einer gespenstisch verdunkelten Welt verstellen Beobachtern Blicke und Wege in die Tiefe. Das technische Interface umfasst zusätzlich zum Navigations-Interface für einen Beobachter drei von der Decke hängende Fotokameras für weitere Beobachter. Fotografiert der Beobachter mit einer Kamera eines der an den Seiten des CAVE erscheinenden Kriegsschauplatz-Motive, so wird das Bild im Bereich des angeklickten Ausschnitts gelöscht und durch schattenwerfende Umrisse der gelöschten Personen und Gegenstände ersetzt. Wenn die Touristen des virtuellen Kriegsschauplatzes wiederholt Bilder geschossen haben, dann werden die Klickgeräusche der Kameras durch Gewehrfeuer ersetzt.

Benayoun, Maurice: World Skin, a Photo Safari in the Land of War, reaktive Installation im CAVE, 1997.

Mit dem Paradox der durch die 3D-Simulation `belebten´, aber unbewegten Kriegsschauplatz-Szenerie aus verräumlichten Kriegs-Stills schafft Benayoun einen zugleich narrativen wie konzeptuellen Kontext, der für die technische Plattform CAVE besonders geeignet ist. Der Immersions-Erwartung, die Rundum-Simulationen provozieren, begegnet Benayoun mit Erwartungen der Kriegsschauplatz-Touristen, die vergangenen Schrecken so anschaulich wie möglich, aber nicht `hautnah´ zu erfahren. Die Pappkameraden-Situation verhindert Heroisierung und thematisiert zugleich Erwartungen an Simulationen historischer Konstellationen (Orte und Ereignisse). 13

Während Beobachter in Installationen mit Datenhelmen und Datenhandschuhen ("inclusive environments") ihre Bewegungskoordination unter Gravitationsbedingungen mit Simulationen schwereloser Objekte in einem Illusionsraum `nahtlos´ verbinden, orientiert sich ein Beobachter in einer Simulation im CAVE an einem Übergang (`Naht´), da seine Bewegungen im Realraum nur zum Teil der Navigation in einem beliebig sich auf allen Seiten in die Tiefe erstreckenden Simulationsraum dienen.

In "responsive environments" (s. Kap. V.1) müssen Beobachter ihre Körperbewegungen auf je Installation anders gestaltete technische Interfaces anpassen, um die Navigationsmöglichkeiten in Bildräumen erforschen zu können. Ohne kognitive Rekonstruktionen (Beobachtungsoperationen, Interface 2) der Bildraum-Auswirkungen von Körperbewegungen am technischen Interface (Interface 1) lassen sich "responsive environments" nicht erfahren: Die `Naht´ als Koordination der technischen Schnittstelle mit der kognitiven Schnittstelle (für die Selbstorientierung und die Koordination von Körperbewegungen) provoziert, verschiedene Beobachtungsanforderungen von Bild- und Realraum miteinander zu koordinieren. Die Koordination der beiden Selbstverortungen durch Real-/Bildraum- und Bild-/Realraum-Switche erfordert eine sich mit der Erkenntnis der Installationsbeschaffenheit modifizierende Planung prozessualer Werkbeobachtung: Die Körperkoordination auf dem technischen Interface im Realraum und die Verortung im Bildraum werden in Beobachtungsoperationen rekoordiniert, um die gewonnenen Vorstellungen von Installationsfunktionen an neue Erfahrungen anzupassen und um mit neuen Fragen an das Installierte auch neue Verfahren der Erprobung planen zu können. Diese Rekoordination konstituiert Interface 3, die Vermittlung von Interface 1 und 2 (vgl. Kap. VII.2.2, VIII.2).

Das Was und Wie der Beobachtung wird in den drei oben vorgestellten Installationsweisen (`Naht´ in "responsive environments", `nahtlos´ in Virtual Reality, `Naht/nahtlos´ im "CAVE") als Schnittstellenproblematik vorgestellt, aus der sich für die zwischen Real- und Bildraumorientierung vermittelnden Beobachtungsoperationen (Interface 3) unterschiedliche Anforderungen ergeben.

Dr. Thomas Dreher
Schwanthalerstr. 158
D-80339 München.
Homepage mit zahlreichen kunstkritischen Texte, u.a. zur Konzeptuellen Kunst und Intermedia Art.

Copyright © (as defined in Creative Commons Attribution-NoDerivs-NonCommercial 1.0) by the author, April/July 2012/Update April 2023.
This work may be copied in noncommercial contexts if proper credit is given to the author and IASL online.
For other permission, please contact IASL online.

Wollen Sie dazu Stellung nehmen oder einen eigenen Tip geben? Dann schicken Sie uns eine E-Mail.

Anmerkungen

1 Davies/Harrison: Osmose 1996, Kap. The Effect Osmose Has on Participants: "They [the immersants] seemed to involve an altered mind/body state. In this state, it seems they paradoxically feel both disembodied (because of the visual aesthetic, being able to float and pass through things) and embodied (due to reliance on breath and balance), simultaneously."
Über Techniken Virtueller Realität und ihre Anwendungen in "inclusive environments" (s. Anm.6): Dinkla: Pioniere 1997, S.57-60; Grau: Kunst 2001, S.118-133; Halbach: Interfaces 1994, S.170,187-214; Hattinger/Russel/Schöpf/Weibel: Ars Electronica 1990; Heim: Realism 1998, S.98-107; Hünnekens: Betrachter 1997, S.54f.; Krueger: Reality 1991, S.65-76; Lovejoy: Currents 1997, S.203-208. zurück

2 In "Home of the Brain" wird in der virtuellen Welt der Diskurs über Virtuelle Realität mittels Äußerungen von Joseph Weizenbaum, Marvin Minsky, Vilém Flusser und Paul Virilio thematisiert. Diese vier Computerwissenschaftler und Medienphilosophen `bewohnen´ vier Häuser, die um ein "Forum" angeordnet sind. Das "Technoimaginäre" (s. Kap. IV.2.1.4.4) erhält im nahtlosen Zugang zur Bildsimulation ein Medium, indem es sich zugleich beschreiben und vorführen kann. In diesem Virtuellen Raum führten vor allem Beobachter mit Behinderungen auch unbehindert nicht mögliche Bewegungen aus (Hardware: Computer von Silicon Graphics und Apple, VLP-Dataglover, Eyephone. Software: Stew, Wavefront, In-House SW). Lit.: Fleischmann: Jetztzeit 1996, S.401f.; Grau: Kunst 2001, S.138-176; Kluszynski: Data 2011, S.14f.,24,26,41f.,66-73. zurück

3 Hardware: Silicon Graphics Onyx Reality Engine, 2 Personal Computer ("PC clones") mit 2 Crystal River Engineering Convolvotrons, Macintosh II Computer mit Sample Cell Audio Processing Karte, 2 Silicon Graphics VGX Computer, NeXT Computer, Virtual Research VR Helme, Sony Mikrophone, Yamaha Klangprozessoren, Sensor System "the Grippees" (von Steve Saunders für "Placeholder" entwickelt). Programmierer: Raonull Conover, Glenn Fraser, Graham Lundgren, Catherine McGinnis, Douglas McLeod, Michael Naimark, Chris Shaw, Rachel Strickland, Rob Tow, Lloyd White. Software: C, UNIX, Minimal Reality Toolkit, ALIAS Animationssoftware, TCP. Lit.: Hayles: Virtuality 1996, S.15-21; Heim: Realism 1998, S.68-72, Fig.3.5-3.7; Laurel/Strickland: PlaceHolder 1994; Laurel/Strickland: Placeholder 1996; Laurel/Strickland/Tow: Placeholder 1994; Lovejoy: Currents 1997, S.204f. zurück

4 Beobachter erhalten VR-Interfaces außerhalb einer Kammer. Zwischen Himmel, Wolken, Wasser, Ästen und Pflanzen bewegen sich Beobachter mit VR-Interface in der Kammer unter Anderem durch Ein- und Ausatmen. Das führt im Virtuellen Raum zu Auf- und Abwärtsbewegungen. Hardware: Silicon Graphics Onix Reality Engine 2, Division DVisor HMD, Polhemus Fastrak zur Messung der Kopfposition und der Wirbelsäulenneigung. Atemweste zur Messung von Dehnung und Kontraktion der Brust. Animation: Georges Mauro mit SOFTIMAGE 3D ("SoftImage SAAPHIRE and DKIT development libraries...SGIs Performer and GL graphics libraries." (Davies/Harrison: Osmose 1996, Kap. Technical Details)). Custom Software: John Harrison. Klang: Rick Bidlack, Dorta Blaszczak mit MIDI auf Macintosh Computer. Lokalisierung: Crystal River Acoustetron. Lit.: Davies/Harrison: Osmose 1996; Grau: Virtuelle Kunst 2001, S.188-194; Hansen: Bodies 2006, S.108-113,135; Heim: Realism 1998, S.162-167,171, Fig.6.1-6.4; Lunenfeld: Davies 1996; Manovich: Language 2001, S.261; Paul: Digital Art 2003, S.126f. zurück

5 Die Beobachter werden durch die Datenhelme an drei Plätze – eine Höhle, ein Wassserfall, ein Flußtal – in der Umgebung des Banff National Park in Alberta/Kanada versetzt. Dort erscheinen sie wahlweise als "Spider, Snake, Fish, and Crow." (Heim: Realism 1998, S.71; Laurel/Strickland/Tow: Placeholder 1994. Vgl. Hayles: Virtuality 1996, S.17). zurück

6 "Inclusive environments": Bricken: Worlds 1991, S.364.
"Responsive environments": s. Kap. II.3 mit Anm.14. zurück

7 Die Anregung zur Verwendung der Begriffe "Naht" und "nahtlos" geht auf Mark Chalmers´ Gebrauch der Begriffe "seamful" und "seamless" zurück (Chalmers/MacColl: Design 2003). Vgl. Strauss/Fleischmann: Architektur 2003, o.P., Kap. Das Verschwinden der Interfaces: "Die neuen Schnittstellen zwischen Mensch und Maschine stellen keine Barriere mehr dar, sondern es sind Schnittstellen, die die Tendenz haben, zu verschwinden oder unsichtbar zu werden."
"Die Schnittstelle als Nahtstelle": Neitzel/Nohr: Spiel 2006, S.16. zurück

8 Cruz-Neira/Sandin/DeFanti: Surround-Screen 1993, S.137. Technische Ausstattung: Cruz-Neira/Sandin/DeFanti: Surround-Screen 1993, Chapter 1.3, S.136ff. Vgl. Grau: Kunst 2001, S.14f.,126f.,154; Heim: Realism 1998, S.99-107; Kacunko: Circuit 2004, S.111,642; Robbin: Shadows 2006, S.123-127. zurück

9 Shaw: Movies 2002, S.271f.; Paul: Digital Art 2003, S.128f. zurück

10 Der "interne Beobachter" besteht aus den programmierten Möglichkeiten für (externe) Beobachter, Systemfunktionen über technische Interfaces zu aktivieren (Dreher: Weibel 1997, S.60, Anm.49). zurück

11 Pape: Crayoland 2002. zurück

12 Vgl. Heim: Realism 1998, S.98-107 über die Unterschiede zwischen "perceptive immersion" in "HMD VR" und "apperceptive immersion" in "CAVE VR". zurück

13 Die Besucher des Linzer Ars Electronica Center erhielten beim Verlassen des CAVE Farbdrucke der von ihnen fotografierten Motive. Hardware: Zwei Silicon Graphics Onyx Reality Engines. Programmierung: Patrick Bouchaud, Kimi Bishop und David Nahon. Ton: Jean-Bapiste Barrière. Lit.: Benayoun/Barrière: World 1998; Grau: Immersion 2004, S.268; Hansen: Bodies 2006, S.88-94, Fig.1.8; Wilson: Information 2002, S.705ff. Dank an Maurice Benayoun für Informationen zu technischen Fragen. zurück