IR-LEDs og IR-kamera som input

Forsøkene med forskjellige sensorer ga to viktige føringer i forhold til valg av sensortyper:

• Sensorene som ikke krevde fysisk kontakt, for eksempel lyssensoren, var tilsynelatende mer egnet til situasjonen, og mer fleksible i hva de kunne brukes til. Dette fikk meg til å tenke mer mot forskjellige varianter av bevegelse og posisjonering som input - interaksjon i "løse lufta".
• Ledninger er et problem hvis man skal feste sensorer til noe som beveger seg, som skuespillere eller rekvisitter. Det finnes trådløse systemer for dataoverføring (blandt annet en trådløs i-Cube-boks som finnes på AHO), men dette kan involvere mye og dyrt utstyr hvis det er snakk om mange enheter som skal registreres, og de er klumpete for skuespilleren å ha på seg.

I forhold til ledninger er det en fordel å benytte sensorer som mest mulig kan bygges inn i rommet og den fastmonterte scenografien. Hvis man vil måle skuespillernes bevegelse og posisjon med sensorer som infrarød avstandsmåler, vil dette dermed begrense seg til å måle avstanden fra en skuespiller eller en rekvisitt til et fastmontert punkt i scenerommet. I tillegg vil målingen begrenses til området for sensorens rekkevidde.

Hva så hvis man for eksempel vil måle avstanden mellom en skuespiller og en løs rekvisitt, eller mellom to skuespillere, og bruke dette som input? Videotracking er en mulighet; man setter opp et videokamera og gir dermed systemet et "øye" som ser det området man vil, for eksempel scenen i fugleperspektiv. Problemet er å få systemet til å skille mennesker og objekter fra scenografi og bakgrunn i skiftende lysforhold. En måte å løse dette på, er å bruke infrarøde LEDs og IR-kamera.

Med litt gode tips fra medstudent Stig Skjelvik, testet jeg dette. Jeg monterte en IR-led til et lite 3V-batteri – dette blir en liten pakke som lett kan plasseres i kostymene til skuespillerne eller i rekvisitter. IR-LEDen gir ikke noe lys som er synlig for menneskeøyet, men et videokamera eller et digitalkamera er følsomt også for disse frekvensene. Hvis man dekker til kameralinsen med en bit fremkalt, "svart" (overeksponert) fargefilm, vil så godt som alt synlig lys bli filtrert vekk, men IR-strålingen er fremdeles synlig. Man får et mørkt videobilde, hvor man kun ser IR-LEDene som lyse prikker. Dermed kan man spore hva enn man har utstyrt med en IR-LED, uavhengig av lysforholdene på scenen.

Første prototyping

(Denne bloggen får med dette et snev av språkforvirring. Litt engelsk, litt norsk. Sånn er det bare.)

Onsdag 15 og torsdag 16 februar gjorde jeg de første sensorforsøkene med skuespillerne som er med i hovedproduksjonen for denne oppgaven, "Mitt lille en-hund-show". Denne første testingen hadde hovedsakelig tre formål:

• Å la skuespillerne få prøve interaksjon med sensorer i en rollesituasjon, og å få tilbakemelding på deres umiddelbare opplevelser.
• Å sette opp en første fungerende prototyp, og med det danne meg et bilde av hva som skal til for å løse dette praktisk/teknologisk, samt hva som fungerer og hva som ikke fungerer av sensorløsninger og lyd.
• Å være publikum, og danne meg et bilde av hvordan dette faktisk vil oppleves.

Oppsettet bestod av fem ulike sensorer, koblet til en i-cube x-boks som gjør om sensorinformasjon til MIDI. Jeg lot Max bruke denne MIDI-informasjonen til å kontrollere lydparametre i Reason, også via MIDI.

Systemet virket bra, med knapt merkbar forsinkelse, når det først var satt opp. Men jeg hadde en del problemer med å få alle delene av systemet opp og gå samtidig. Noe av grunnen til dette kan ha vært at det var veldig mye MIDI-kommunikasjon på kryss og tvers i systemet, blandt annet to forskjellige MIDI-hardwareenheter samtidig.

Sensorene jeg brukte, var en berøringssensor, en tråkksensor, en trykksensor, en IR-sensor (måler avstand til objekt i en rett linje ut fra sensoren) og en lyssensor.

Illustrasjon av testoppsettet

Testingen foregikk ved at skuespillerne improviserte rundt forskjellige scener med forskjellige sensor- og lydoppsett. De ble instruert om hva sensorene gjorde, og om hvordan jeg hadde tenkt de skulle bruke dem, men de ble også oppfordret til å eksperimentere med dem og prøve ut forskjellige ting.

skuespillerne improviserer med sensorer

Testingen ga veldig mye viktig erfaring for den vidre jobbingen, både i forhold til tekniske muligheter og begrensninger, skuespillernes opplevelser og publikums opplevelser. Noen hovedpunkter:

Skuespillerne følte at sensorene tok mye oppmerksomhet, at de var uvant. Sensorsystemer må inn tidlig nok i prosessen til at skuespillerne kan ha tid til å lære å bruke dem, og at lyd- og interaksjonsdesigneren kan ha tid til å tilpasse sensorene til skuespillernes behov. Dette må gjøres gjennom testing og forbedring.

Skuespillerne opplevde at de sensorstyrte lydene var som nye motspillere i stykket. Disse nye "motspillerne" opplevdes, av både skuespillerne og meg som publikumer, som veldig bastant og statisk i uttrykket; sensorene gjorde sin greie, på samme måte hele tiden. Lydene og interaksjonsmønsteret i denne testingen var veldig grove og ubearbeidede, men dette understreker allikevel behovet for variasjon, for et mer komplekst liv i slike "levende" installasjoner. Hvis ikke blir de fort mekaniske , døde og irriterende. Dette gjelder særlig når lydfiler trigges ved interaksjon.

Vi kan skille mellom funksjonslyd, ambiens og musikk som hovedgrupper for lyd i teater. Interaktiv funksjonslyd, som imaginære objekter skapt med lyd (en "dør" eller et "piano"), er en veldig opplagte måte å bruke interaktiv lyd på, og det har sine åpenbare bruksområder. Men det opplevdes allikevel mer interessant når skuespillerne påvirket ambienslyden, ved for eksempel posisjonering. Det beste er nok en kombinasjon av disse.

Sensorene som krevde fysisk berøring med hendene på et lite område, trakk mye oppmerksomhet mot selve interaksjonen og mot sensoren, og det fikk fort et preg av komedie. Hvis ikke dette er et poeng, bør man unngå det. IR-sensoren og lyssensoren – de ikke-fysiske sensorene – opplevdes som de mest egnede og brukbare.

Interaksjonen med lydlandskapet må stå i forhold til skuespillerens handling. Hvis skuespilleren gjør en dramatisk handling, må endringen i lyd være tilsvarende dramatisk for å bygge opp under det skuespilleren prøver å uttrykke. Hvis ikke kan lyden faktisk stå i veien for uttrykket og "avdramatisere" det.

Interaktiv lyd i teatersammenheng er trolig ikke et surrogat for en lydtekniker; for å bruke lyd interaktivt på en god måte, er det mest hensiktsmessig å ha en interaksjon mellom skuespiller, system og systemoperatør. Systemoperatøren styrer systemet fra innsiden, og interagerer med skuespilleren gjennom systemet.

Et system med tre aktører

Cue or interact?

The most common way of controlling sound in a theater performance is by cuing it; the sound engineer starts and stops the different sounds at predetermined times through the performance, and the actors may also cue their actions to predetermined cue-points in a sound passage. This is in fact also interaction through sound, in the same sense as several musicians playing together. The sound engineer interacts with the actors and the other people involved (the light engineer, the crew behind the stage, etc.) to create a total experience where all the parts fit smoothly and synced together. Manual cuing is the simplest way of placing sound right in a performance; whenever cuing is the best solution to a problem, then cue.

So when is it a point to use sensor technology for such interaction? Sensor interaction should not be just for the sake of using sensors; it should add something to some part of the performance and the experience of it. But that's not to say that everything cueable is better off cued. Making sound interactive changes the way the actors relate to the sound, which in turn changes the audiences experience. When an actor interacts with a computer system, there's a possibility of zero reaction lag and a more organic relationship between the sound and the action on stage. The actor does not wait for the sound to be cued; he makes the sound himself, and explores the sounds of the stage surroundings, just like anyone would explore and experience in real life.

Can sound be a character?

In a theatre play or a movie, sound is used to describe situations or surroundings, and to create emotions in the audience. But in what sense can sound act as an independent character in the play?

A fictional character can be described as "the person or conscious entity we imagine to exist within the world of a work of fiction" (Wikipedia). Characters can be real people within the fiction world, but they can also be used as impersonations of something abstract, like an emotion. But what if we go the other way around; if sound, say a piece of music, is used to generate an emotion at different stages of a play, could that piece of music be thought of as a character in the play? Could sound alone constitute a role?

About the project

This is the blog of my diploma project, acting audio.
In this project I will explore the use of sound as an interactive element in theater. Some key questions are:

• In what ways can interactive sound be used in theater? What role can it play?
• How can sound influence the way a theater play is interpreted?
• How does an interactive sound system influence the actor's process?
• What does an interactive sound design do to the audience's experience of a theater performance?

Through this spring term I will research, test, learn, prototype, think, watch, listen, write, scratch my head, test something else, prototype again, and so forth. Hopefully, this will result in a sound design for a theater play, where interaction between sound and actors (and perhaps audience) is used in a meaningful way.

I'll be working together with two theater productions. The main work will be for an extract of "Mitt lille en-hund-show" by Kristin Aa. Opdan, based on texts by Gro Dahle. Directed by Kristin Aa. Opdan. This production is to be performed live as a part of my final project presentation. In addition to this, I'll be working with a production at Kunsthøgskolen i Oslo (KHIO): an extract of "Emigrantene" by Slavomir Mrozek. Directed by Kristina Kjeldsberg, scenography by Lisa Jørgensen. This production is to be performed at KHIO in april, as a student project in direction and scenography. For my project, this will be an extended case study.

I'll be using Max/MSP/Jitter as the main software tool in this project. At the moment, I'm learning how...