Tilhører / Auditor – 2014
Lydinstallasjonen Tilhører ("Auditor") kan oppleves i Foajéhagen ved biblioteket på Kronstad. Den grunnleggende ideen er å forflytte lydbildet fra en jernbanestasjon, det vi kaller Sonic Augmented Reality, ved hjelp av lyd. Passende nok går jernbameskinnene gjennom området brukerne beveger seg i, noe som forsterker opplevelsen. Her er det satt opp noen Bluetooth-beacons (små radiosendere), som brukes til å posisjonere de som opplever verket. De må ha med seg en iOS-enhet med en egen app, som kommuniserer med radiosenderne og styrer lyden. Vi hører miljølyder, og blir "tilhørere" til en rekke bruddstykker fra "mobilsamtaler".I første omgang kan det hele fremstå som om en bare får spilt av et lydstrekk, som er noenlunde tilpasset miljøet. Noe av det første en oppdager er imidlertid at mange av lydene endrer seg med orienteringen. Snur brukeren seg rundt, dreies lydbildet, som det ville gjort i "virkeligheten". Brukeren må dessuten bevege seg for å oppleve det hele, da nærheten til de ulike senderne er bestemmende for hva som spilles av.
En skjematisk skisse av oppsettet:
Vi har også gjort forskning på brukernes opplevelse. Det slår meg samtidig at slike utviklingsprosesser er nærmest umulig å "forske" på i tradisjonell forstand. Du har i alle fall ikke et statisk objekt, egnet for "objektiv" analyse. Det mest vektige vi finner ut skjer nærmest integrert i selve utviklingsprosessen, gjerne lenge før vi har et fungerende produkt. Det foregår typisk ved at vi kjapt setter opp senderne, gjør noen endringer i programvaren, får en feil, endrer litt igjen, tenker litt, gjøre en liten endring igjen osv. I løpet av noen timer kan vi ha gjort mange forskjellige endringer, og kommet til konklusjoner, som er ekstremt vanskelig å dokumentere på en noenlunde etterrettelig måte. Det nærmeste jeg kommer er dermed mine egne refleksjoner omkring prosess og resultat, noe som kun lar seg gjøre ved å være rimelig på innsiden i selve prosessen.
Noe av det som er mest spennende er vekselvirkningen mellom tekniske forutsetninger og måten å fortelle på. Johannes kan konkludere med at noe er vanskelig, eller umulig å få til med de gitte tekniske forutsetningene, som igjen fører til at vi må tenke annerledes i forhold til hvordan vi forteller. Jeg planlegger riktignok i forhold til et ønsket uttrykk, men er den første til å innrømme at resultatene gjerne kommer som en følge av praktisk uttesting: dette funker - vi går for denne løsningen! Eller, her er det noe som ikke fungerer så bra: dette må vi skrote, kan vi i stedet prøve dette?
Det er utvikling, ikke forskning, vil mange kunne hevde. Mulig det, men skulle vi "forsket" oss fram ville produktet garantert blitt annerledes - og jeg tror i negativ forstand. Utfordringen blir dermed: hvordan komme fram til noenlunde sikker kunnskap om det vi driver med, som andre kan ha reell nytte av i egne prosjekter og påfølgende forskning.
Dette skulle jeg gjort for snart et år siden. Det er ikke så lett å vise folk en lydinstallasjonen. Når jeg skal fortelle folk om "Tilhører" blir det derfor gjerne til at jeg ender opp med å be dem ta en tur og høre selv. "Tilhører" er en lydinstallasjon som styres av en app (utarbeidet sammen med Johannes Ringheim, som også har programmert det hele). Appen kontrollerer et lydbilde med utgangspunkt i brukerens posisjon og orientering. Ideen er at posisjoneringen skal være mer presis enn hav en oppnår med GPS, samt kunne fungere både innendørs og utendørs. For å oppnå dette har vi brukt Bluetooth beacons, noe som rent teknisk har vært mindre vellykket. Dvs dette fungerer fint, men vi har vært nødt til å tilpasse hele applikasjonen ut i fra det faktum at Bluetooth LE faktisk ikke er særlig godt egnet til det vi ønsker å oppnå. I alt står det seks sendere i hagen. Brukerens posisjon i forhold til senderne påvirker avspilling av seks ulike fortellinger og en del effektlyder. I tillegg er det et underliggende lydspor med miljølyd.
Når jeg først fikk rotet meg til å gjøre noe med hensyn til dokumentasjon, så tok det sånn ca fem minutter. Oppsettet er enkelt. I stedet for å koble headset til enheten som styrer avspillingen, så koblet jeg denne direkte i kamera: Videoen nedenfor er dermed et salgs subjektivt kamera, som viser mine bevegelser samtidig som lydsiden gjenspeiler det jeg ville hørt i headsetet. Senderne er plassert langs sidene, og i videoen nedenfor beveger jeg meg noenlunde langs denne banen.
Orientering er et poeng her, lydbildet panoreres i noenlunde sammenfall med at jeg snur meg. Det betyr at opplevelsen blir best ved å høre dette opptaket med headset. Videoen gir på ingen måte en fullstendig opplevelse av verket:
Vi hører her forskjellige stemmer, i form av bruddstykker fra fiktive mobilsamtaler. Hver stemme er knyttet til en sender. Når appen detekteren en sender som den som er "nærmest", så spiller den av en og en dialoglinje. Når jeg beveger meg videre kommer andre stemmer nærmest, og avspillingen av disse overtar i lydbildet. Når jeg kommer tilbake til en sender som jeg har vært nær tidligere, holder appen orden på hvilke lydfiler (dialoglinjer) jeg allerede har hørt og spiller av der jeg slapp.
Dialoglinjene spilles av slik (engelsk oversettelse) i denne videoen. Hver avspilling blir imildertid unik ved bruk av selve applikasjonen, avhengig av hvordan brukeren beveger seg.
It is close to the National Library
Have you been there?
You have to check it out next time
I met Eva. She was not happy.
But she told me to say hello.
No, I'm not at home today.
I told you. They are working on the line.
They will be finished tomorrow.
I am not taking the bus to Lillehammer.
Last time I was sick for two days.
Hi. I'm in Bergen. Can we meet?
You have to tell Kåre.
Tell him that I will not make it in time.
I know. He is not going to like it.
OK. I will send him a message.
Check this. Any idea where we are?
Not at all. We are in Bergen.
We borrowed a car, and I began driving towards the sunset.
Sounds crazy, but i'm not kidding you. The guy did actually try to fly.
He took off with a few hundred balloons.
I met one who thought it might work.
I heard about it a few days ago.
Tried to get hold of the guy, but it seems like he have left the city.
Well. It was quite nice. Did not happen much.
I stayed close to the cemetery. I always have an early start, so I was almost alone one morning.
You're right. It's going to be busy.
I'll be in touch.
It was pretty bad. The compartment was narrow, no shower and the food was bad.
Can you hear if anybody knows something.
You may be right, but I belive it is better to call the people in Stavanger.
That's a great idea. Ask her.
I videoen beveger jeg meg rundt i tre og et halvt minutt. Det er knyttet ti tekstlinjer til hver person, så denne avspillingen dekket omtrent halvparten av det totale omfanget. En av personene ble kun avspilt med en tekstlinje, men tre av de øvrige nærmer seg slutten. Hadde jeg fortsatt ville noen av disse personene blitt avspilt fra begynnelsen, noe som selvsagt bryter litt med det fiksjonsuniverset som vi forsøker å bygge opp. Her kunne en løsning være at kun de stemmene som ikke var spilt av tidligere ble avspilt, men da forsvinner noe av poenget med posisjoneringen.
Første versjon har en tydelig sekvensiering, siden alle setninger spilles av i sin helhet før en ny sjekk blir gjort og en annen setning spilles av. Slik sett er det en ekte multilineær fortelling. Sent 2014 kom Estimote med et indoor location SDK som lovet mye mer presis posisjonering. To studenter ved datafag (Eirk Skogland og Morten Mehus) har jobbet med dette for å se om det lot seg gjøre å lage en versjon som ligger nærmere opp til den opprinnelige ideen. Dvs at brukerens forflytning får en mye mer direkte konsekvens for endringer i lydbildet. I stedet for å spille av stemmene setning for setning, spiller denne versjonen av alle samtalene som kontinuerlige strømmer, men styrer nivåene ut fra avstand til den posisjonen hvor stemmen er "plassert". Dette betyr at du kan høre flere samtaler samtidig, men med ulikt nivå, og du skal kunne nærme deg, eller fjerne deg fra hver enkelt lokasjon. Her viste det seg imidlertid at problemene med presisjon egentlig ikke er løst. Den nye programvaren predikerer posisjon ved hjelp av en "skittteller", dvs ved hjelp av gyroskopet, noe som ikke gir en posisjonering som er tilstrekkelig forutsigbar. Uttrykket blir imidlertid ganske annerledes. I tillegg fikk vi testet ut hvorvidt teknologien kan brukes til å mikse flerspors musikk.