04/22 Auditomosjon – haptisk og auditiv immersjon

Innlegg under konferansen "Make it Together", 2022, i København.


Auditomosjon er en lydinstallsjon som utforsker forholdet mellom tredimensjonalt rom, berøring og bevegelse og lyd.

Noe av bakteppet fore de refleksjoner jeg gjør i innlegget er forbundet med det jeg oppfatter som et problem: det visuelle dominerer nærmest fullstendig i norske læreplaner i kunst og håndverk.. Det visuelle nevnes som en egen kategori, mens alt annet plasseres under det “materielle”. Berøring, det taktile, nevnes ikke. Det kinestetiske, kroppens bevegelse, nevnes ikke. Det auditive, lyd og akustikk, nevnes ikke. Mye ligger dermed implisitt i det "materielle" og i alt det vi holder på med i faget, men læreplanen gir ikke et fundament for å inkludere og forstå opplevelser ut over det vi kan sanse med synet.

Sammenhenger og samspillet mellom sanser er på mange måter bedre utviklet innenfor barnehagefeltet i Norge. En kan muligens driste seg til å hevde at grunnskolelærerutdanningen er mer fanget av fag- og materialområder, der flere vesentlige aspekter ved estetisk opplevelse og estetisk erfaring faller “mellom stolene” eller er innforstått. En fare er da at fagfeltet ikke utvikler et mangfoldig fagspråk.

Jeg viser til noen eksempler for å belyse betydningen av lyd og akustikk, samt samspillet med fysiske omgivelser og kroppens bevegelse: Gol stavkirke, ved Norsk folkemuseum. Nidaros domkirke, i Trondheim. Svært ulike volum og forskjellige materialer. Den visuelle opplevelsen er selvsagt svært forskjellig i de to kirkebyggene, men akustisk skiller de seg minst like markant fra hverandre. Det visuelle inntrykket av de to bygningene endres ikke radikalt når kirkene fylles med folk. Auditivt er det annerledes: stavkirken er i sin helhet formet i tre og et ganske lite rom med kort etterklang. Nidarosdomen har mye lengre etterklang, men dette endres betydelig når kirken er fullsatt.

Auditomosjon – haptisk og auditiv immersjon – Make it Together 2022

Videre til det mest sentrale innledende eksempelet: “Shalekhet – Fallen Leaves”, i Jüdisches Museum, Berlin. Bygningen, tegnet av Daniel Libeskind og den faste installasjonen “Shalekhet” er designet av den israelske skulptøren Menashe Kadishman. Det visuelle uttrykket er slående. Jeg har selv besøkt dette museet en rekke ganger, men først etter flere besøk våget jeg meg inn i installasjonen. Lyden av metallansiktene og hvordan de rører på seg når jeg setter ned føttene skaper opplevelse der det haptiske er direkte knyttet til lyd og de fysiske omgivelsene. Selv har jeg knapt opplevd et mer, bokstavelig talt, berørende og omsluttende verk. Den kroppslige koblingen mellom verk, min bevegelse og lyd er her avgjørende.


Lydinstallasjonen Auditomosjon er utgangspunktet for min utforskning av forholdet mellom berøring, bevegelse og lyd. Denne ble laget for Festspillene i Bergen i forbindelse med Småspill, et samarbeid mellom Festspillene og Høgskulen på Vestlandet. Auditomosjon ble satt opp våren 2021 og kan også oppleves i år.

Auditomosjon består av femten store, tekstile lydobjekter – jeg kaller disse lydskapninger. Hver lydskapning inneholder en datamaskin og en høyttaler. De avgir ulike miljølyder og reagerer med en rytme med varierende tonalitet straks de beveges av publikum. Selv om uttrykket, visuelt, auditivt og haptisk er svært annerledes ser jeg en forbindelse, gjennom estetisk erfaring, til mine opplevelser av “Shalekhet”.

Jeg forsøker å utforske opplevelse av av lyd, tredimensjonal form og utforskende interaksjon, stilt overfor en programmert sammensetning av lyder via et haptisk grensesnitt – begrepet immersjon er sentralt i denne sammenhengen, forstått som å bli omsluttet av noe i fysisk eller mental forstand, er sentralt i den type opplevelse jeg forsøker å legge til rette og designe for.

Både haptikk og immersjon er forhold jeg diskuterer inngående i boken Digitale medier og materialitet. Immersjonsbegrepet er aktuelt for alle representasjonsformer og er dermed et underliggende tema gjennom hele denne boken.

I tilfellet Auditomosjon er jeg særlig interessert i estetiske opplevelser og erfaring ved samspill mellom objekter, lyd og haptikk. Jeg ønsker altså å undersøke forholdet mellom lyd, hvordan publikum berører og beveger lydskapningene og hvordan dette kan innvirke på publikums opplevelse og erfaringer.

Fire sider ved immersjon (omsluttethet), etter Bjørk & Holopainen (2004) “Patterns in game design”

  • sensorisk-motorisk immersjon
    interaksjon med og følelsesmessig nærhet til objekter

  • kognitiv immersjon
    engasjerende / stimulerer oppmerksomhet

  • emosjonell immersjon
    følelsesmessig innlevelse

  • romlig immersjon
    opplevelsen av å være fysisk omsluttet

Det er utfordrende å få tak i hvordan publikum opplever installasjoner som Auditomosjon. Jeg har forsøkt å benytte flere supplerende metoder og ulike former for datainnsamling:

  • Tegninger
    forsøker å fange noe av barnas opplevelse

  • Spørreskjema
    treffer kun de voksne >> få informanter

  • Observasjon
    egne feltnotater

  • sfæriske video og lydopptak

Estetiske opplevelser er nødvendigvis svært sammensatte, og kompleksiteten øker når en skal forøke å omsette dette til ulike former for refleksjon (en prosess som bidrar til at den enkelte behandler opplevelser og dermed gjør ytterligere erfaringer). I dette tilfelle kan jeg konsentrere meg om haptikk, hørsel og syn, uten at det innebærer en betydelig avgrensning. I Auditomosjon er det haptiske sentralt i samspill med de andre sansene. Jeg har også jobbet bevisst med forholdet mellom lyd og syn: Der et stort objekt stenger for utsyn vil lyd spres på måter som ikke hindres av store objekter på samme måte. Barn har en velutviklet hørsel, mens synssansen ikke er fullt utviklet før ved 10 års alder.

Jeg har imidlertid ingen tilgang til publlikums tidligere erfaringer. Hva assosierer de med ulike lyder? Hvordan oppleves den direkte sammenhengen mellom å bevege lydskapninger og lydrespons?

Jeg fikk noen av de voksne blant publikum til å svare på et anonymt spørreskjema. De voksne opplever installasjonen fra et annet auditivt og visuelt perspektiv, og bringer selvsagt med seg andre erfaringer enn barna. Svarene forteller dermed ikke så mye om barns opplevelse, og selv med voksne informanter er det usikkert om de oppfatter hva jeg spør om, f eks knyttet til begrep som “omsluttet av”. Her kunne intervju vært en supplerende metode, men gitt kompleksiteten har jeg ikke vurdert dette som formålstjenlig for å finne ut av barns opplevelser.

Publikums (voksne) uttrykk for egen opplevelse:

  • Jeg tror fokus på lyd hadde blitt forsterket om vi hadde vært i et eget, svart rom der man ikke ble distrahert av andre/omgivelsene rundt.
    Ungene hadde kanskje også hatt en med fokusert opplevelse om lydopplevelsen ble snakket om før og etter selve seansen.

  • Jeg savnet å kunne ta på dem. Vanskelig å holde igjen impulsen til å løfte på dem. Dytt med pinne var ikke så tilfredsstillende :-)

  • Det visuelle inntrykket, fargene og de ulike stoffene figurene var laget av, var fascinerende – samme med lydene.

  • Å bevege på figurene for å oppleve ulike lyder skapte nysgjerrighet, skjerpet oppmerksomheten.
    Fint å få vite litt ekstra om konstruksjonene.

  • Det jeg savner var å kunne ta på de, men det var veldig gøy.

  • Lydbildet var spennende, men krevende å høre.

Jeg ender opp med at mine egne observasjoner blir det som forteller meg mest. Både som bruker av den installasjonen jeg selv har designet og ved å betrakte andre som interagerer med den. Opplevelse av lydskapningene forstår jeg blant annet i forhold til Pierre Schaeffers begrep lydobjekter. Schaeffer knytter dette til hvordan hverdagslige lyder anvendes i konkret musikk, samtidig som lydobjekter også viser til en intensjonalitet fra lytterens side, der lydobjekter oppstår som en kombinasjon av de akustiske egenskapene ved lyden i møte med et fysisk sted og lytterens erfaring.

Min egen oppplevelse og forståelse er selvsagt uløselig knyttet til å designet det hele og vært tett på alle deler av utformingen, fra det fysiske til det som er skrevet i kode.

Med referanse til Schaeffer skiller Michel Chion mellom (1994, ss. 25-33)

  • Kausal lytting
    søker etter årsakssammenhenger der vi leter etter lydenes kilder.

  • Semantisk lytting
    referere til hvordan lyd kan tolkes, f.eks. verbalspråklig mening

  • Redusert lytting
    lydens estetiske egenskaper, uavhengig av hva som er lydens kilde eller meningen som den kan tillegges

I tillegg introduserer jeg “haptisk lytting”, som refererer til hvordan lyd skaper bevegelser og hvordan bevegelse påvirker lyd.

Mine egne erfaringer gjør at jeg snakker om og tenker omkring lyd og bevegelse på noen måter. Blant annet er jeg opptatt av og dermed bevisst det Pierre Schaeffer betegner som redusert lytting. I tillegg introduserer jeg haptisk lytting for å betegne de formene for lyd, og dermed lytting som påvirker oss på andre måter enn gjennom hørselen.

Med et begrepsapparat i bakhånd kan jeg observere barn i installasjonen og identifisere ulike lyttemodus. Det kan selvsagt hende jeg misforstår, men situasjoner som dette forteller i alle fall ganske mye til meg.

Hvordan inkluderer vi bevegelse og lyd i undervisningen om romlige former. Arkitektur, skulptur, design av romlige former og omgivelser.


Lyd omslutter oss hele tiden og denne prosjektet handler dels om å forsøke å finne en plass for lyd i prosjekter i kunst og håndverk, dels om tverrfaglige møter i et kunst-/installsjonsprosjekt.

En liten anekdote til slutt. Moderne mennesker har effektive midler for å stenge omgivelseslyder ute. Jeg tenker spesielt på alle de som opplever omgivelsene med hodetelefoner med støyreduksjon over ørene. I sin mest outrerte form, synes jeg, når folk beveger seg i naturen mens de hører på musikk. Det reduserer opplevelsen av omgivelsene, men ikke gjennom det Pierre Schaeffer betegner som “redusert lytting”.

Det er noen paradokser her, ikke minst knyttet til at jeg selv i all hovedsak jobber med lyd som er digitalt bearbeidet og representert via høyttalere. Samtidig peker det mot noe jeg ofte trekker frem som et viktig poeng: kulturell formidling og overlevering av kunnskaper over tid forutsetter i de fleste tilfeller ulike former for mediering der et innhold er representert.