Aquafoni – 2022

Det er ikke enkelt å dokumentere en interaktiv installasjon og det komplekse lydbildet som spilles av. Gitt at lydene vil mikses sammen live, styrt av hvordan publikum forflytter "aquafonikere" – vesner, laget i ull, som inneholder hver sin NFC-brikke. I det en aquafoniker plasseres på en base vil en liten datamaskin, inne i basen, fange opp signalet fra brikken og deretter kommunisere med en sentral datamaskin. Sentralen vet da til enhver tid hvilke aquafonikere som er plassert hvor og lydbildet styres i henhold til dette. Dette er forsøkt illustrert i figuren, her med tre aktive lydspor i tillegg til grunnlyden.

Denne første videoen gjengir en mulig stereomiks og blir dermed et eget, avledet uttrykk. I praksis vil trolig adskillig færre lyder spilles av samtidig, og de spilles av i ulike retninger i rommet. En stereomiks blir dermed noe ganske annet, men den får frem hvordan bakgrunnslyden er en vesentlig del av lydbildet. Dette kommer ikke like godt frem i opptakene nedenfor.

Bildet viser den egenbygde høyttalersøylen omgitt av aquafonikere – ullskulpturer laget av våre studenter i 3. klasse i K&H. Hver aquafoniker har NFC-kort ("nøkkelkort") festet på undersiden. Når de plasseres på en base registreres dette av en NFC-leser koblet til en Micro:bit som så sender et radiosignal til en datamaskin som styrer lydene. Det gir en funksjonalitet som lar publikum flytte lydene rundt til ulike steder i høyttalersøylen, og i rommet, ved å flytte aquafonikerne mellom basene.

Hver base inneholder en liten batteribank som holder liv i mikrodatamaskinen gjennom hele dagen og sørger for at basene oppdaterer den sentrale maskinen. Radiosignalene går til en microbit som er tilkoblet datamaskinen. Ved første fulle implementering er akkurat denne forbindelsen er installasjonens lille akilleshæl. F.eks. kan egenskaper ved rommet gjøre at radiosignalene misser noen ganger. En liten svakhet, men ikke verre enn at helheten fungerer bra.

Studentene som var vertskap for Aquafoni under Festspillene 2022 ble flinke til å gjenkjenne lydene som er knyttet til de enkelte aquafonikerne. Videoen viser Sofie, Amalie og Sofie som gjør en fremføring. Lyden de opplever i rommet er ganske annerledes enn det et kamera fanger fra tredjepersonsperspektiv. Den som plasserer en aquafoniker på en av basene får raskt en auditiv respons fra høyttalersøylen , der en korresponderende lyd sendes i den retningen hvor den tilhørende aquafonikeren er plassert.

Opptaket er gjort på slutten av dag to. Første dag var det god kok her og ullskulpturene fikk skikkelig kjørt seg. Heldigvis har studentene førstehånds erfaring med hvordan de er laget, slik at reparasjonsarbeider kunne gjennomføres underveis.

Så en video med utgangspunkt i et sfærisk opptak. Dette gir litt bedre inntrykk av hvordan brukerne kontrollerer lydene. Bakgrunnslyden er imidlertid lite fremtredene (denne kan høres her eller i miksen i den første videoen på denne siden).

Til slutt en en sfærisk versjon av den samme videoen (nedenfor).

Jeg skriver ganske inngående om ulike representasjonsformer i boken Digitale medier og materialitet. I denne bloggposten er det eksempler på en tradisjonell (todimensjonal) video, en todimensjonal video produsert fra en sfærisk video ved hjelp av tracking, og nederst en ren sfærisk video som nærmer seg tredimensjonalitet.

Jeg synes den todimensjonale videoen, basert på det sfæriske opptaket, er den som gir best inntrykk av installasjonen. Samtidig kommer også denne representasjonen til kort: det auditive stereoperspektivet er knyttet til kameraet, og videoen der programvaren sørger for at utsnittet følger meg samsvarer dermed ikke med lyden fra kameraets posisjon. Stereo lyd og sfæriske bidler går rett og slett ikke sammen. Dette blir særlig tydelig når en endrer utsnittet i den sfæriske videon (nederst), da uten at stereoperspektivet påvirkes.

Her burde jeg selvsagt sørget for å gjøre et synkronisert ambisonisk lydopptak, men slik ble det ikke gitt svært travle dager.