Seminar om sfæriske medier, desember 2017
14. desember 2017
UH-nett Vest sitt forskernettverk for IKT og medier arrangerte et seminar om sfæriske medier. Seminaret samlet forskere fra UH-nett Vest, inviterte bidragytere og flere masterstudenter med relevante prosjekter. Sfæriske medier er et felt som utvikler seg raskt, og en kan derfor oppleve at de siste og mest innovative løsningene kommer frem gjennom arbeid gjort gjennom masterstudier.
Med sfæriske medier forstår vi både lyd- og bildemedier som kan representere omgivelser i en form som omslutter brukeren. Dette inkluderer Virtual Reality (VR), dvs grafikk skapt kun med datamaskiner og denne grafikken blir vist i hele brukerens synsfelt. Videre inkluderer sfæriske medier Augmented Reality (AR), dvs representsjonsformer som kombinerer datagrafikk med synsinntrykk fra det stedet brukeren befinner seg. Sfæriske medier inkluderer også sfæriske- / 360-bilder og -video, dvs fotografier og video som inkluderer bildeinformasjon i alle retninger. Miljøene på Vestlandet har samlet sett svært omfattende kompetanse på dette feltet, i skjæringspunktet mellom medier og IKT.
Å forstå immersiv journalsitikk
Ana Laws fra Høgskolen i Volda åpnet serien av innlegg med å fortelle fra erfaringer gjort gjennom et VRI-prosjekt om VR og 360. I dette prosjektet er lokalavisen Sunnmørsposten næringspartneren, og de ønsker å utforske hvordan en utnytter teknologien fortellermessig og hvordan dette mottas av publikum. Noen av spørsmålene som diskuteres i dette prosjektete er hvordan en som produsent forholder seg til at kameraet “forsvinner”, dvs at det ikke er noe som automatisk leder brukeren i forhold til hvor vedkommende retter blikket.
Laws presenterte videre funn fra artikkelen Can Immersive Journalism Enhance Empathy? Mye av retorikken rundt sfæriske medier er knyttet til at dette er “mediet som skal redde bransjen”. Hva er denne optimismen basert på? For å finne mer ut av dette har Laws sett på Guardians “6X9” og NY Times “The displaced”, Nonny de la Peña IPSRESS og “Hunger in Los Angeles”.
Mange talspersoner for VR-journalistikken som taler for empati som en viktig faktor, men dette er også et potensielt farlig virkemiddel som kan styre innlevelsen i uheldig grad.
Auditive perspektiver på sfæriske medier
Svein Høier viser hvordan ambisonisk lyd kan manipuleres i ulike programvareløsninger
Svein Høier, fra NTNU, introduserte forskjellige måter å jobbe med sfærisk lyd, med utgangspunkt i egen erfaringer og forsøk med surround (5:1 og 7:1), Dolby Atmos og ambisonisk lyd.
Facebook Spatial workstation er et gratisverktøy, men lager Facebooks versjon av ambisonic. Waves og Audioease er noenlunde tilsvarende betalingsløsninger som kommuniserer med lydprogrammer, som f eks Reaper. Til Reaper får en imidlertid også Ambisonic Toolkit. Til sfæriske medier ønsker en å arbeide med romlighet. Facebook har her enkle parametre, mens Audioease har en avansert løsning for å gjenskape klang fra ulike rom.
Film og fjernsyn har valgt å prioritere tydelighet, fremfor en realisme knyttet til visuell avstand. Dette handler dels om at mye av lyden ettersynkroniseres en kan dermed benytte studioopptak. På kino er en vant til at det ikke er en nær sammenheng mellom det visuelle og lydlig retning. Her kan man tenke helt annerledes når man jobber opp mot hodetelefoner. Hvordan kan en gi slike lytteopplevelser et løft? Hvilken strategi skal en velge for sfæriske medier? Avveining mellom styring av fokus og en friere opplevelse.
Capsule FM
Espen Systad demonstrerer Capsule.FM
Utviklingen av den lokative lydappen Capsule.FM begynte med en ide om en applikasjon som viser hva som er på bakken når en er ute og flyr. Espen Systad og Tor Langballe endte i stedet med en “reisekompanjong” som gir opplevelsen via lydsiden.
I Bergen har teamet jobbet med prosjektet Vidden. Dette er en lydguide som skal tilby spesialisert auditiv informasjon, men skal også kunne gjenta lydlig det som er visuelt presentert i andre systemer: Gi brukerne råd, veiledning og historier som hjelper dem å finne veien, beregne tidsbruk, ankomsttid, banetid, få værmelding, lære om fauna/dyreliv/geologi/historie, og om spesielle utkikksposter eller serveringssteder. Innholdet skal være fleksibelt, og kunne påvirkes av område (GPS), nærlokasjon (beacons), fart, tid, vær, og andre omgivelsesfaktorer.
Kan se for seg en åpen standard for denne typen sfærisk medieinnhold. De ser også på mulighetene for å lage et åpent templateformat.
Perspektiv på Virtual Reality i en 20 års periode
Tor Langeland fra CMR med en versjon av CAVE-systemet
Tor Langeland fra CMR har jobbet med CAD og visualisering siden 1980-tallet, og han jobbet med Norsk Hydro og CMRs CAVE-prosjekt 1996-2008. CMR sammen med Hydro begynte tidlig å se på eventuell bruk av cave-løsninger og VR i oljebransjen.
CAVE ble utviklet ved CMR gjennom en årrekke og de kunne etter hvert vise veldig mange forskjellige datatyper. Mot slutten av prosjektet hadde de et sted mellom 30 og 40 ulike verktøy for visualisering og samarbeid. Kunne dermed bruke caven på tvers av faggrupper og på den måten øke hastigheten på vurderinger og beslutninger. Reduserte tiden fra 3-4 uker ned til 2-3 dager for å planlegge boringen av en brønn. Eksperimenterte med haptic feedback, der en ingeniør møtte motstand dersom en forsøkte å lage en brønnbane som ikke var borbar.
Daniel Patel forklarer noen av fordelene og ulempene ved ulike systemer.
I fortsettelsens av Langelands tilbakeblikk fortalte Daniel Patel (CMR og HVL) om utviklingen i forlengelsen av cave-løsningene. CMR utviklet VRSafety i 2004 ut fra et ønske om å lage et verktøy for å visualisere scenarier for eksplosjoner og brann.
CMR programmerte først 3D-motoren fra bunnen av i C++ og Open GL, men endte etter hvert opp med å benytte kommersielt tilgjengelige løsninger. Dagens spillmotorer har veldig gode redigeringsmuligheter og visuelle editorer.
Visualiseringssystemene har på flere områder blitt overtatt av høyoppløselige monitorer. Bruken av VR var imidlertid med på å legge til rette for kryssdisplinære arbeidsmåter, som man i dag implementerer på andre måter. Samarbeid i CAVE gjorde at de ulike faggruppene fikk innsikt i hverandres suksesskriterier og hvilke problemer de var avhengig av å løse.
Pedagogiske og kunstneriske perspektiver på sfæriske medier
Jon Hoem, HVL, begynte med å se på noen historiske paralleller til tidligere forsøk med sfæriske medier.
Hoem viste også eksempler fra egen undervisning, dels knyttet til prosjektet Interaktivt virtuelt feltarbeid, der studenter har eksperimentert med ulike måter å benytte sfærisk fotografering sammen med forskjellige modeller. Til slutt kom vi i denne sesjonen innom mobilappliksjonen Fotspor.mobi som er utviklet ved Senter for nye medier, HVL. Denne utvikles for lokativ bruk av sfæriske medier.
Masterprosjekter
Joakim Vindenes, som arbeider med en phd ved UiBs SLATE-senter, presenterte sitt masterprosjekt A Virtual Mind Palace: Adapting the Method of Loci to Virtual Reality, fra våren 2017. Prosjektet utforsker Loki-metoden gjennom å plassere informasjon i forhold til geografiske lokasjoner i VR. Det sentrale funnet i masteroppgaven var knyttet til at brukere med høy romlig resonneringsevne hadde generelt høyere score, men gjorde seg også mer nytte av applikasjonen.
Thomas Larsen, master i programutvikling ved HVL, jobber med et VR-prosjekt knyttet til fysikalsk rehabilitering. Pasienter med smerter i rygg er et stort samfunnsproblem, men fysioterapi i tradisjonell form er dyrt. Dermed vanskelig å hjelpe mange. VR kan være et virkemiddel der en gamifisierer ulike øvelser. Larsen skal i gang med en klinisk studie i samarbeid med andre fagmiljøer der de tester tre VR-opplevelser med opp mot et tyvetalls respondenter. Det er første gang dette gjennomføres i Norge.
Runar Tistel, master i programutvikling ved HVL, ser på hvordan en kan lage og rekonstruere kunst ved hjelp av verktøy som Unreal Engine, en spillmotor som gir alt en behøver for å utvikle et tredimensjonalt spill. Et grunnleggende spørsmål er hvordan en kan beskrive kunst med tanke på at en datamaskin skal kunne forstå og benytte denne beskrivelsen. Tistel vil ta tre ulike malerier i forskjellige stiler og gjenskape disse i VR. Målet er å bevise at dette fungerer, og den første prototypen virket absolutt lovende i så måte. Prosjektet går på mange måter inn i en tradisjon av generativ kunst.
Til slutt viste Audun Gulbrandsen (UiB) et prosjekt der han har benyttet Hololens, en enhet som inneholder en rekke sensorer (tilsvarende Kinect) som skanner omgivelsene.Gulbrandsen lagde en prototype knyttet til et redigeringsprogram – Vimond IO, sammen med studentene Fredrik Jensen og Johanne Ågotnes. HoloLens-prosjektet var en del av bacheloroppgave, våren 2017. Det har vært en rekke presentasjoner av dette prosjektet også i løpet av høsten.
Videre arbeid med sfæriske medier
Seminaret ble avsluttet med en diskusjon om mulige felles prosjekter. Fellestrekk for ideene som ble diskutert er lokative / sfæriske applikasjoner rettet mot ulike målgrupper. Det er forsket ganske mye på lokative grensesnitt, men vi vet mindre om hvordan en spesiallager lokativt innhold. Det kan i denne sammenhengen være interessant å utvikle et generelt, åpent format for å formidle lokativ informasjon inneholde. Videre er nettverket godt posisjonert i forhold til å utvikle og teste ulike fortellerkonvensjoner for lokative og sfæriske fortellerformer. En kan også se for seg å utvikle løsninger der en jobber med å orientere ulike medietyper på en gitt lokasjon – ambisonisk lyd, styring av AR, plassering av en visuell sfære etc.