Human Media Interaction

Omschrijving

De leerstoel HMI (Human Media Interaction) is deel van de afdeling Informatica op de faculteit EWI en houdt zich bezig met de interactie tussen mens en computer. Dit wil zeggen, de manier waarop de mens met een computer omgaat. Hiermee kan bedoeld worden hoe men een (desktop) computer bestuurd, maar ook wordt er gekeken naar virtual reality, artificiële intelligentie en hoe computers de dagelijkse omgang van mensen makkelijker en plezieriger kan maken. Veelal gebeurt dit met middelen die nu nog niet als 'normaal' of zelfs efficiënt worden beschouwd. Het gaat dan vaak ook niet om de efficiëntie van de omgang als wel de ervaring die de gebruiker erbij heeft. Er wordt bijvoorbeeld gebruik gemaakt van camera's, microfoons en allerlei andere sensoren om een andere ervaring te creëren bij het besturen van een computer. Hierbij kan het gaan om andere manieren van input voor computerbesturing (zoals handgebaren), maar ook het bestuderen van gedrag van gebruikers door de computer, zodat deze zich hierop kan aanpassen (zo kan het bijvoorbeeld minder dringende meldingen laten wachten als de gebruiker zeer geconcentreerd aan het werk is). HMI is dus zeer uiteenlopend rondom de term "omgaan met computers".

Projecten

BrainGain

Een ambiteus project dat zich richt op het ontwikkelen van apparaten waarmee hersenactiviteit kan worden gedecteert en aangepast. Hiervoor wordt samengewerkt met een hoop verschillende partners. Met deze technologie moet het mogelijk worden games te besturen met je hersens, maar ook serieusere dingen als prothese om bepaalde hersen ziekte te behandelen die tot nu toe onbehandelbaar leken. Het project is gestart in September 2007 en wordt gesponsert door SmartMix.

Semaine

Een internationaal project dat onderzoek doet naar het non-verbale gedrag van sprekers en luisteraars om de vergaarde kennis toe te passen in een zogenaamde 'Conversational Agent'. Er doen onderzoeksgroepen van veel verschillende universiteiten uit heel Europa mee.

Een chatbot is een voorbeeld van een Conversational Agent. Veel chatbots reflecteren een gedeelte van wat er ingevoerd is. Een voorbeeldje van een gesprekje tussen een chatbot (C) en een persoon (P):

P: ik voel me verdrietig

C: waarom voel je je verdrietig?

P: weet ik niet

C: wat bedoel je?

‘Wat bedoel je?’ is overigens een algemene opmerking, voor als het programma even niet weet wat het moet antwoorden.

Over het non-verbale gedrag van sprekers is al veel bekend. Hier is veel onderzoek naar gedaan door onderzoekers van andere, meer op gedragswetenschappelijke gerichte projecten. Er wordt nu vooral gekeken naar het gedrag van luisteraars. Dit wordt gedaan door videomateriaal te analyseren: voor een deel is dit geautomatiseerd, maar er wordt nog veel met de hand geannoteerd (zie Corpus Annotations).

Elke universiteit doet onderzoek naar een bepaald aspect van de agents. Zo doen sommigen onderzoek naar taalinterpratie, anderen naar de grafische uitvoer, en weer anderen naar de hoofdbewegingen en de 'gaze', de kant waar de ogen naar kijken (dit is waar HMI mee bezig is).

Het project is fundamenteel, dat wil zeggen, de mogelijke toepassingen zijn van ondergeschikt belang. Er wordt al wel getest met Conversational Agents, denk hierbij aan instructieprogramma's die je helpen met iets nieuws leren. Later zou dit kunnen worden gebruikt om kinderen te helpen bij het leren schrijven. Ook in videospelletjes kunnen de technieken worden gebruikt.

Virtual Storytelling

Virtual Storytelling is een multidisciplinair project dat onderzoek doet naar het automatisch genereren van verhalen. De Universiteit Twente is één van de instellingen die hier onderzoek naar doet. De, nog incomplete, generator van de UT heet ‘Virtual Storyteller’. Een mogelijke toepassing van Virtual Storytelling zijn interactieve videospellen.

Het onderzoek richt zich op hoe bijvoorbeeld acties, gedachten en doelen van personages samenhangen, en hoe daar vervolgens een interessant plot en dus verhaal van kunt maken. Dit wordt aangepakt door het genereren van een verhaal in te delen in drie lagen: de fabula (de verzameling van alle gebeurtenissen, belangrijk of niet), plot en presentatie. Elke laag wordt door een eigen agent behandeld. Het verhaal wordt gemaakt door middel van personages in een virtuele wereld op te stellen. Deze personages krijgen doelen, en om die te vervullen voeren ze acties uit, de verzameling gebeurtenissen die hieruit voortvloeit vormt de fabula. De plot agent kan de personages tijdens deze stap wijzen op mogelijke interessante richtingen voor het verhaal, maar de personages worden niet direct gestuurd. Door personages alleen acties uit te laten voeren die voor hun logisch zijn, zijn ze geloofwaardiger. De plot agent vormt uiteindelijk uit de lijst gebeurtenissen het plot, deze stap vergt momenteel echter nog meer onderzoek. De laatste stap wordt vervuld door de presentatie agent, die het plot kan presenteren in een bepaald medium, zoals geschreven of verteld, maar ook grafisch.

De huidige Virtual Storyteller mist zoals vermeld nog een goede omzetting van gebeurtenissen naar plot. Deze omzetting is nodig omdat sommige gebeurtenissen niet interessant zijn of overbodig. Het huidige probleem is dan ook hoe de computer kan weten welke ontwikkelingen interessant zijn.

ICIS

Icis is een een project van de leerstoel HMI, gestart op 1 maart 2005, en zal eindigen op 31 december 2009. Het doel van dit project is om de kennis van de Nederlanders op het gebied van intelligent samenwerkende informatie systeem technologie op peil te houden. Verder zorgt het ervoor dat het Nederland mondiaal een betere positie geeft op dit gebied.

Er worden drie algemene redenen genoemd (Bron en tevens de homepage van het ICIS-project) voor het project, en dat zijn:

• Om de Nederlandse positie van intelligente systeem technologie, die tot nu toe sterk is, te behouden en te versterken.

• Om er zeker van te zijn dat er in de toekomst beschikking is over goed getrainde hoogopgeleiden voor de Nederlandse intelligent-system industrie.

• Het versterken van de Nederlandse kennis infrastructuur door een veelomvattend kennis-overbrengend programma, wat leidt tot industriële toepassingen.

Het doel van ICIS is dus meer bruikbare kennis te ontwikkelen in Nederland. Daar past één subsidie erg goed bij, genaamd BSIK. ICIS is daarom dan ook één van de BSIK projecten.

De 'Virtual Conductor'

De 'Virtual Conductor' is een project van HMI waarbij een digitale dirigent is ontwikkeld die daadwerkelijk leiding kan geven aan een groep menselijke muzikanten. De digitale dirigent dirigeert hierbij op een manier die zoveel mogelijk lijkt op hoe een menselijke dirigent dat doet. Doordat de dirigent weet hoe de muziek gespeeld moet worden, kan hij waarnemen wanneer er fouten worden gemaakt door het orkest en deze corrigeren. Zo kan de dirigent aangeven of het tempo of volume anders moet. Om dit te kunnen doen, moet de dirigent met behulp van algoritmes, tijdens het spelen van het orkest, al analyseren of er op de goede manier gespeeld wordt, om zo op tijd in te kunnen grijpen.

MultimediaN

Het MultimediaN project van de leerstoel HMI richt zich op methoden om orde te scheppen in digitale data. Onderdelen hiervan zijn bijvoorbeeld methoden om audio- en video-fragmenten te doorzoeken. Het project probeert het zoeken in multimedia informatie te veranderen, door gebruik te maken van intelligente, zich aanpassende computerprogramma's die zoeken naar termen omzetten naar informatie zoeken op belangstelling.

Medewerkers

Rieks op den Akker

Robin Aly

Yulia Bachvarova

Charlotte Bijron

Yujia Cao

Betsy van Dijk

Wim Fikkert

Claudia Hauff

Willemijn Heeren

Hayrettin Gürkök

Arjan van Hessen

Dirk Heylen

Dennis Hofs

Hendri Hondorp

Theo Huibers

Marijn Huijbregts

Hanna Jochmann-Mannak

Franciska de Jong

Herman Koppelman

Olga Kulyk

Mark ter Maat

Christiaan Mühl

Andreea Niculescu

Anton Nijholt

Roeland Ordelman

Danny Oude Bos

Lynn Packwood

Maja Pantic

Mannes Poel

Ronald Poppe

Dennis Reidsma

Boris Reuderink

Rutger Rienks

Zsofia Ruttkay

Boris van Schooten

Bart van Straalen

Ivo Swartjes

Mariët Theune

Dolf Trieschnigg

Khiet Truong

Alessandro Valitutti

Gerrit van der Veer

Thijs Verschoor

Paul van der Vet

Alice Vissers-Schotmeijer

George Vosselman

Dhaval Vyass

Ingo Wassink

Herwin van Welbergen

Laurens van der Werff

Job Zwiers

Externe Links

Website faculteit

Artikel over conversational agents (auteur: Dirk Heylen)

Homepage van het ICIS-project