tim walter

diese anwendung wurde mit eyesweb programmiert, einer grafischen benutzerofberfläche zur programmierung kleinerer programme die aber wiederum nicht als eigenständige anwendungen kompiliert werden können. um das projekt emoface zu starten benötigt sie einen rechner auf dem das windows xp betriebssystem läuft, das programm eyesweb, die datei emoface.zip sowie eine windows kompatible webcam.

installation:
1. laden sie die neueste kostenlose version von eyesweb sowie alle verfügbaren zusatzpakete herunter.
2. installieren sie alle heruntergeladenen programme und folgen sie den bildschirmanweisungen.
3. laden sie sich die datei emoface.zip herunter
4. entpacken sie das archiv emoface.zip und kopieren sie den inhalt aus dem archiv in das verzeichnis c:\emochart
5. starten sie das programm eyesweb und öffnen sie
das projekt
6. klicken sie auf den button “patch starten” um die anwendung zu starten

Get the Flash Player to see this player.

dieses demonstrationsvideo ist eine montage der zwei wichtigen videostrams der anwendung. darin wurde eine messung der augenbrauen und mundwinkel durchgeführt um damit die mimik des benutzers zu interpretieren. nachdem der benutzer die beiden pupillen und den kopf durch einen kreis eingestellt hat kann man den toleranzbereich der augenbrauen und mundwinkel definieren. bewegt man nun einer dieser beiden gesichtspartien wird dies vermerkt und in dem diagramm verortert. somit kann man die mimik einer person über eine bestimmte zeitspanne aufgezeichnen.

dieses screenshot ist ein ausschnitt einer persönlichen messung die durch das programm erstellt wurde. darin kann man gut erkennen wie die emotionen freude, wut und enttäuschung gemessen wurden. messungen in dieser form lassen eine person somit einer art persönlichen fingerabdruck für konsumierte medien erstellen.

1. einleitung

die arbeit emoface enstand im 7. fachsemester des studiengangs kommunikationsdesign an der fachhochschule würzburg-schweinfurt. die leitung des projekts “design and medicine” im hauptfach interaktive medien übernahm dabei prof. erich schöls. das ziel dieses projekts war es, sich mit den schnittstellen des interaktiven informationsdesigns und der medizin auseinander zu setzen. dabei sollten neue kreative mittel und wege gefunden werden die zur lösung bestehender probleme beitragen.

die wahl meiner persönlichen richtung in diesem projekt fiel dabei auf psychische krankheiten, da diese in unserer heutigen gesellschaft zunehmen und dennoch unterschätzt bleiben. zur bearbeitung dieser thematik habe ich mich während des projekts unteranderem mit den grundlagen der gestaltpsychologie bzw. der wahrnehmungslehre beschäftigt und nach den möglichkeiten gesucht, die mimik eines testperson und deren emotionalen regungen mittels eines diagramms zu visualisieren.

die resultierende anwendung soll dabei als beispiel eines möglichen werkzeugs zur analyse eines thematischen apperceptionstest dienen. darin werden einer person bestimmte bilder einer thematik gezeigt und anschließend ihr emotionaler bezug durch die analyse der reaktionen erörtert. diese art der sensibilisierung des computer gegenüber den emotionalen stimmungen seines benutzers wird wohl in zukunft zunehmend zur gestaltung von intuitiven interfaces verwendet werden.

2. psychologie der wahrnehmung

2.1. psychische krankheiten

unter der medizin versteht man heutzutage allgemein die wissenschaft von gesunden und kranken lebewesen. das paradigma der westlichen medizin ist dabei dass für sie der gesunde mensch nicht existiert, sondern lediglich der schlecht untersuchte. somit findet man je nach diagnosemöglichkeiten immer neue krankheiten welche einer langen lebensdauer im weg stehen. eine der grundlegenden aufgaben der medizin ist es somit dem menschen über gefährliche krankheiten und die möglichkeiten der prohylaxe auzuklären.

die grundlagen der medizin bauen in erster linie auf die naturwissenschaften aber auch auf anderen wissenschaften wie zum beispiel den sozialwissenschaften und der psychologie auf. da die anzahl der psychischen erkrankungen wie neurosen und depressionen in unserer gesellschaft stetig zunimmt stellt sich die frage wie man dieser entwicklung vorbeugen kann.

eine weit verbreitete ursache für psychische erkrankungen heutzutage ist durch überanspannung verursachter stress. da jeder körper abwechselnd entspannungs- und anspannungsphasen benötigt, schwächt eine übermäßige belastung das immunsystem und führt oftmals zu kronische erkrankungen wie bluthochdruck, tinitus und auch depression. die durch stress hervorgerufenen physischen körperreaktionen wie z.b. die erhöhung der herzschlagfrequenz oder die unterdrückung von schmerzen sind evolutorisch so zu erklären sind dass bei potentieller angriffsgefahr der mensch unbewußt, zur erhöhung der handlungsbereitschaft, seine reseven mobilisieren musste.

über die anzahl potentieller stressoren heutzutage ist groß und reicht von rein objektiven wie zum beispiel kälte, hitze, lärm, schlafentzug, verletzung, hunger und durst bis hin zu subjektiven wie wut, angst, zeitdruck oder leistungsdruck. allesamt wirken sich nicht auf die körperliche sondern auch die seelische verfassung eines menschen aus.

die schwierigkeit beim auffinden psychischer stressoren liegt an der tatsache dass sie selten durch objektiv messbare daten belegt werden können. ohne menschliches zutun bleiben oftmals psychische krankheiten unerkannt da die ursachen meistens in einer krankhaft gestörten wahrnehmung liegen. dies erschwert folglich auch die darstellung psychischer vorgänge und erkrankungen da sie selten in materieller form vorliegen.

2.2. neurologie oder psychologie?

erste schritte zur visualisierung psychischer erkrankungen findet man jedoch in der neurologie. sie versucht, unter der annahme dass der geist und das bewußtsein sich in das naturgeschehen der evolution der nervensysteme einfügen, psychische vorgange anhand physischer vorgänge im körper zu erklären.

heutzutage sehen die einflussreichsten neurologen in den neuen bildgebende verfahren zur untersuchung des gehirns, ein aufschlussreiches werkzeug zur analyse der arbeitsweise von sinnesorganen und nervensystemen. durch die daraus gewonnenen erkenntnisse wird zwar nicht die komplexität der psyche vollkommen erklärt dafür aber aber einzelne physiologische vorgänge nachgewiesen. dies ermöglicht dann wiederum eine gezielte behandlung physischer und neurologischer erkrankungen durch die entwicklung besserer medikamente.

bedeutende psychologen kritisieren diese haltung durch das argument dass sich die psyche eines menschen nicht durch eine zerlegung in seine einzelnen physiologische vorgänge beschreiben lässt. dies entspricht der haltung aristoteles der erkannte dass das ganze oftmals mehr als die summe seiner einzelteile ist.

aus dieser sicht ist folglich eine vollständige beschreibung des individuellen gehirns oder womöglich eine sichere prognose des menschlichen verhaltens unmöglich. somit spricht sich das manifest bedeutender psychologen klar gegen den bilderglauben der hirnforschung aus. ihrer ansicht nach kann das komplexe verhalten eines menschens nicht einzig und allein durch bestimmte gehirnaktivitäten beschrieben werden. dies wirft unweigerlich die frage auf wie man sich der wahrnehmung einer person und ihrem daraus resultierendes verhalten aber anders nähern kann?

2.3. die grundlagen der gestaltpsychologie

zunächst einmal beschäftigt sich die psychologie damit wie die wahrnehmung, das urteilen und das handeln funktioniert. sie ist anders formuliert eine wissenschaft über das erleben und verhalten des menschens. man unterscheidet dabei zwischen der allgemeinen bzw. theoretischen und der angewandten psychologie die wiederum ihre erkenntnisse durch den blickpunkt auf den menschen erhält.

die wahrnehmung bzw. der prozess der informationsaufnahme erfolgt beim menschen über die fünf sinne. dabei erleben wir das meiste unserer täglichen leben optisch und akustisch, wobei jedes individuum unterschiedliche reize aus seiner umwelt selektiert und somit automatische individuelle dinge antizipiert. aus diesem grund kann man nicht davon sprechen dass der mensch seine wirklichkeit entdeckt sondern vielehr dass er sich seine eigene realität konstruiert. jeder mensch lebt somit in einer eigenen welt, in der er von der außenwelt nur durch die möglichkeiten der wahrnehmung erfährt. diese welt ist durch vergangene wahrnehmung geprägt welche wiederum den kontext für die kommende wahrnehmung bildet. eine analyse der psyche kann somit nur vorgenommen werden wenn man versucht die wahrnehmung einer person zu verstehen.

die gestaltpsychologie, der bereich der psychologie der sich mit den grundfragen der wahrnehmung auseinandersetzt, wurde vom dem philosophen christian von ehrenfels und dem psychologen max wertheimer begründet. sie verstanden den menschen als ein konturorientiertes lebewesen mit einer sogenannten tendenz zur guten gestalt, da er linien zieht und die differenzen die an den jeweiligen grenzen entstehen wahrnimmt. dadurch werden die in der natur vorkommende figuren als geschlossene ganzheitliche gestalten wahrgenommen.

2.4. emotionen als verhalten

durch die unterschiede in der wahrnehmung kann wie bereits erwähnt also das gleiche erlebnis zu unterschiedlichem verhalten führen. ein stark abweichendes verhalten setzt dabei geradezu eine unterschiedliche wahrnehmung bzw. bewertung des wahrgenommenen vorraus. diese auf seelischen prozessen beruhende motivation eines verhaltens, lässt sich dabei oftmals nur über die kommunikation mit dem betroffenen und nicht über technische parameter ausfinding machen.

aber das verhalten eines menschen ist vielschichtig. neben der verbalen kommunikation können zum beispiel auch die mimik oder gestik, also eine nonverbale kommunikation als verhalten gesehen werden. solange diese reaktionen unterbewußt geschehen können daraus bestimmte emotionen erkannt werden, die sich unter anderem auch durch physiologische reaktionen wie atmung, blutdruck, herzschlag, puls oder dem hormonausstoß bestätigen lassen.

einige bekannte messbare physiologische reaktionen sind unter anderem bei angst eine erhöhung der herzfrequenz, des blutdrucks und der atemfrequenz sowie hingegen bei ärger einen rückgang der herzfrequenz und einen anstieg des diabetischen blutdrucks. weitere emotionen wie wut, furcht und trauer lassen sich durch einen mäßigen anstieg der herzfrequenz bestimmten sowie sich furcht und ekel weiterhin durch die erhöhung der hautleitfähigkeit und wut durch den anstieg der fingertemperatur definiert.

obwohl sich die bedeutung einer mimik nicht eindeutig bestimmen lässt, gibt es kulturübergreifende tendenzen bei den emotionen wut, abscheu, trauer, freude, angst und überraschung. dabei muss man aber immer beachten wer wem, was, wie stark und zu welcher zeit zeigt.

das wort emotion stammt aus dem lateinischen und bedeutet soviel wie “aus der bewegung heraus”. man versteht darunter im gegensatz zu gefühlen ein kurze intensive reaktion die nach kognitiven prozessen geschieht. man unterscheidet dabei grundlegend in euphorische oder disphorische, also angenehme oder unangehme emotionen. nach dem plutchnik modell gibt es weiterhin acht basisemotionen wie furcht, ärger, freude, trauer, akzeptanz, ekel und überraschung. diese emotionen werden dabei in dem modell so angeordnet dass ähnliche emotionen benachbart sind und gegensätze sich diametral gegenüber stehen.

eine anerkannte methode um an den emotionalen bezug einer person zu einer sache zu bekommen ist der thematische apperzeptionstest. darin werden der versuchperson bilder mit unterschiedlichen motiven gezeigt die dann je nach interpretation gedeutet werden können.

3. die entwicklung

3.1. mimiken

um nun also weiterhin durch eine anwendung automatisert auf die emotionen eines versuchsperson zu schließen bedarf es einer anfänglichen definition entsprechender gesichtausdrücke. dazu werden in diesem fall die zweit wichtigsten merkmale zur bestimmung einer mimik verwendet, nämlich die augenbrauen und die mundwinkel. aus ihnen lassen sich logischerweise bei einer ausgangsstellung und zwei extremstellungen neun verschiedene mimiken herleiten.

zunächst einmal sei gesagt dass trotz kulturübergreifender gemeinsamkeiten niemal eine allgemeingültige angabe über ein gesichtsausdruck gemacht werden kann. die hier vorgegebenen miniken stellen lediglich grobe richtungen da der meiner meinung nach intuitiv die richtigen emotionen zugeordnet werden können.

der ausgangspunkt bildet dabei der neutrale gesichtsausdruck. bei euphorischen emotionen lässt sich zunächst feststellen dass die mundwinkel sich anheben und weiterhin je nach emotion, also zustimmung oder freude, die augenbrauen unterschiedlich stark heben. bei disphorischen emotionen wie trauer oder ekel lässt sich gegenteiliges feststellen also ein verziehen der mundwinkel nach unten. wut und angst lässt sich hingegen tendentiell gut anhand der augenbrauen charakterisieren. wie bereits erwähnt sind diese mimiken reine richtwerte die ein jeweiliges eichen auf die mimik der individuellen versuchsperson nicht ersetzen.

3.2. programmierung und funktionsweise

um nun die mimiken der versuchperson aufzuzeichnen und auszuwerten bedarf es einer kamera die das gesicht filmt, ähnlich wie sie an einem computer oder an mobiltelefonen vorzufinden ist. die anwendung wurde dabei mit eyesweb entwickelt einer grafischen programmiersprache mit dessen hilfe man relativ schnell aufwendige programme schreiben kann.

in dieser also eigens programmierten anwendung müssen nun die augen der versuchsperson definiert werden. dieser punkt wird dann weiterhin dazu verwendet, die veränderungen der mimik innerhalb des gesichtes zu berechnen. ist nun also die augenlinie stablisiert, definiert man die breite und höhe des kopfes durch eine maske. als weiterer schritt müssen nun die augenbrauen und mundwinkel sowie der tolerenzbereich der punktverschiebungen eingestellt werden werden. durch dieses justieren kann man dann die anwendung auf die ausdruckstärke einer versuchsperson anpassen.

obwohl diese erkennungsmethode relativ zuverlässig funktioniert muss man sagen dass es hin und wieder zu einzelnen problemen kommen kann. zuverlässigere anwendung benötigen erheblich mehr zeitaufwand und deutlich fortgeschrittenere programmierkenntnisse.

3.3. modell

aufgrund der anwendung können nun diese acht mimiken bezüglich ihrer qualität und stärke gemessen werden. um diese gemessenen veränderungen der mimik deuten zu können ist es notwendig die jeweils verknüpfte emotion darszustellen. dazu wird jede gemessene emotion auf einem kreis ähnlich dem plutchnik modell darstellst. ausgehend von dem mittelpunkt des kreises für den neutralen gesichtsausdruck wird je nach art und stärke der emotion die positon des punktes verändert. in diesem prozess hinterlässt er eine spur der den verlauf der mimikveränderung darstellt.

der vorteil dieser darstellung ist dass die nähe der emotionen und ihrer charakteristische mimik dargestellt wird. weiterhin wird nicht nur die mimik selbst sondern auch ihre stärke durch die entfernung vom mittelpunkt und ihre tendenz durch die unterschiedliche farbe und verortung im segememt registriert.

4. schlussbetrachtung

nach eingängiger verwendung der anwendung muss man kritischer weise eingestehen dass gerade das einstellen der parameter auf die jeweilige versuchsperson relativ störanfällig ist, wodruch zwangsläufig auch die messergebnisse ungenau werden. dennoch kann man sagen dass der ansatz und das hier vermittelte prinzip einer unbewußten steuerung von programmen durchaus seine berechtigung hat.

denk man nun über mögliche einsatzgebiete von stimmungssensiblen programmen nach so könnte diese technologie dafür hilfreich sein videokonferenzen auszuwerten oder automatisierte präferenzlisten für filme und musik zu erstellen. weiterhin könnte auch anders herum ganz gezielt durch die verwendung bestimmter bild-ton-kombinationen eine gewollte stimmung des benutzers erzeugt werden. wie dem auch sei wird das sensibilisieren des computers auf seine umwelt durch optische und akustische sensoren zunehmend an bedeutung gewinnen.

5. quellen und inspirationen

visible human browser (center for human simulation)

browser (surgical planning lab)

human and animal animation (visible productions)

atox

cognitive science celebrities (martin ryder)

eliza (joseph weizenbaum)

in sachen der psychophysik (gustav theodor fechner)

bilder von der psyche (ärzte woche)

die psychophysik nach weber und fechner

über gestalttheorie (max wertheimer)

psychologie der wahrnehmung (arthur brühlmeier)

neue gestaltpsychologie

the computer vision homepage

german computer vision companies

the face detection homepage

nicht der mensch mordet sondern sein gehirn”

neue gestaltpsychologie

empiristic theory of visual gestalt perception (etvg)

computer sollen menschliche wahrnehmung lenken

eye controlled media

computer vision – compendium

mpeg-7 multimedia content description interface

mpeg-7 basierte archivierung von digitalen videos

computer vision – image transformation and filters

localisation and map building

image-guided operating room of the future

manifest der neurologen

über gestalttheorie

manifest der psychologen