urn:cts:dhd:2019.sporleder_caroline_multimodale_sentimentanalyse_politischer_:	edition	
urn:cts:dhd:2019.sporleder_caroline_multimodale_sentimentanalyse_politischer_:1	body	
urn:cts:dhd:2019.sporleder_caroline_multimodale_sentimentanalyse_politischer_:1.1	p	die automatische analyse von tweets mit politischem inhalt kann sozial- und politikwissenschaftlern aufschluss über die prozesse politischer meinungsbildung geben. beiträge in den sozialen medien spiegeln oft tendenzen in der zufriedenheit mit politischen parteien wider und helfen umstrittene oder viel diskutierte themen zu identifizieren. auch das kommunikationsverhalten verschiedener gruppen lässt sich aus ihrer interaktion bei twitter analysieren (z.b. unterschiedliche dominanz von echokammereffekten (colleoni et al., 2014) oder verbreitung von gerüchten und fake news (ma et al., 2018)).
urn:cts:dhd:2019.sporleder_caroline_multimodale_sentimentanalyse_politischer_:1.2	p	eine wichtige rolle spielt dabei die sentimentanalyse, die es erlaubt zu identifzieren, ob ein akteur zustimmung oder ablehnung zu einem bestimmten inhalt signalisiert. für textdaten lässt sich das sentiment meist recht gut bestimmen. tweets sind aufgrund ihrer kürze jedoch zum einen oft schwer recht kryptisch, zum andern enthalten sie häufig weitere materialien, insbesondere bilder, die nennenswert zur aussage beitragen. z.b. ist der text „und wieder ein neuer morgen“ neutral formuliert, gewinnt aber eine negative bedeutung, wenn er um eine bild bereichert wird, das eine lange autoschlange zeigt. ebenso kann es sein, dass ein relativ neutrales bild lediglich über den text ein positives oder negatives sentiment zugewiesen bekommt.
urn:cts:dhd:2019.sporleder_caroline_multimodale_sentimentanalyse_politischer_:1.3	p	die meisten bisher existierenden sentimentanalyseverfahren beschränken sich auf die verarbeitung entweder von text- oder von bilddaten. modelle, die beide modalitäten
urn:cts:dhd:2019.sporleder_caroline_multimodale_sentimentanalyse_politischer_:1.4	p	berücksichtigen, sind noch vergleichsweise selten, können jedoch eine signifikant höhere genauigkeit bei der sentiment-vorhersage erreichen als solche, die dies nicht tun (you et al. 2016). fast alle multimodalen verfahren nutzen eine deep-learning-architektur. solche verfahren sind herkömmlichen lernverfahren zwar oft überlegen, sie sind aber aufgrund der vielzahl der möglichen architekturen auch relativ schwer zu optimieren. das ziel dieser arbeit ist es, verschiedene multimodale sentimentanalyseverfahren und -architekturen systematisch zu vergleichen und auf ihre vor- und nachteile hin zu untersuchen.
urn:cts:dhd:2019.sporleder_caroline_multimodale_sentimentanalyse_politischer_:1.5	p	das grundsätzliche schema der modelle orientiert sich am "latent multimodal mixing" (bruni et al. 2014); hierbei werden zunächst text- und bild-features extrahiert, als vektoren kodiert
urn:cts:dhd:2019.sporleder_caroline_multimodale_sentimentanalyse_politischer_:1.6	p	und anschließend in einem dritten schritt auf einen gemeinsamen (multimodalen) vektorraum abgebildet (fusion). aus diesen vektoren kann dann mit methoden des maschinellen lernens das sentiment berechnet werden. innerhalb dieses schemas können beliebige und auch neuartige kombinationen verschiedener methoden zur feature-extraktion und fusion verwendet werden. hierfür gibt es unter anderem folgende möglichkeiten:
urn:cts:dhd:2019.sporleder_caroline_multimodale_sentimentanalyse_politischer_:1.7	p	die datengrundlage für das training der modelle bilden manuell annotierte multimodale tweets u.a. aus dem photo tweet sentiment benchmark (borth et al. 2013), sowie das columbia mvso image sentiment dataset (dalmia et al. 2016). aufgrund der unterschiedlichen größe der datensätze wird ein transfer learning-ansatz verfolgt: die modelle werden zunächst auf den mvso-daten vortrainiert und anschließend mithilfe der twitter-daten feinadjustiert.
urn:cts:dhd:2019.sporleder_caroline_multimodale_sentimentanalyse_politischer_:1.8	p	erste testergebnisse bestätigen, dass modelle, die text- und bild-features fusionieren, eine höhere genauigkeit erreichen können als unimodale modelle. allerdings haben die bisher getesteten modelle derzeit noch schwierigkeiten damit, negatives sentiment korrekt zu klassifizieren.
urn:cts:dhd:2019.sporleder_caroline_multimodale_sentimentanalyse_politischer_:2	back	
urn:cts:dhd:2019.sporleder_caroline_multimodale_sentimentanalyse_politischer_:2.1	bibliogr	
urn:cts:dhd:2019.sporleder_caroline_multimodale_sentimentanalyse_politischer_:2.1.1	listBibl	
urn:cts:dhd:2019.sporleder_caroline_multimodale_sentimentanalyse_politischer_:2.1.1.1	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">you, quanzeng / luo, jiebu / jin, hailin / yang, jianchao (2016):</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">cross-modality consistent regression for joint visual-textual sentiment analysis of social multimedia</hi>, in: the ninth international conference on web search and data mining, february 2016, san francisco, ca, usa.
urn:cts:dhd:2019.sporleder_caroline_multimodale_sentimentanalyse_politischer_:2.1.1.2	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">bruni, elia / tran, nam khanh / baroni, marco (2014):</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">multimodal distributional semantics</hi>, in: journal of artificial intelligence research 49, 1 (januar 2014), 1-47
urn:cts:dhd:2019.sporleder_caroline_multimodale_sentimentanalyse_politischer_:2.1.1.3	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">colleoni, elanor/ rozza, alessandro / arvidsson, adam (2014):</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">echo chamber or public sphere? predicting political orientation and measuring political homophily in twitter using big data</hi>, in: journal of communicatio 64 (2014) 317–332
urn:cts:dhd:2019.sporleder_caroline_multimodale_sentimentanalyse_politischer_:2.1.1.4	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">de boom, cedric / van canneyt, steven / demeester, thomas / dhoedt, bart (2016):</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">representation learning for very short texts using weighted word embedding aggregation</hi>, in: pattern recognition letters 80, c (september 2016), 150-156.
urn:cts:dhd:2019.sporleder_caroline_multimodale_sentimentanalyse_politischer_:2.1.1.5	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">campos, victor / jou, brendan / giró-i-nieto, xavier (2017):</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">from pixels to sentiment: fine-uning cnns for visual sentiment prediction</hi>, in: image and vision computing 65 (september 2017), 15-22
urn:cts:dhd:2019.sporleder_caroline_multimodale_sentimentanalyse_politischer_:2.1.1.6	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">chen, xingyue / wang, yunhong / liu, qingjie (2017):</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">visual and textual sentiment analysis using deep fusion convolutional neural networks</hi>, in: ieee international conference on image processing (icip), beijing, china
urn:cts:dhd:2019.sporleder_caroline_multimodale_sentimentanalyse_politischer_:2.1.1.7	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">dalmia, vaidehi / liu, hongyi / chang, shih-fu (2016):</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">columbia mvso image sentiment dataset</hi>, in: corr, abs/1611.04455
urn:cts:dhd:2019.sporleder_caroline_multimodale_sentimentanalyse_politischer_:2.1.1.8	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">borth, damian / ji, rongrong / chen, tao / breuel, thomas / chang, shih-fu (2013):</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">large-scale visual sentiment ontology and detectors using adjective noun pairs</hi>, in: the 21st acm international conference on multimedia, october 2013, barcelona, spain
urn:cts:dhd:2019.sporleder_caroline_multimodale_sentimentanalyse_politischer_:2.1.1.9	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">le, quoc / mikolov, tomas (2014):</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">distributed representations of sentences and documents</hi>, in: the 31st international conference on machine learning, june 2014, beijing, china
urn:cts:dhd:2019.sporleder_caroline_multimodale_sentimentanalyse_politischer_:2.1.1.10	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">ma, jing / gao, wei / wong, kam-fai (2018)</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">rumor detection on twitter with tree-structured recursive neural networks</hi>, in: proceedings of the 56th annual meeting of the association for computational linguistics, 1980–1989, melbourne, australia, july 15 - 20, 2018
urn:cts:dhd:2019.sporleder_caroline_multimodale_sentimentanalyse_politischer_:2.1.1.11	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">pennington, jeffrey / socher, richard / manning, christopher (2014):</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">glove: global vectors for word representation</hi>, in: empirical methods in natural language processing (emnlp), 1532-1543