urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:	edition	
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1	body	
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.1	div1	
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.1.1	p	die verwendung von statischen oder dynamischen word embeddings wie fasttext (bojanowski et al. 2016) oder bert (devlin et al. 2019) hat die verarbeitung natürlicher sprache auch im bereich der digitalen geisteswissenschaften wesentlich verbessert. allerdings setzen diese verfahren voraus, dass man zu ihrem training über ein sehr großes textkorpus verfügt, zum beispiel wikipedia oder das oscar korpus (suárez et al. 2020), mit mehreren gigabyte umfang. viele dh-projekte können aber nur auf sehr viel kleinere textmengen zurückgreifen. andererseits beschäftigen sich viele dh-projekte mit kultureller Überlieferung, die schon seit längerer zeit erforscht wird, so dass etwa wörterbücher oder andere strukturierte nachschlagewerke vorliegen. dieses paper diskutiert, wie man ein word embedding wie fasttext auf sehr kleinen textmengen trainieren kann und durch die hinzufügung von wörterbüchern als wissensgraphen eine deutlich verbesserte abstrakte semantische repräsentation des korpus erreichen kann.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.1.2	p	wissensgraphen oder knowledge graphen sind eine form der informationsrepräsentation, bei der systematisch aussagen in der form subjekt-prädikat-objekt (tripel) dargestellt werden. die informationen im graph können einer spezifischen domäne angehören oder auch allgemeinwissen insgesamt abbilden. das automatische umwandeln einer lexikalisch-semantischen ressource (lsr) – das können beispielsweise wörterbücher oder enzyklopädien sein – in einen wissensgraphen ist nicht zuletzt durch die eher offen gehaltene definition eines wissensgraphen unproblematisch, da die einträge in lsr häufig bereits in einer art tripel-struktur organisiert sind. die erstellung des graphen aus einer lsr reicht über einfache regelbasierte verfahren (chodorow 1985) über clustering methoden (oliveira und gomes 2011), bis hin zu der verwendung von sprachmodellen, wobei hier hauptsächlich der anspruch besteht, tripel aus fließtext zu extrahieren (siehe z.b. yang et al. 2020).
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.2	div1	
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.2.1	p	die forschung im bereich der natürlichen sprachverarbeitung und knowledge graphen hat gezeigt, dass word embeddings sowie auch sprachmodelle von strukturiertem wissen profitieren können. der ansatz ist getrieben von der intuition, dass einige semantische relationen in form von fließtext selten ausgedrückt werden, da sie für menschen offensichtlich sind, z.b. "er aß die <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">gelbe</hi> banane" oder "friedrich schiller war eine person" (anstatt die berufsbezeichnungen zu nennen). lediglich durch distributionelle semantik würden sich solche beziehungen nicht unbedingt in darauf basierenden modellen niederschlagen.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.2.2	p	um statische embeddings mit informationen aus einem wissensgraphen anzureichern, gibt es hauptsächlich zwei ansätze:
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.2.3	p	ebenfalls möglich ist das parallele trainieren der embeddings auf fließtext und wissensgraph (xu et al. 2014), welches sich allerdings vor allem gegenüber des erstgenannten ansatzes aufgrund der höheren benötigten rechenleistung nicht durchgesetzt hat.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.2.4	p	beim retrofitting werden bereits vortrainierte word embeddings im nachhinein durch einen wissensgraphen angepasst. dabei werden die unmittelbaren nachbarschaften im graphen ausgenutzt: iterativ werden die wortvektoren so angepasst, dass die distanzen zu den direkten nachbarn im graphen und gleichzeitig die distanz zum jeweiligen ursprünglichen wortvektor minimiert werden.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.2.5	p	die fusion-methode verfolgt einen anderen ansatz: zuerst werden embeddings auf basis des wissensgraphen berechnet. Ähnlich wie bei word embeddings auch wird dabei jeder entität im graph ein vektor zugeordnet, welcher durch die nähen zu den anderen vektoren aus dem graph die bedeutung der entität abbildet. populäre ansätze sind zum beispiel transe (bordes et al. 2013) oder rotate (sun et al. 2019). bei transe werden die vektoren so trainiert, dass die summe aus subjekt- und prädikatvektor möglichst nah an dem vektor des objekts liegt. viele andere verfahren bauen auf der idee auf, so auch rotate – hier wird die beziehung zwischen objekt und subjekt durch eine rotation im vektorraum über das prädikat (anstelle der summe) abgebildet. für die fusion werden dann ebenfalls vortrainierte word embeddings mit den embeddings der entitäten aus dem graph konkateniert. in einem zweiten schritt werden dann die konkatenierten embeddings auf die gewünschte dimension reduziert, zum beispiel durch eine principle component analysis (pca). dabei können die verschiedenen embeddings je nach anwendungsfall unterschiedlich gewichtet werden. für knowledge base completion zum beispiel, also die automatische vorhersage neuer relationen in einem graph, eignen sich fusionsembeddings, bei welchen der wissensgraph stärker gewichtet wurde, besser (thoma et al. 2017).
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.2.6	p	das hier dargestellte konzept kann ebenso für das anreichern von sprachmodellen wie bert verwendet werden, denn gerade sprachmodelle benötigen so wie das trainieren von word embeddings auch viele textdaten, um eine sprache angemessen abbilden zu können. auch hierbei gibt es verschiedene möglichkeiten; darunter beispielsweise das einhängen der tripel-informationen in den fließtext einhergehend mit dem anpassen des attention mechanismus für das pre-training (liu et al. 2019) oder das erstellen eines gänzlich neuen textes mittels zufälliger pfade aus dem graphen, welcher via eigener adapter in das pre-training des sprachmodells integriert wird (lauscher et al. 2020).
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.3	div1	
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.3.1	p	im folgenden sollen exemplarisch ergebnisse für das anpassen von statischen word embeddings mithilfe eines wissensgraphen auf basis einer kleinen textmenge dargestellt werden. um eine kleine domäne zu simulieren wurde aus dem deutschen oscar korpus eine menge an zufälligen sätzen so ausgewählt, dass etwa 20mb (ca. 3.6m tokens, 47.000 types) an text daraus entstanden sind. mit diesen daten wurde dann ein 300-dimensionales word embedding modell mit fasttext trainiert. für den wissensgraph wurde germanet (hamp und feldweg 1997, henrich und hinrichs 2010) herangezogen. Ähnlich zu dem englischen wordnet werden in germanet semantische beziehungen zwischen wörtern verzeichnet (synonyme, hyponyme etc.). es ist deshalb zu erwarten, dass die angepassten word embeddings vor allem wortähnlichkeiten besser abbilden können. obwohl sowohl statische als auch kontextualisierte embeddings für das experiment verwendet werden können, wurden hier die statischen embeddings gewählt, da diese für das abbilden von semantischen beziehungen immer noch genauso gut geeignet sind (ehrmanntraut et al. 2021).
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.3.2	p	speziell für diese evaluation wurden deshalb mehrere datensätze ausgewählt, welche wortähnlichkeiten und wortverwandschaften prüfen: schm280 (köper et al. 2015), simlex-999 (leviant und reichart 2015), zg222 (zesch und gurevych 2006) und gur65 sowie gur350 (gurevych 2005). bei allen datensätzen besteht jede testinstanz aus einem wortpaar und einer manuell annotierten wertung der wortähnlichkeit. da nicht immer alle wörter einer testinstanz in den word embeddings gefunden werden, werden nicht alle instanzen bei der evaluation berücksichtigt. die anzahl der tatsächlich verwendeten testinstanzen je testset können in tabelle 1 eingesehen werden.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.3.3	p	
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.3.3.1	p	simlex-999
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.3.3.2	p	schm280
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.3.3.3	p	zg222
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.3.3.4	p	gur65
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.3.3.5	p	gur350
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.3.4	p	für die fusions-methode wurden rotate embeddings (implementierung von zhu et al. (2019)) mit einer dimension von 128 trainiert. nachteil dieser methode ist, dass die mehrheit der wörter aus dem vokabular der word embeddings kein gegenstück in den entitäten von germanet haben (etwa 62%). fehlende germanet vektoren wurden in diesem experiment deshalb durch zufällig bestimmte vektoren innerhalb der grenzen des germanet rotate vektorraumes erstellt. damit ist sichergestellt, dass alle modelle auf basis des gleichen vokabulars beurteilt werden. die word und knowledge graph embeddings wurden nicht weiter gewichtet; die dimensionsreduktion wurde mit einer pca vorgenommen.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.3.5	p	berechnet wurden die spearman korrelationen zwischen den menschlichen bewertungen und der kosinus-Ähnlichkeiten der vektoren der wortpaare (siehe ergebnisse in tabelle 1). für das vortrainierte fasttext sind die mittelwerte sowie die standardabweichungen der spearman korrelationen aus 15 identisch trainierten modellen angegeben, um etwaige schwankungen aufgrund der nicht-deterministischen modellerstellung anzuzeigen.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.3.6	p	für die auswertung wurden außerdem <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">retro_all</hi> und das fusions-modell miteinander kombiniert um ein ensemble-modell zu präsentieren und einen konsens zwischen den modellen zu bilden. im ensemble-modell werden deshalb die kosinus Ähnlichkeiten beider modelle gemittelt und für die auswertung herangezogen.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.4	div1	
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.4.1	p	anhand der ergebnisse zeigt sich, dass auf allen datensätzen das anpassen der word embeddings mit germanet zu einer verbesserung der performanz führt. vor allem das ensemble-modell <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">retro_all+fusion</hi> erzielt dabei konsistent bessere resultate. insbesondere für die repräsentation von wortähnlichkeiten (bzw. synonymie in simlex-999) erscheint es lohnenswert, die anpassung der word embeddings durch germanet vorzunehmen. speziell beim retrofitting fallen die ergebnisse des auf dem gesamten relationsbestand von germanet optimierten modells besser aus als nur bei den synonymen. bemerkenswert ist trotzdem, dass <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">retro_syns</hi>, welches auf einem vergleichsweise kleinem set aus tripeln abgestimmt wurde, ebenfalls schon in manchen fällen fortschritte erzielen kann.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.4.2	p	<figure xmlns="http://www.tei-c.org/ns/1.0"> <graphic url="pictures/5dd3ce385187e04505b3e009d65ee7fb.png" /> <head>abb. 1: performanz des retro_all+fusion modells im vergleich zu den nicht angepassten fasttext Äquivalenten auf dem simlex-999 datensatz mit zunehmender korpusgröße. als baseline ist die performanz des auf wikipedia trainierten word2vec modells von leviant und reichart (2015) gegeben.</head> </figure>um deutlich zu machen, wie sich die korpusgröße insgesamt auf die ergebnisse auswirkt, wurde noch ein weiteres experiment umgesetzt. dafür wurden zunächst verschieden große textsamples aus dem oscar korpus generiert, um dann jeweils ein normales fasttext sowie ein durch germanet angepasstes modell auf verschieden großen korpora zu vergleichen. für das fitting wurde <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">retro_all+</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">fusion</hi> gewählt; die evaluation wurde auf simlex-999 durchgeführt. die ergebnisse sind in abbildung 1 dargestellt.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.4.3	p	hauptsächlich drei beobachtungen können aus diesem experiment abgeleitet werden. erstens gibt es trotzdem ein unteres limit für die korpusgröße, ab der das fitting der vektoren zu keiner verbesserung führt, vermutlich da das fasttext modell allein schon zu wenig informationen enthält. hier sind es etwa 10mb für das oscar korpus; allerdings ist es möglich, dass für tatsächlich domänenspezifische korpora dieses limit weiter unten angesetzt ist, da das vokabular von oscar sich über alle domänen erstreckt. ein kleineres vokabular, gegeben durch eine spezifische domäne, würde hier vielleicht auch unterhalb der 10mb ein sinnvolles fasttext modell trainieren können.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.4.4	p	die zweite beobachtung ist, dass im falle eines 20mb großen korpus durch das fitting eine performanz eines etwa dreimal so großen korpus erzielt wird: bei 64mb zeigt das normale fasttext modell eine performanz von 0,27. drittens lässt sich anhand der angezeigten baseline zeigen, dass ein korpus der größe 120mb mithilfe des fittings bereits genauso erfolgreich ist wie ein auf wikipedia (aktuell etwa 13gb) trainiertes word2vec modell.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.4.5	p	für das hier durchgeführte experiment wurden keine hyperparameter optimiert, sowohl für das trainieren der fasttext embeddings als auch für das anpassen mit beiden ansätzen. durch weiteres anpassen der lernrate beim retrofitting oder bei der wahl des knowledge graph embedding algorithmus und der anzahl der dimensionen für diese können möglicherweise noch bessere ergebnisse erzielt werden. auch die auswahl der tripel aus einem graphen oder die auswahl des graphen an sich kann eine entscheidende rolle spielen; prinzipiell kann diese je nach anwendungsfall für die word embeddings unterschiedlich ausfallen. wenn mit den embeddings beispielsweise das erkennen von entitäten eher im fokus steht, ist es denkbar, tripel aus dbpedia (lehmann et al. 2015) oder wikidata zum verbessern der vektoren zu verwenden, da dort hauptsächlich personen und orte verzeichnet sind. geht es eher um die erkennung von part-of-speech, so kann die zuhilfenahme eines wörterbuches, welches morphologische informationen zu den wörtern beinhaltet, nützlicher sein.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:1.4.6	p	dieses paper zeigt insgesamt, dass es sich lohnt, eine zur verfügung stehende lexikalisch-semantische ressource in den erstellungsprozess von word embeddings zu integrieren; hier demonstriert anhand der erkennung semantischer wortähnlichkeiten in der deutschen sprache. vor allem dann, wenn wenig daten vorhanden sind, um ein forschungsvorhaben in einer speziellen domäne durchzuführen, können diese zusätzliche ressourcen ausgenutzt werden um ein korpus inhaltlich anzureichern und somit das trainieren eines word embeddings modells unterstützen. typische domänen können zum beispiel ein historisches korpus, dialekte, pidgins und andere arten von sprachvariation oder auch ein ganz spezifisches genre sein. vor allem also für germanisten, die auf grundlage einer eher textarmen domäne mit quantitativen methoden arbeiten möchten (sei es beispielsweise für das erkennen von bedeutungsveränderungen von wörtern mithilfe von embeddings innerhalb einer solchen domäne), kann das anreichern von textkorpora mit wissensgraphen und eines der hier vorgestellten verfahren von interesse sein.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:2	back	
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:2.1	bibliogr	
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:2.1.1	listBibl	
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:2.1.1.1	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">bordes, antoine / usunier, nicolas / garcia-durán, </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">alberto</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold"> </hi>(2013): „translating embeddings for modeling multi-relational data“, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">advances in neural information processing systems</hi> 2787-2795.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:2.1.1.2	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">bojanowski, </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">piotr </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">/ grave, edouard / joulin, armand</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold"> / </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">mikolov, tomas</hi> (2016): „enriching word vectors with subword information“, arxiv:1607.04606.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:2.1.1.3	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">chodorow, </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">martin</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold"> s. / byrd, </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">roy</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold"> j. / heidorn, </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">george</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold"> e.</hi> (1985): „extracting semantic hierarchies from a large on-line dictionary“, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">proceedings of the 23rd annual meeting on association for computational linguistics</hi> 299–304.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:2.1.1.4	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">devlin, jacob / chang, ming-wei / lee, kenton / toutanova, kristina</hi> (2019): „bert: pre-training of deep bidirectional transformers for language understanding“, arxiv:1810.04805.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:2.1.1.5	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">ehrmanntraut, anton / hagen, thora / jannidis, fotis / konle, leonard </hi>(2021): „type- and token-based word embeddings in the digital humanities“, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">ceur workshop proceedings</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">2989</hi>.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:2.1.1.6	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">faruqui, manaal / dodge, jesse / jauhar, sujay k. / dyer, chris / hovy, eduard / smith, noah a.</hi> (2015): „retrofitting word vectors to semantic lexicons“, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">naacl hlt 2015 - 2015 conference of the north american chapter of the association for computational linguistics: human language technologies, proceedings of the conference</hi> 1606–1615.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:2.1.1.7	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">gurevych, iryna</hi> (2005): „using the structure of a conceptual network in computing semantic relatedness“, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">international conference on natural language processing</hi> 767–778.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:2.1.1.8	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">hamp, birgit / feldweg, helmut </hi>(1997): „germanet - a lexical-semantic net for german“, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">automatic information extraction and building of lexical semantic resources for nlp applications.</hi>
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:2.1.1.9	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">henrich, verena / hinrichs, erhard w.</hi> (2010): „gernedit-the germanet editing tool“, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">acl (system demonstrations) </hi>19–24.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:2.1.1.10	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">köper, maximilian / scheible, christian / schulte im walde, sabine</hi> (2015): „multilingual reliability and ‚semantic‘ structure of continuous word spaces“, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">proceedings of the 11th international conference on computational semantics (iwcs 2015) -- short papers.</hi>
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:2.1.1.11	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">lauscher, </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">anne</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold"> / </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">majewska, olga / ribeiro, leonardo f. r. / gurevych, iryna / rozanov, nikolai / </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">glavaš, goran</hi> (2020): „common sense or world knowledge? investigating adapter-based knowledge injection into pretrained transformers“, arxiv:2005.11787.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:2.1.1.12	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">lehmann, jens / isele, robert / jakob, max / jentzsch, anja / kontokostas, dimitris / mendes, pablo n. / hellmann, sebastian / morsey, mohamed / van kleef, patrick / auer, sören / u. a.</hi> (2015): „dbpedia--a large-scale, multilingual knowledge base extracted from wikipedia“, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">semantic web </hi>6 167–195.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:2.1.1.13	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">lengerich, benjamin j. / maas, andrew l. / potts, christopher</hi> (2017): „retrofitting distributional embeddings to knowledge graphs with funtional relations“, arxiv:1708.00112.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:2.1.1.14	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">leviant, </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">ira</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold"> / </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">reichart, </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">roi</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold"> </hi>(2015): „separated by an un-common language: towards judgment language informed vector space modeling“, arxiv:1508.00106.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:2.1.1.15	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">liu, </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">weijie / </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">zhou, peng / zhao, zhe / wang, zhiruo / ju, qi / deng, </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">haotang / wang, ping </hi>(2020): „k-bert: enabling language representation with knowledge graph“, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">proceedings </hi> <emph xmlns="http://www.tei-c.org/ns/1.0"> <hi rend="italic">of the aaai conference on artificial intelligence</hi> </emph> 2901-2908.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:2.1.1.16	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">oliveira,</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold"> hugo g. / gomes, paulo</hi> (2011): „automatic discovery of fuzzy synsets from dictionary definitions“, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">twenty-second international joint conference on artificial intelligence.</hi>
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:2.1.1.17	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">ortiz suárez, pedro j. / romary, laurent / sagot, benoît</hi> (2020): <emph xmlns="http://www.tei-c.org/ns/1.0">„</emph>a monolingual approach to contextualized word embeddings for mid-resource languages“, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">proceedings of the 58th annual meeting of the association for computational linguistics</hi>.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:2.1.1.18	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">sun, </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">zhiqing / deng, zhi-hong / nie, jian-yun / tang, jian</hi> (2019): „rotate: knowledge graph embedding by relational rotation in complex space“, arxiv:1902:10197.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:2.1.1.19	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">thoma, steffen / rettinger, achim / both, fabian</hi> (2017): <emph xmlns="http://www.tei-c.org/ns/1.0">„</emph>towards holistic concept representations: embedding relational knowledge, visual attributes, and distributional word semantics“, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">lecture</hi> <emph xmlns="http://www.tei-c.org/ns/1.0">notes in computer science (including subseries lecture notes in artificial intelligence and lecture notes in bioinformatics)</emph> <emph xmlns="http://www.tei-c.org/ns/1.0"> </emph> <emph xmlns="http://www.tei-c.org/ns/1.0">10587 lncs</emph><emph xmlns="http://www.tei-c.org/ns/1.0">:</emph> 694–710.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:2.1.1.20	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">xu, chang / bai, yalong / bian, jiang / gao, bin / wang, gang / liu, xiaoguang / liu, tie yan</hi> (2014): „rc-net: a general framework for incorporating knowledge into word representations“, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">cikm 2014 - proceedings of the 2014 acm international conference on information and knowledge management</hi> 1219–1228.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:2.1.1.21	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">yang, sungmin / yoo, </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">soyeop </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">/ jeong, </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">okran</hi> (2020): „denert-kg: named entity and relation extraction model using dqn, knowledge graph, and bert“, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">applied sciences </hi> <emph xmlns="http://www.tei-c.org/ns/1.0">10</emph>.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:2.1.1.22	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">zesch, torsten / gurevych, iryna</hi> (2006): „automatically creating datasets for measures of semantic relatedness“, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">proceedings of the workshop on linguistic distances</hi> 16–24.
urn:cts:dhd:2022.hagen_thora_verwendung_von_wissensgraphen_zur_inhaltlichen_e:2.1.1.23	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">zhu, zhaocheng / </hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">xu, shizhen / qu, meng / tang, jian </hi>(2019): „graphvite: a high-performance cpu-gpu hybrid system for node embedding“, in: <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">the world wide web conference</hi> 2494–2504.