urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:	edition	
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1	body	
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.1	p	als google im jahre 2009 die erste version des ngram-viewer publizierte, hat die digital humanities-community recht schnell die positiven und negativen aspekte dieses werkzeugs analysiert: die möglichkeiten einer wort- und begriffsgeschichtlichen forschung sind sprunghaft erweitert worden, wie auch der begleitende aufsatz von michel deutlich belegte (michel et al. 2011). dessen teilweise zu naive umgang mit dem quellenmaterial machte aber auch deutlich, dass die autorinnen und autoren kein bewusstsein für die möglichen fallen von korpusbasierten forschungen hatten. die wechselnde zusammensetzung der zugrundeliegenden textsammlung, die unmöglichkeit auf die dahinterliegenden texte zuzugreifen, das fehlen von metadaten für die texte, falsche jahreszahlen, ocr-fehler u.a.m. sind dem ngramm-korpus wiederholt vorgeworfen worden (z.b. underwood 2012). die arbeit von (pechenick et al. 2015) hat gezeigt, wie die zunehmende menge von wissenschaftlicher literatur die korpusanteile in der zweiten hälfte des 20. jahrhundert merklich verschiebt; unklar bleibt allerdings, ob dies nicht auch eine gesellschaftliche entwicklung reflektiert, also keineswegs nur als manko zu betrachten ist. besonders einschlägig ist die arbeit (koplenig 2017), in der veränderungen der korpuszusammensetzung während des zweiten weltkriegs untersucht werden: „the german gb corpus was strongly biased toward volumes published in switzerland during wwii“ (koplenig 2017)
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.2	p	google hat zwei größere updates vorgelegt, die die zugrundeliegende textmenge deutlich erweitert haben. hier die entwicklung des umfangs der deutschsprachigen korpora, auf die ich mich im folgenden beschränke:
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.3	p	dadurch dass die anzahl der digitalisierten bücher noch einmal deutlich gesteigert werden konnte – und das über den gesamten zeitraum, den der <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">viewer </hi>abdeckt, – scheinen die fragen nach einem bias der auswahl weniger relevant zu werden. entsprechend wurde und wird der ngram-viewer auch weiterhin in vielen kontexten als schnell zugängliches werkzeug verwendet, das die möglichkeiten einer auf sehr großen datenbeständen basierenden forschung anschaulich macht (z.b. chen and yan 2016, gonçalves et al. 2018, richey and taylor 2020). insgesamt gehören der <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">ngram-viewer</hi> und die zugrundeliegenden freiverfügbaren daten trotz aller berechtigten kritik für viele forschende zu den wichtigsten daten-publikationen der letzten jahrzehnte.
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.4	p	in diesem sinne wollte auch eine kollegin, die zu fragen der literarischen kanonisierung arbeitet, den viewer verwenden, aber bei der analyse der ergebnisse fiel uns schnell auf, dass die namen einer reihe der hochkanonischen deutschsprachigen autoren – thomas mann, goethe, schiller, kafka, brecht – nach 2005 einen auffälligen abwärtstrend aufweisen (siehe fig. 1).
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.5	p	<figure xmlns="http://www.tei-c.org/ns/1.0"> <graphic url="pictures/1881d00a67a5be7cd73852dd98da4fd4.png" /> <head>fig. 1: kanonisierte autoren (goethe, schiller, thomas mann, kafka, brecht) 1990-2019.</head> </figure>das phänomen zeigt sich noch deutlicher, wenn man sich nur für kanonisierte autor <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">innen</hi> interessiert (siehe fig. 2).
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.6	p	<figure xmlns="http://www.tei-c.org/ns/1.0"> <graphic url="pictures/42050ac6ead6d9c1da94910e328e7a3f.png" /> <head>fig. 2: häufigkeit kanonisierter autorinnen im ngram-viewer (lasker-schüler, seghers, bachmann, jelinek, christa wolf) 1990-2019.</head> </figure>
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.7	p	bevor wir nun allgemeinere kulturanalytische thesen über das ende der bildungskultur formulierten, wollte ich die solidität der daten prüfen. doch wie kann man ein korpus auf möglichen bias untersuchen, wenn weder die liste der texte geschweige die texte selbst vorliegen, sondern nur eine reihe von generischen metadaten und 1-5 gramme?
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.8	div1	
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.8.1	p	da die ngramme, die dem <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">ngram-viewer </hi>zugrundeliegen, ebenfalls publiziert sind, ist es naheliegend, erst einmal die rohwerte und deren entwicklungstendenzen zu untersuchen. das ergebnis (fig. 3) zeigt zumindest für drei der untersuchten namen eine einheitliche tendenz: aufsteigend – also genau das gegenteil der absteigenden entwicklung, die der <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">ngram-viewer </hi>präsentiert. (auffällig ist außerdem ein abfallen in allen verteilungen im jahre 2010.)
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.8.2	p	<figure xmlns="http://www.tei-c.org/ns/1.0"> <graphic url="pictures/2a02d03298294c6e16521dcf09842220.png" /> <head>fig. 3: rohwerte für die häufigkeiten im ngram-viewer korpus (1-gramme, 2019)</head> </figure>
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.8.3	p	wie lässt sich der widerspruch zwischen den ergebnissen erklären? der <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">ngram-viewer </hi>zeigt die <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">relativen</hi> häufigkeiten der wörter an, d.h. den anteil den das wort, z.b. der name ‚goethe‘, an der menge aller publizierten wörter dieses jahres hat. dadurch kann man frequenzen aus dem 18. jahrhundert, die nur auf einigen wenigen büchern beruhen, mit denen im 21. jahrhundert vergleichen. die differenz der ergebnisse könnte also so erklärt werden, dass zwar die anzahl an nennungen von goethe weiter ansteigt, aber ab ca. 2005-2010 zugleich sehr viel mehr bücher im korpus sind, in denen die namen der autoren und autorinnen nicht genannt werden. das würde bedeuten, dass insgesamt im korpus die anzahl der bücher pro jahr deutlich angestiegen sein müsste. die entsprechenden daten sind im ngram-korpus vorhanden und sie bestätigen die these:
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.8.4	p	<figure xmlns="http://www.tei-c.org/ns/1.0"> <graphic url="pictures/d0558eafe63962f5f445c63ee748b5dd.png" /> <head>fig. 4: anzahl der bücher pro jahr im de-ngramm-korpus 2019</head> </figure>
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.8.5	p	wenn die rohdaten aus fig. 3 nun mit den daten über die anzahl der token pro jahr normalisiert werden, dann ergibt sich der trend, der im ngram-viewer sichtbar wurde, alle werte stürzen nach 2005 mehr oder weniger steil ab.
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.8.6	p	<figure xmlns="http://www.tei-c.org/ns/1.0"> <graphic url="pictures/b2cc5ed1b57fba14afe0cf521ee23d6b.png" /> <head>fig. 5: häufigkeitswerte der kanonisierten autoren und autorinnen geteilt durch die anzahl der token pro jahr</head> </figure>
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.8.7	p	allerdings ist der sehr steile anstieg der buchzahlen in fig. 4 ziemlich überraschend. wir wissen, dass google books auf den ergebnissen der digitalisierungskampagne googles in kooperation mit einer ganzen reihe von internationalen forschungsbibliotheken beruht. die deutschsprachigen ergebnisse verdanken sich nicht zuletzt den kooperationen mit der Österreichischen nationalbibliothek und der bayerischen staatsbibliothek. deren bestände speisen sich in den letzten jahrzehnten aus pflichtabgabeexemplaren und einer umfassenden erwerbspolitik. woher kommt also der plötzliche anstieg? sind – den klagen der verlage zum trotz – seit 2005 sehr viel mehr bücher als früher gedruckt worden?.
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.8.8	p	für die buchproduktion konnte ich zwei quellen verwenden, die die daten gleich in digitaler form anbieten: statista, ein kommerzieller datenanbieter, der zahlen des börsenvereins des deutschen buchhandels zur anzahl der neuerscheinungen aufbereitet hat (börsenverein 2022),<ref xmlns="http://www.tei-c.org/ns/1.0" n="1" target="ftn1" /> und die angaben über die anzahl der buchpublikationen insgesamt in thomas rahlfs zeitreihen zur historischen statistik (rahlf 2015). sie decken allerdings nicht die gleichen zeiträume ab. statista hat die aktuelleren daten, reicht aber nicht soweit zurück, während rahlfs datenreihe schon 2015 endet. schon ein erster blick auf die fig. 6, die die anzahl bücher, die laut börsenverein/statista zwischen 2002 und 2019 gedruckt worden sind, mit der anzahl der bücher vergleicht, die dem ngramm-korpus zugrundeliegen, zeigt etwas verblüffendes: in dem korpus sind nach 2012 mehr bücher enthalten, als neuerscheinugen in dem jahr gedruckt wurden.
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.8.9	p	<figure xmlns="http://www.tei-c.org/ns/1.0"> <graphic url="pictures/abff9373b3b73d4c541fd224632cc3c8.png" /> <head>fig. 6: bücher im deutschsprachigen ngramm-korpus und die anzahl der jährlich publizierten bücher (statista)</head> </figure>vielleicht stimmen ja die zahlen von statista nicht. vielleicht sind die angaben in dem ngram-korpus aus dem jahre 2019 falsch. in der fig. 7 sind nun alle informationen gemeinsam eingeflossen. sie zeigt zum einen die werte der buchproduktion aufgrund der daten des börsenvereins – das ist der kurze violette graph – und nach den werten von rahlf – die rote kurve ab 1950. es ist offensichtlich, dass die werte zur buchproduktion sich voneinander unterscheiden: rahlf liegt immer etwas höher, da er ja nicht nur die neuerscheinungen erfasst, aber beide beschreiben ziemlich parallel die gleiche dynamik. bis ca. 2009 steigt die produktion immer weiter an und fällt danach ab. aber welche der beiden kurven man auch zugrundelegt, stets übersteigen die zahlen des ngramm-korpus die werte im jahr 2013 und wohl auch danach.
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.8.10	p	die grafik enthält neben den werten für das aktuelle korpus von 2019 auch die werte für die früheren ngramm-korpora von google aus den jahren 2009 und 2012 , die deutlich kleiner waren. beginnen wir bei den werten vor 1995: es ist auffällig, dass google mit dem letzten update den anteil an der buchproduktion eines jahres, der digitalisiert vorliegt, deutlich steigern konnte, so dass bis in die mitte der 1960er jahre teils 50% und mehr im korpus enthalten sind. für den zeitraum von den späten 1960ern bis in die späten 1990er stagnieren die werte der korpora, während die buchproduktion in diesen jahren steil angestiegen ist. während im jahr 1967 erstaunliche 67% der nach rahlfs publizierten bücher im korpus liegen, sind es 1997 ‚nur‘ noch 23%. erst danach, 1998 bis 2006, wächst der anteil wieder. in den korpora von 2009 und 2012 geschieht dies noch relativ langsam, während die erweiterung von 2019 hier deutlich stärker zulegt. von 2006 auf 2007 springen die werte allerdings steil nach oben. das gilt für alle drei stufen des korpus, aber auch hier ist der anstieg im 2019-korpus noch einmal deutlich ausgeprägter. danach, zwischen 2008 und 2010 verhalten sich die werte im korpus auf einem hohen niveau parallel zu den werten der buchproduktion und fallen mit dieser sogar leicht ab. das ändert sich wiederum 2011-2013, wo wir einen weiteren anstieg beobachten können, der diesmal sogar das niveau der buchproduktion übertrifft.
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.8.11	p	<figure xmlns="http://www.tei-c.org/ns/1.0"> <graphic url="pictures/331d48f0e6d91d420fdd316960c5af91.png" /> <head>fig. 7: entwicklung der buchproduktion und der google korpora 1950-2019</head> </figure>
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.8.12	p	wenn wir noch einmal auf grafik 3 und 4 blicken, dann sehen wir dort, dass die rohwerte für goethe und zwei andere kanonisierte autoren in den späten 1990er jahren deutlich ansteigen, sie zugleich in der normalisierten darstellung schon abfallen. das bedeutet, dass bereits in der phase von 1998-2006 ‚andere‘ texte hinzugefügt wurden, deren zusammensetzung anders war als das bisherige korpus. um welche texte könnte es sich hierbei handeln?
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.9	div1	
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.9.1	p	die oben erwähnten verschiedenen phasen der veränderung legen es nahe zu vermuten, dass nicht ein einzelner eingriff in das korpus, sondern eine reihe verschiedener texthinzufügungen die beobachteten phänomene bedingen. in einem anderen projekt, in dem es um die analyse von heftromanen geht, war bereits aufgefallen, dass sich die einschlägigen verlage der komplexität der feststellung der richtigen metadaten, insbesondere des publikationsdatums, dadurch entledigt haben, dass sie einfach alle retrodigitalisierten texte unter dem datum veröffentlichen, an dem die digitale kopie publiziert wird. um zu testen, ob diese texte auch im ngram-korpus sind, wurden die entsprechenden serienautoren und -helden gesucht:
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.9.2	p	<figure xmlns="http://www.tei-c.org/ns/1.0"> <graphic url="pictures/d958ffb66dd493d23a978a05f8f91060.png" /> <head>fig. 8: häufigkeit von heftroman-helden im ngramm-korpus (2019)</head> </figure>
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.9.3	p	die deutliche steigerung ab 2010 spricht dafür, dass auch hier die retrodigitalisate unter dem jeweiligen jahr aufgeführt sind. allerdings können selbst einige tausend heftromane nicht alleine verantwortlich sein.
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.9.4	p	wie könnte man nun weitere faktoren erkennen? ein offensichtlicher weg geht über das sprachliche material. die neuen texte würden für bestimmte worte zu einer relativen erhöhung führen, selbst wenn viele andere worte einen relativen rückgang aufweisen. da google die daten im 2019-korpus mit wortklasseninformation ausliefert, war es einfach, alle substantive aus den 1-grammen zu extrahieren, rd. 13 mio. anschließend wurden die substantive herausgefiltert, die von 1995 bis 2019 jedes jahr auftauchen und zwar insgesamt mindestens 2 500 mal. für diese restlichen rd. 350.000 wörtern wurde für die daten jedes wortes eine lineare regression berechnet und die steigung der geraden als filterungsfaktor verwendet, um die rd. 250 wörter zu finden, die in dieser zeit den größten anstieg verzeichnen.
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.9.5	p	eine manuelle sichtung dieser wortliste zeigte den einfluss mehrerer textsorten. vor allem aber fiel der einzige name in der liste auf: grin. es handelt sich um eine deutsche verlagsgruppe, zu der neben dem grin-verlag selbst u.a. auch die webseite hausarbeiten.de gehört. der verlag, der von beobachtern als ‚vanity publisher‘ oder ‚predatory publisher‘ (shrestha 2021) eingeschätzt wird, publiziert alle texte digital oder als book on demand. eine „lektorierung findet nicht statt“ (wikipedia). laut verlagswebseite wurden bis ins jahr 2018 200.000 texte publiziert. seitdem sind schätzungsweise mindestens weitere 40.000 titel publiziert worden.<ref xmlns="http://www.tei-c.org/ns/1.0" n="2" target="ftn2" /> fig. 9 zeigt die anzahl der bücher im ngramm-korpus, in denen das token ‚grin‘ vorkommt, was wohl weitgehend identisch ist mit titeln des verlags.
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.9.6	p	<figure xmlns="http://www.tei-c.org/ns/1.0"> <graphic url="pictures/0ddb500fe890da178ef5d25468daf902.png" /> <head>fig. 9: anzahl der bücher im ngramm-korpus (2019), in denen das wort 'grin' vorkommt.</head> </figure>
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.9.7	p	die texte des grin verlags haben zwar alle eine isbn-nummer, aber die meisten sind deutlich kürzer als bücher im herkömmlichen sinn, viele sind aufsätze, die nur 20-30 seiten lang sind. beide faktoren, die unmenge an quasi-wissenschaftlichen kurzen texten des grin-verlags und die falsch datierten heftromane führen dazu, dass die durchschnittliche länge von büchern im ngramm-korpus sich seit 2000 deutlich verringert hat (siehe fig. 10), allerdings sind die werte seit 2017 fast wieder auf dem alten niveau:
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.9.8	p	<figure xmlns="http://www.tei-c.org/ns/1.0"> <graphic url="pictures/3a90d368a7d4b11ff57282c516d84105.png" /> <head>fig. 10: durchschnittliche anzahl der seiten pro buch im ngramm-korpus</head> </figure>
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.9.9	p	fassen wir zusammen: nach 1998 ändert sich die zusammensetzung des deutschsprachigen ngramm-korpus einschneidend, so dass es für die meisten analysen zur entwicklung von sprache und kultur weitgehend unbrauchbar wird. dazu tragen eine reihe von faktoren bei, von denen zwei identifiziert werden konnten: schwerwiegender ist, schon aus umfanggründen, der anteil der publikationen des grin-verlags. sie geben zwar einen einblick in eine bestimmte form universitärer wissenschaftskommunikation, haben aber nichts mit der sonstigen buchproduktion zu tun. hinzukommen die falsch datierten retrodigitalisierungen einiger verlage. zugleich zeigt die analyse der daten, dass dies nicht die einzigen faktoren sind, die hier ins gewicht fallen. wenn man sich auf die wörter mit den steilsten karrieren in den letzten 25 jahren konzentriert (fig. 11), dann fällt auf, dass dies allgemeine token sind, die sich eher in romanen als in fachtexten finden (besonders die anführungszeichen, mit denen in den meisten deutschen drucktexten direkte rede markiert wird): „augen blick du frau gesicht hand kopf leben mal mann moment mutter stimme tag tür vater « »“ da zugleich die länge ansteigt und die anzahl der texte sehr hoch bleibt, außerdem diese texte aber wohl nicht in den offiziellen verlagsstatistiken auftauchen, handelt es sich vermutlich um texte aus literarischen <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">selfpublishing</hi> verlagen, die in der umfrage des börsenvereins nicht miteinbezogen waren. darüber, ob diese nicht doch teil eines kulturgraphen sein sollten, lässt sich allerdings trefflich streiten.
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.9.10	p	an diese explorative studie könnte nun eine untersuchung anschließen, die die veränderungen der korpuszusammensetzung als überdurchschnittlich starke veränderung der token-verteilungen formalisiert (koplenig 2017) und so den hier etwas vernachlässigten aspekt, wann sich genau die veränderungen ergeben, herausarbeitet. die ‚typische‘ verwendung des ngramm-korpus und -viewers, nämlich die untersuchung der verwendungshäufigkeit von termen in der schriftlichen Öffentlichkeit, ist durch die starken schwankungen in der zusammensetzung des korpus sehr fragwürdig geworden. da nach 2000 sonst eher randständige bereiche, quasi-wissenschaftliche texte und die produktion der selbstverlegten autorinnen und autoren, das korpus dominieren, ist es auch für rein sprachanalytische untersuchungen, etwa zur kollokationsanalyse, kaum verwendbar. aber insgesamt verdient die frage, ob und unter welchen vorzeichen die daten nicht doch für bestimmte analysen herangezogen werden können, eine genauere untersuchung.
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:1.9.11	p	<figure xmlns="http://www.tei-c.org/ns/1.0"> <graphic url="pictures/e44da9ddb1c96c8408ffce1680e65f1e.png" /> <head>fig. 11: relative häufigkeiten einiger wörter, die 1995 bis 2019 zunehmend häufiger verwendet werden.</head> <head> </head> </figure>
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:2	back	
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:2.1	notes	<note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn1" rend="footnote text" n="1"> der börsenverein dient in erster linie der interessenvertretung deutscher firmen, auch wenn seit ca. 10 jahren internationale firmen mitglied werden können. </note><note xmlns="http://www.tei-c.org/ns/1.0" xml:id="ftn2" rend="footnote text" n="2"> die deutsche nationalbibliothek verzeichnetrd. 394.000 treffer für den grin-verlag, allerdings wurden mindestens seit 2017 der größere teil der titel doppelt verzeichnet. die dnb listet für den zeitraum von 2019 bis heute rd. 78.000 titel des grin-verlags.</note>
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:2.2	bibliogr	
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:2.2.1	listBibl	
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:2.2.1.1	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">börsenverein des deutschen buchhandels </hi>(2022) <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">buchtitelproduktion: anzahl der neuerscheinungen in deutschland in den jahren 2002-2021</hi>. statista. available at: <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://de.statista.com/statistik/daten/studie/39166/umfrage/verlagswesen-buchtitelproduktion-in-deutschland/" /> (accessed: 8 march 2022).
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:2.2.1.2	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">chen, y. and yan, f.</hi> (2016) ‘centuries of sociology in millions of books’. available at: <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://doi.org/10.1111/1467-954x.12399" />.
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:2.2.1.3	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">gonçalves, b. et al.</hi> (2018) ‘mapping the americanization of english in space and time’, <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">plos one</hi>, 13(5), p. e0197741. available at: <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://doi.org/10.1371/journal.pone.0197741" />.
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:2.2.1.4	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">koplenig, a.</hi> (2017) ‘the impact of lacking metadata for the measurement of cultural and linguistic change using the google ngram data sets—reconstructing the composition of the german corpus in times of wwii’, <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">digital scholarship in the humanities</hi>, 32(1), pp. 169–188. available at: <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://doi.org/10.1093/llc/fqv037" />.
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:2.2.1.5	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">michel, j.-b. et al.</hi> (2011) ‘quantitative analysis of culture using millions of digitized books’, <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">science</hi>, 331(6014), pp. 176–182. available at: <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://doi.org/10.1126/science.1199644" />.
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:2.2.1.6	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">pechenick, e.a., danforth, c.m. and dodds, p.s.</hi> (2015) ‘characterizing the google books corpus: strong limits to inferences of socio-cultural and linguistic evolution’, <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">plos one</hi>, 10(10), p. e0137041. available at: <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://doi.org/10.1371/journal.pone.0137041" />.
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:2.2.1.7	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">rahlf, t.</hi> (2015) <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">deutschland in daten: zeitreihen zur historischen statistik</hi>. bonn: bundeszentrale für politische bildung.
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:2.2.1.8	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">shrestha, j.</hi> (2021) <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">vanity publishers: how to identify and avoid them</hi>. available at: <ptr xmlns="http://www.tei-c.org/ns/1.0" target="http://eprints.rclis.org/42635/" /> (accessed: 2 august 2022).
urn:cts:dhd:2023.jannidis_fotis_korpuszusammensetzung_und_verlaesslichkeit_des:2.2.1.9	bibl	<hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">underwood, t.</hi> (2012) ‘how not to do things with words’, <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">the stone and the shell</hi>, 25 august. available at: <ptr xmlns="http://www.tei-c.org/ns/1.0" target="https://tedunderwood.com/category/ngrams/" /> (accessed: 1 august 2022).