Den Ausgangspunkt für das Projekt MuMokA ( <ref xmlns="http://www.tei-c.org/ns/1.0" target="https://www.hcds.uni-hamburg.de/cdls/project-hcds/multimodale-modellierung.html"> <hi rend="underline color(1155CC)">https://www.hcds.uni-hamburg.de/cdls/project-hcds/multimodale-modellierung.htm</hi> </ref>) bildet das vom Gegenwartsautor Walter Kempowski (1929-2007) nachgelassene digitale Werkfragment <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Ortslinien</hi>. Das Fragment enthält neben Texten und Bildern auch Tonsegmente und Videoausschnitte und bewegt sich konzeptuell an der Grenze zwischen Kunstwerk und digitalem Archiv (Becker/Oertel 2013). Damit bietet es Anknüpfungspunkte für ein breites Spektrum geisteswissenschaftlicher Fragestellungen zum Umgang mit born-digital-Literatur und -Kunst (Kremers 2020) und zur digitalen Modellierung multimodaler Kulturgüter (Bateman et al. 2017, Ciula et al. 2017, Jewitt 2016). Die Multimodalität, die konzeptionelle Unvollständigkeit und der fragmentarische Charakter der <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic" xml:space="preserve">Ortslinien </hi>bilden Ausgangspunkte für einen interdisziplinären Dialog zu grundlegenden Fragen der digitalen Erforschung von digitalen, multimodalen Kulturgütern (Preiß 2021). Im Rahmen der interdisziplinären Zusammenarbeit entwickeln wir Lösungen für die damit verbundenen wissenschaftlichen, konzeptionellen, technischen, rechtlichen und ethischen Herausforderungen. Für die Untersuchungen des Materialkorpus werden u.a. Methoden der Datenrestaurierung, des Natural Language Processing, des Deep Learning (LLMs) und des Visual Computing genutzt. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Ortslinien</hi> ist ein digitales, multimodales, unvollendetes Kunstwerk, an dem Walter Kempowski von ca. 1997 bis zu seinem Lebensende im Jahr 2007 mit den damals neuesten technischen Möglichkeiten gearbeitet hat. Auf der Festplatte seines Apple Power Mac G3, die sich mittlerweile im Kempowski-Archiv der Akademie der Künste Berlin befindet, hinterließ Kempowski mehrere Datenordner mit der Bezeichnung „OL“ (für „Ortslinien“). Diese Ordner enthalten eine umfangreiche Sammlung von mehreren tausend Auszügen aus Dokumenten verschiedener Modalitäten (Text, Ton, Bild, Bewegtbild), die Teil der <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Ortslinien</hi> werden sollten und einen Einblick in die vom Autor geplante Struktur des Werks geben. Kempowski beabsichtigte, knapp 200 Jahre deutscher und europäischer Geschichte anhand medialer ‚Schnipsel‘ Tag für Tag einander gegenüberzustellen und auf diese Weise ein „räumliches Zeitgefühl” (Henning 2002) zu kreieren, wobei das Korpus der <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Ortslinien</hi> von ihm von Vornherein als unabschließbar und prinzipiell erweiterbar konzipiert war. Das <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Ortslinien</hi>-Fragment bildet den Kern des MuMokA-Projekts und wirft eine Reihe von Fragen in Bezug auf die wissenschaftliche Erforschung und Präsentation digitaler Werke auf: Wie kann das <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Ortslinien</hi>-Korpus mit digitalen Methoden untersucht und digital aufbereitet werden, um es wissenschaftlich nutzbar und zitierfähig zu machen (Benardou et al. 2018)? Wie ist mit der teils intendierten, teils zufälligen Unvollständigkeit des Objekts umzugehen, wenn es in aktuelle digitale Formate übertragen werden soll? Wie sollten eine digitale Architektur und entsprechende Gestaltungslösungen aussehen, die die verschiedenen Modalitäten des Originalobjekts berücksichtigen und auch die charakteristische Multimodalität und die Wechselwirkungen zwischen den verschiedenen Modalitäten für die Rezipierenden erlebbar machen? Wie kann die Wahrnehmung von Kunst und Kultur in virtuellen Räumen für unterschiedliche Nutzendengruppen und Nutzungsszenarien ermöglicht werden (sowohl im wissenschaftlichen Kontext als auch im musealen Umfeld)? Ziel des Projekts ist die Entwicklung von prototypischen Szenarien zur teilautomatisierten Exploration und Strukturierung sowie zur digitalen Repräsentation multimodaler born-digital-Korpora. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">1. Zugang und Wiederherstellung der Lesbarkeit der Daten (weitgehend abgeschlossen)</hi> <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">2. Modalitätenübergreifende Modellierung der Daten: Strukturierung, Annotation, Repräsentation (in Arbeit)</hi> Die Exploration und Modellierung der Strukturen und Inhalte des Korpus erfolgt anhand zweier komplementärer Zugriffe, die tendenziell einem Close und einem Distant Reading-Ansatz zuzuordnen sind. 1. Manuelle Modellierung der Strukturen und Inhalte des Korpus in einer Tabelle mit vier hierarchisch angeordneten und untereinander dynamisch verknüpften Ebenen, welche die überlieferte Ordnerstruktur mit der von Kempowski angelegten Ordnung verbinden und jedes Dokument in seiner Position im Korpus verortbar machen (siehe Abbildung 1). 2.1 Nutzung von gKI zur Datenextraktion und -kategorisierung, um die Zuordnung von Dokumenten zu den verschiedenen Ebenen der Tabelle soweit wie möglich zu automatisieren (vgl. Abb. 2). Wir folgen dem Prompting-Ansatz von Marvin et al. 2024 und nutzen aktuell die von der Universität Hamburg lizensierte Version UHHgpt 4omni (vgl. <ref xmlns="http://www.tei-c.org/ns/1.0" target="https://uhhgpt.uni-hamburg.de/"> <hi rend="color(1155CC)">https://uhhgpt.uni-hamburg.de/</hi> </ref>). Hierbei werden keine Prompts gespeichert und keine Daten an OpenAI übertragen, was aufgrund der teilweise urheberrechtlich geschützten Dokumente, mit denen wir arbeiten, besonders relevant ist. 2.2 Einsatz von maschinellen Lernverfahren zur Korpusanalyse mittels u.a. Named Entity Recognition, Topic Modeling und Multidimensional Scaling (vgl. Abb. 3). <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">3. Multimodale Modellierung und Entwicklung von digitalen Präsentationsszenarien (in Planung)</hi> Während wir bereits Konzepte zur Wiederherstellung und Strukturierung der Daten entwickelt haben, liegt unser aktueller Fokus auf der Exploration und Repräsentation der Inhalte des Korpus mittels BERTopics (Grootendorst 2022, vgl. Abb. 2). Hierbei planen wir ebenfalls, künftig verstärkt die anderen Modalitäten wie Bilder und Tondateien einzubeziehen. Darauf aufbauend werden wir an Konzepten arbeiten, um das Korpus für andere Wissenschaftler:innen zugänglich zu machen und das fragmentierte Kunstwerk <hi xmlns="http://www.tei-c.org/ns/1.0" rend="italic">Ortslinien</hi> der Öffentlichkeit zu präsentieren. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Bateman, John, et al.</hi> 2017. “Multimodality: Foundations, Research and Analysis – A Problem-Oriented Introduction”. De Gruyter, <hi xmlns="http://www.tei-c.org/ns/1.0" rend="color(0F54CC)">https://doi.org/10.1515/9783110479898</hi>. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Becker, Irmgard Christa und Stephanie Oertel</hi>. 2013. “Digitalisierung im Archiv: neue Wege der Bereitstellung des Archivguts: Beiträge zum 18. Archivwissenschaftlichen Kolloquium der Archivschule Marburg.” Archivschule Marburg. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Benardou, Agiatis, et al.</hi> 2018. “Cultural heritage infrastructures in digital humanities.” Routledge, Taylor & Francis Group. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Ciula, Arianna, et al.</hi> 2017. “Models and modelling between digital and humanities: a multidisciplinary perspective”. GESIS - Leibniz Institute for the Social Sciences. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Grootendorst, Maarten</hi> 2022. BERTopic: Neural topic modeling with a class-based TF-IDF procedure. arXiv preprint arXiv:2203.05794. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Hennig, Falko</hi>. 2002 „Das ist ein sinnlicher Vorgang“. Gleichzeitig ist besser: Ein Gespräch mit dem Schriftsteller Walter Kempowski über Computer und sein großes Multimediaprojekt ‚Ortslinien‘. taz. die tageszeitung, 09.04.2002, <ref xmlns="http://www.tei-c.org/ns/1.0" target="https://taz.de/Das-ist-ein-sinnlicher-Vorgang/!1116522/"> <hi rend="underline color(1155CC)">https://taz.de/Das-ist-ein-sinnlicher-Vorgang/!1116522/</hi> </ref>. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Jewitt, Carey, et al.</hi> 2016. “Introducing multimodality”. Routledge. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Kremers, Horst</hi>. 2020 (Hg.). Digital Cultural Heritage. Springer, 2020. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Marvin, G., Hellen, N., Jjingo, D., Nakatumba-Nabende, J.</hi> 2024. Prompt Engineering in Large Language Models. In: Jacob, I.J., Piramuthu, S., Falkowski-Gilski, P. (Hg.). Data Intelligence and Cognitive Informatics. ICDICI 2023. Algorithms for Intelligent Systems. Springer, Singapore. https://doi.org/10.1007/978-981-99-7962-2_30. <hi xmlns="http://www.tei-c.org/ns/1.0" rend="bold">Preiß, Cecilia Mareike Carolin.</hi> 2021. “Kunst mit allen Sinnen: Multimodalität in zeitgenössischer Medienkunst”. transcript. 