Читать книгу Schrift - Bild - Ton (E-Book) - Mirjam Weder - Страница 7

Die oben geschilderten Phänomene werden seit über 20 Jahren unter dem Begriff Multimodalität gefasst und in verschiedenen Disziplinen erforscht. Bevor das Forschungsfeld Multimodalität umrissen wird, sollen zunächst die Begriffe Multimodalität und Modalität näher geklärt werden.

Eine basale Definition von Multimodalität fasst multimodale Kommunikation als ein Interagieren mittels Texten, die Zeichen mindestens zweier Modalitäten strukturell und funktional, d.h. mit kommunikativer Absicht integrieren (vgl. Stöckl 2016, S. 88, S. 93; Bucher 2007, S. 53). Mit Modalität sind dabei vereinfacht gesagt Zeichentypen wie Schrift, Bild, Ton, aber auch zum Beispiel Elemente des Textdesigns wie Schriftfarben oder Schriftarten gemeint (vgl. z.B. Bucher 2011a, S. 123). In der angelsächsischen Social Semiotics werden diese Zeichentypen auch oft Zeichenressourcen genannt, um zu betonen, dass die Bedeutung eines Zeichens nicht vorgegeben ist, sondern erst im Gebrauch konstruiert wird (van Leeuwen 2005, S. 3).

Die nähere Betrachtung des Begriffs Modalität offenbart freilich dessen Komplexität und eine eindeutige Begriffsdefinition bzw. eine möglichst trennscharfe Beschreibung einzelner Modalitäten stellt für die Multimodalitätsforschung eine kontinuierliche Herausforderung dar. Stöckl (2016, S. 95) etwa stellt eine Definition von Zeichenmodalität vor, die sich aus drei Dimensionen speist: aus der sinnlichen Wahrnehmung der Zeichenrezeption (z.B. visueller oder auditiver Kanal), der Medialität des Zeichens (materielle und technische Realisierung) und der Zugehörigkeit zu einem semiotischen Code, d.h. zu einem Zeichensystem mit den Dimensionen Syntax, Semantik und Pragmatik.

Auf der Basis dieses Modalitätsbegriffs geht Stöckl von vier Grundtypen multimodaler Texte aus: Printtext, Audiotext, audiovisueller Text und elektronischer Text (Stöckl 2016, S. 96). Diese sind nach multimodaler Komplexität gestuft und unterscheiden sich grundlegend in der zeitlichen und räumlichen Dimension. Des Weiteren können Modalitäten laut Stöckl (2016; S. 97) autonom sein (Sprache, Bild, Musik) oder von anderen Modalitäten abhängen wie die Schriftgestaltung oder das Textdesign.

Ein so gefasster Modalitätsbegriff ist insbesondere dann fruchtbar, wenn es darum geht, die multimodale Komplexität eines Textes zu fassen, nach dem Beitrag der einzelnen Modi zur Gesamtbedeutung des Textes zu fragen oder das Bedeutungspotenzial zu verstehen, das eine Modalität innerhalb einer kommunikativen Praxis anbietet. Er stößt aber dann an seine Grenzen, wenn es darum geht, verschiedene Modalitäten systematisch voneinander abzugrenzen, wenn diese verschmelzen, z.B. in der Schrift die Modalitäten Sprache und Bild (Stöckl 2016; S. 96), im Gesang die Modalitäten Sprache und Ton.

Den wichtigsten Impuls erhielt die Multimodalitätsforschung in den 80er-Jahren aus den angelsächsischen Social Semiotics, die auf Michael Hallidays Funktionaler Linguistik aufbauen (vgl. zu Social Semiotics z.B. Kress 2010 oder die konzise Übersicht in Jewitt & Henriksen 2016). Im Zentrum der Social Semiotics steht das pädagogische Konzept der Multiliteracies, das von einer angelsächsischen Gruppe von Forschenden aus verschiedenen Disziplinen, der sogenannten New London Group, geprägt wurde (The New London Group 1996), aber im deutschsprachigen pädagogischen Diskurs lange wenig Beachtung fand (vgl. die Übersicht in Küster 2014). Unter dem Begriff Multiliteracies setzte die New London Group einem als veraltet empfundenen, eindimensionalen (monomodalen, monokulturellen) Verständnis von Literalität als Schreib- und Lesekompetenz ein neues Konzept entgegen, das zwei Entwicklungen gerecht werden sollte: den durch neue Kommunikationstechnologien bereits Mitte der 90er-Jahre veränderten Anforderungen an Schreiben und Lesen sowie der im Zuge der Globalisierung und Migration zunehmenden kulturellen und sprachlichen Heterogenität (vgl. zum Konzept Multiliteracies Cope & Kalantzis 2000, Cope & Kalantzis 2009, The New London Group 1996).

In den Social Semiotics wird Multimodalität auf verschiedene Ebenen untersucht (Ledin & Machin (2019, S. 503):

 Mikroebene: der konkrete Text in seiner semiotischen Verfasstheit (z.B. eine Werbeanzeige oder ein Meme);

 Mesoebene: anerkannte und typische Gebrauchsweisen einer semiotischen Ressource in einem bestimmten Kontext (z.B. wird eine Fotografie in einer Kriegsreportage anders eingesetzt als ein Schnappschuss, der in einem Familien-Chat ausgetauscht wird), sodass die Auswahl und Kombination der semiotischen Ressourcen in einem bestimmten Text vor diesem Hintergrund interpretiert werden müssen (ebd.);

 Makroebene: die soziale und kulturelle Tradition, in der ein Text eingebettet ist, die Ressourcen (z.B. Technologien), die für die Textproduktion, -distribution, und -rezeption zur Verfügung stehen, sowie die Praktiken und Werte, die in der Kommunikationsgemeinschaft geteilt werden (ebd.).

Im deutschsprachigen Raum sind es besonders die Text- und Medienlinguistik, die das Thema der Multimodalität aufgegriffen und als konstitutiven Bestandteil der Textkommunikation begriffen haben. Im Fokus der älteren Forschung stand vor allem das Text-Bild-Verhältnis (vgl. etwa Muckenhaupt 1986, Stöckl 1992). Hintergrund dieser Hinwendung zum Bild dürfte der in der Kunstgeschichte und Literaturwissenschaft in den 90er-Jahren vorgenommene iconic bzw. pictorial turn gewesen sein (vgl. Böhm 1995, Mitchell 1994), aus dem heraus eine Bildwissenschaft entstanden ist, die eine wissenschaftliche Auseinandersetzung mit Bildern und deren Bedeutungspotenzial befördert hat (vgl. dazu etwa die Einführung in die Bildlinguistik von Große 2011 oder den Sammelband von Sachs-Hombach 2005). Allerdings haben sich die Linguistik und die Semiotik selbst schon seit längerem mit verschiedenen Zeichentypen – bspw. mit der Unterteilung in verbale, non- und paraverbale Zeichen – und deren Beitrag zur Bedeutungskonstruktion in der Interaktion beschäftigt (vgl. Meier 2011, S. 500). Welche Rolle aber die non- und paraverbalen Zeichen in der Kommunikation konkret spielen und wie sie zur Konstruktion der Botschaft beitragen, wurde lange Zeit zu wenig in der (text-)linguistischen Analyse bedacht (vgl. Stöckl 2016, S. 93).

Die Auseinandersetzung mit der Multimodalität aus text- und medienlinguistischer Perspektive hat in der deutschsprachigen Linguistik neben anderen Hartmut Stöckl vorangetrieben (vgl. etwa Stöckl 2004a, 2004b, 2008, 2011, 2015, 2016). Stöckl hat sich mit Formen und Funktionen multimodaler Texte sowie mit neuen Anforderungen an die Rezeption – und in etwas geringerem Umfang an die Produktion – multimodaler Texte auseinandergesetzt sowie Analysemodelle zur Beschreibung multimodaler Texte sowie «multimodaler Kompetenz» (Stöckl 2011, S. 45) zur Diskussion gestellt. Etliche Einzeluntersuchungen zu verschiedenen multimodalen Gattungen haben mittlerweile diese und verwandte Konzepte angewendet und ausdifferenziert und dabei auch andere Modi in den Blick genommen: so etwa Typografie (Stöckl 2004a, Spitzmüller & Antos 2007, Spitzmüller 2010) bzw. Textdesign (Hackl-Rössler 2006, Bucher 2007, vgl. auch die Beiträge im Sammelband Roth & Spitzmüller 2007) oder Musik und Ton für die Analyse von Musikvideos (Jost, Neumann-Braun & Schmidt 2010).

Die deutschsprachige Forschung konzentrierte sich aber bislang auf einige wenige Kontexte. So gibt es viele Untersuchungen zu multimodalen Texten in den Massenmedien (bspw. Blum & Bucher 1998 zu Zeitungstexten; Luginbühl 2011 und Holly 2011 zu Fernsehnachrichten oder der Sammelband von Roth & Spitzmüller 2007). Zu multimodalen Texten in anderen Kontexten wie etwa den sozialen Medien (z.B. Siever 2015), der Werbung (z.B. Held & Bendel 2008), der Wissenschaftskommunikation (z.B. Knoblauch & Schnettler 2007; Liebert 2011, Bucher & Niemann 2015) oder der politischen Kommunikation (z.B. Klemm 2011, Demarmels 2007) liegen bis anhin lediglich Einzeluntersuchungen vor.

Nebst der Text- und Medienlinguistik ist es insbesondere auch die (kritische) Diskursanalyse, welche das Konzept der Multimodalität aufgreift. Im Rahmen der multimodalen Diskursanalyse werden die Konstruktion sozialer Realitäten und Wissensbestände mittlerweile konsequent in allen medialen und modalen Erscheinungsformen untersucht (vgl. Klug 2016, Meier 2011).

Nun liegt der Fokus der text-, medienlinguistischen und diskursanalytischen Untersuchungen vornehmlich auf den multimodalen Kommunikaten selbst. Rezeptions- und Produktionsprozesse im engeren Sinne wurden bis anhin erst vereinzelt untersucht. Rezeptionsprozesse aus medienlinguistischer Perspektive nimmt etwa Bucher mit der Methode des Eye-Trackings und des Lauten Denkens in den Blick, um individuelle Rezeptionsprozesse in multimodalen, nichtlinearen Textkonglomeraten in Zeitungen (print, online, e-paper) nachzuzeichnen (vgl. etwa Bucher 2011a, 2011b, Bucher 2007).

Eine andere Perspektive auf Rezeptionsprozesse nehmen psycholinguistische und lernpsychologische Untersuchungen zum Wissenserwerb aus multimodalen Texten ein. Mittels experimenteller Methoden werden die Prozesse des Textverstehens multimodaler Texte untersucht, um daraus etwa didaktische Folgerungen zur optimalen Gestaltung von Unterrichtsmaterial abzuleiten (vgl. bspw. die Übersicht in Kürschner & Schnotz 2007 oder die Untersuchung von Dittmar et al. 2017 zu Biologielehrmitteln). Besonders im Fokus steht dabei die Frage, wie sich der Einsatz unterschiedlicher Modalitäten auf das Textverstehen und den Wissenserwerb auswirken. So konnte einerseits festgestellt werden, dass Text-Bild-Kombinationen den Wissenserwerb unterstützen können (vgl. die Forschungsübersicht in Anglin, Vaez, & Cunningham 2004; Ballstaedt 2017, S. 155–156; Schüler, Arndt & Scheiter 2019), allerdings nur unter gewissen Bedingungen, z.B. wenn die Informationen redundant in Text und Bild präsentiert werden (Anglin, Vaez, & Cunningham 2004, S. 876). Probleme beim Textverstehen treten dann auf, wenn die Informationen auf Text und Bild aufgeteilt erscheinen, was beim Textverstehen eine höhere kognitive Belastung verursacht, da Informationen aus verschiedenen Quellen integriert werden müssen (vgl. zu diesem sogenannten Split-Attention-Effekt Ayres & Sweller 2005).

Seit dem Aufkommen von mobilen Geräten wie Smartphones gerät zunehmend ein weiteres Phänomen in den Blick: der Second- oder Multi-Screen, d.h. die Verteilung eines Kommunikationsangebots auf verschiedene Mediensysteme, sodass die Nutzer parallel zwei oder gar mehrere Monitore oder Geräte benützen (z.B. in dem sie eine Fernsehsendung via Smartphone kommentieren), vgl. dazu den Sammelband von Göttlich, Heinz & Herbers (2017) oder die Studie zur Beeinträchtigung des Textverstehens von Van Cauwenberge, Schaap & van Roy (2014).

Weitaus weniger Berücksichtigung fanden in der Forschung bis anhin Produktionsprozesse im engeren Sinne. Eine Ausnahme bilden die Studien von Klemm, Perrin & Michel (2016) und Gnach & Perrin (2011), die mittels Schreibprozess-Analyse und ethnografischen Interviews zeigen, wie Sprache, Bild und Ton in der Produktion von Fernsehnachrichten und TV-Programmtrailern kombiniert werden und auf welchen Kriterien Journalisten ihre Entscheidungen basieren. Doch gerade für die Weiterentwicklung der Schreibdidaktik zu einer multimodalen Schreibdidaktik wären Studien zu grundlegenden Prozessen multimodaler Textproduktion nötig.