Die Messung journalistischer Qualität in der Praxis : Ein teilautomatisierter Ansatz für das redaktionelle Qualitätsmanagement

Kurzfassung/Abstract

Journalistische Qualität gilt als zentrales normatives Leitprinzip des Journalismus und ist entsprechend breit theoretisch konzeptualisiert worden. Zugleich zeigt die Forschung, dass Qualität ein mehrdimensionales und schwer operationalisierbares Konstrukt bleibt, das sowohl auf Inhalts- als auch auf Publikumsebene unterschiedlich gefasst wird (Bachmann et al., 2022). Während zahlreiche Studien differenzierte Qualitätsdimensionen entwickeln und empirisch untersuchen, wird zugleich darauf hingewiesen, dass eine systematische und vergleichbare Messung journalistischer Qualität weiterhin eine zentrale Herausforderung darstellt (Bachmann et al.; Prochazka, 2025). Dennoch hat sich die Auffassung durchgesetzt, dass trotz bestimmter Schwierigkeiten Qualität durchaus gemessen werden kann, wie verschiedene Versuche gezeigt haben (Bachmann et al., 2022; Urban & Schweiger, 2014; Jungnickel, 2009).
Diese konzeptionelle Unschärfe spiegelt sich auch in der journalistischen Praxis wider: Qualitätsbewertung erfolgt dort häufig situativ, etwa in Form von Blattkritik oder redaktionsinternen Rückmeldungen, ohne dass systematische und dauerhaft in Organisationsstrukturen verankerte Verfahren etabliert sind (Wyss, 2016). Insbesondere der öffentlich-rechtliche Rundfunk steht unter wachsendem Legitimationsdruck, seine journalistische Qualität zu begründen, was sich u. a. in zunehmenden medienzynischen Einstellungen sowie sinkenden Vertrauenswerten zeigt (Fawzi et al., 2025).
Vor diesem Hintergrund zeigt sich eine zentrale Forschungslücke: Zwischen theoretisch elaborierten Qualitätsmodellen und ihrer praktischen Anwendung im redaktionellen Alltag besteht weiterhin eine deutliche Diskrepanz. Daraus ergibt sich die leitende Forschungsfrage des Beitrags: Wie können wissenschaftlich fundierte Qualitätskonzepte so operationalisiert werden, dass sie als Instrumente redaktionellen Qualitätsmanagements praktisch nutzbar werden?
Theoretisch knüpft der Beitrag an die bisherigen Überlegungen zu Qualität im Journalismus und Vorschläge, diese zu operationalisieren, an (Bachmann et al., 2022; fög, 2020). Gleichzeitig greift er Ansätze des Qualitätsmanagements in Redaktionen auf, die Qualität als organisationalen Prozess begreifen (Wyss, 2016). Damit positioniert sich der Beitrag im Schnittfeld von Qualitätsforschung, Organisationsforschung und anwendungsorientierter Journalismusforschung und trägt zur im Tagungscall angeregten Verbindung von Messung, Praktiken und Qualitätssicherung bei.
Empirisch und methodisch basiert der Beitrag auf einem universitären Lehrforschungsprojekt, in dem in Kooperation mit dem Deutschlandfunk ein prototypisches Instrument zur teilautomatisierten Qualitätsmessung von Nachrichtensendungen entwickelt und erprobt wurde. Ausgangspunkt bildeten ein leitfadengestütztes Recherchegespräch mit Redaktionsvertreter*innen sowie die Aufarbeitung bestehender Ansätze zur Operationalisierung von Qualität. In einem iterativen Verfahren, in dem mit dem Deutschlandfunk wichtige Dimensionen ermittelt und überschneidende Kriterien festgestellt wurden, wurden sechs zentrale Qualitätsdimensionen identifiziert und operationalisiert: Vielfalt, Relevanz, Unparteilichkeit, Verständlichkeit, Einordnungs- und Interpretationsleistung sowie Professionalität.
Zur Sicherung der methodischen Angemessenheit wurden die Codebücher anhand realer Nachrichtensendungen in mehreren Durchgängen getestet, überarbeitet und mittels Reliabilitätsprüfungen geschärft, wobei Intercoder-Reliabilitäten (nach Holsti) in einer Spannweite von 0,75 bis 1 lagen. Der Ansatz folgt damit der quantitativen Inhaltsanalyse, erweitert diese jedoch um eine anwendungsorientierte Perspektive, die auf Integration in redaktionelle Prozesse abzielt. Auf Basis dieser für menschliche Codierer*innen entwickelten Codebücher wurde explorativ eine KI-gestützte Codierung erprobt, um eine ressourcenarme Anwendung der Qualitätsmessung im Redaktionsalltag zu ermöglichen. Durch strukturierte Prompting-Verfahren wurde getestet, inwiefern Large Language Models die Codierung unterstützen und standardisieren können (Domínguez-Diaz et al., 2025; Dunivin, 2025). Um zu bestimmen, wie zuverlässig die KI-gestützte Codierung funktioniert, wurde mithilfe gewichteter F1-Scores die KI-gestützte Codierung mit dem Goldstandard – der Codierung durch menschliche Codierer*innen – verglichen (Domínguez-Diaz et al., 2025). Die Spannweite der F1-Scores lag zwischen 0,3 und 1. Während die KI-gestützte Codierung insbesondere bei formal klar definierbaren sowie dichotomen Kategorien zuverlässig funktionierte, stieß sie bei latenten, polytomen Qualitätsdimensionen noch zum Teil an ihre Grenzen.
Parallel zur Erprobung der KI-gestützten Codierung wurde ein Workflow sowie ein Excel-basiertes Auswertungstool entwickelt, das eine teilautomatisierte Aufbereitung der im JSON-Format ausgegebenen Ergebnisse und so eine unmittelbare Rückkopplung in redaktionelle Entscheidungsprozesse ermöglicht. Die Ergebnisse zeigen jedoch eine Varianz zwischen den Kategorien. Die Wahl von Microsoft Excel als Auswertungsumgebung ist dabei bewusst praxisorientiert: Als in Redaktionen weit verbreitetes Standardwerkzeug erlaubt es eine niedrigschwellige Nutzung durch Praktiker*innen.
Der Beitrag versteht sich bewusst nicht als klassische Einreichung im Sinne einer abgeschlossenen empirischen Studie, sondern als Ansatz, wissenschaftliche Methoden zur Messung von Qualität in die Praxis zu überführen. Gerade darin liegt jedoch seine Relevanz für die Tagung: Er zeigt exemplarisch, wie sich journalistische Qualität im Sinne des Call for Papers nicht nur diskutieren, sondern konkret messen und medienorganisatorisch verankern lässt.
Insgesamt bringt der Beitrag zum Tagungsthema mehrere Dimensionen ein: Erstens entwickelt und erprobt er ein methodisch fundiertes Instrument zur Messung journalistischer Qualität, das eine klassische Inhaltsanalyse mit KI-gestützten Verfahren kombiniert. Zweitens schlägt er einen Ansatz vor, wie wissenschaftliche Erkenntnisse in redaktionelle Qualitätsmanagementprozesse integriert werden können. Damit versteht sich der Beitrag als Impuls für eine stärker evidenzbasierte, systematische und praxisnahe Weiterentwicklung journalistischer Qualitätsdiskurse.
Literatur
Bachmann, P., Eisenegger, M., & Ingenhoff, D. (2022). Defining and measuring news media quality: Comparing the content perspective and the audience perspective. The International Journal of Press/Politics, 27(1), 9–37.
Domínguez-Diaz, A., Goyanes, M., & de Marcos, L. (2025). Automating content analysis of scientific abstracts using ChatGPT: A methodological protocol and use case. MethodsX, 15.
Dunivin, Z. O. (2025). Scaling hermeneutics: A guide to qualitative coding with LLMs for reflexive content analysis. EPJ Data Science, 14.
Fawzi, N., Ziegele, M., Schultz, T., Jackob, N., Jakobs, I., Viehmann, C., Quiring, O., Schemer, C., & Stegmann, D. (2025). Stabiles Medienvertrauen auch in Zeiten politischer Umbrüche: Mainzer Langzeitstudie Medienvertrauen 2024. Media Perspektiven, 13, 1–20.
Forschungszentrum Öffentlichkeit und Gesellschaft (fög). (2020). Qualität der Medien: Jahrbuch 2020. Schwabe.
Jungnickel, K. (2009). Nachrichtenqualität aus Nutzersicht: Eine Untersuchung zur Korrespondenz zwischen normativen Qualitätsansprüchen und Nutzerqualitätsbewertungen (Unveröffentlichte Magisterarbeit). Technische Universität Dresden.
Prochazka, F. (2025). Journalismus und Qualität. In T. Hanitzsch, W. Loosen, & A. Sehl (Hrsg.), Handbuch Journalismusforschung (S. 387–406). Springer VS.
Urban, J., & Schweiger, W. (2014). News quality from the recipients’ perspective. Journalism Studies, 15(6), 821–840.
Wyss, V. (2016). Qualitätsmanagement in Redaktionen. In K. Meier & C. Neuberger (Hrsg.), Journalismusforschung: Stand und Perspektiven (2. Aufl., S. 159–182). Nomos.