Kunnen we het online debat beschaafder maken?
Dat hebben we de afgelopen twee jaar onderzocht. In november stellen we de resultaten van ons werk aan de RHETORiC tools voor aan de mediasector.
Observatie: polarisatie en toxiciteit zorgen voor het verdwijnen van het online debat
We zijn 2 jaar geleden gestart vanuit de observatie dat online discussies snel gepolariseerd en toxisch worden, en dat is sindsdien nog niet veel veranderd. Technologie kan helpen, maar wordt vaak beperkt tot het detecteren van toxische woorden en kan makkelijk omzeild worden.
Hierdoor worden door veel nieuwsorganisaties reacties uitgeschakeld op hun eigen website, om geen platform te geven aan haatdragende meningen. Een oplossing is nodig voor dit problem: wel gesprek, geen gescheld. Interactie is immers erg welkom, maar niet tegen elke prijs.
Door gebruikers, nieuwscommenters en journalisten, te betrekken hebben we heel wat ideeën verzameld en die vervolgens in experimenten uitgetest. Hierdoor kregen we al zicht op welke elementen, o.a. het centraal stellen van een statement, beschaafdere reacties konden uitlokken.
Ontwikkelen en testen van Audience Conversation Tools
De RHETORiC tools zijn in een live-omgeving uitgetest op de website van Het Nieuwsblad. Lezers konden hun mening geven over een statement, en kregen live feedback over hun reactie. Na het plaatsen van hun meningen krijgen ze zowel gelijkaardige als andere meningen te zien.
Het resultaat van het debat werd samengevat en aan de deelnemers getoond. Zo werd de impact van hun reactie duidelijk, en zagen ze dat ze deel zijn van een groter geheel. Uit het eerder onderzoek bleek dat dit motiverend werkt om deel te nemen aan het debat.
Deze ‘audience conversation tools’ zijn flexibel aan te passen, zowel qua interactiecomponenten als qua branding, en hebben een consistente user experience. Achter de schermen is er een moderation dashboard om het debat te monitoren en eventueel in te grijpen.
Moderatie en artificiële intelligentie
Het moderatiegedeelte meet drie aspecten: leesbaarheid, niveau van onenigheid, en toxiciteitsgraad en -doel. Een getraind algoritme analyseert de comments die worden ingezonden. Deze RHETORiC modules scoren significant beter dan bestaande systemen of op basis van gokken.
Centraal in deze algoritmes staat het principe van ‘explainable AI’. In plaats van een ‘black box’ te zijn legt het algoritme uit waarom het tot een bepaalde beslissing is gekomen. Hierdoor is er transparantie en kan het algoritme worden verbeterd.
‘Memes’ zijn complexer, omdat afbeelding en tekst elk op zich neutraal, maar samen toch toxisch kunnen zijn. Multimodale analyse vindt snel gekende afbeeldingen via vingerafdrukken, analyseert de tekst via OCR, en beschrijft de inhoud met dense captioning, en werkt erg efficiënt.
Resultaten: een kwalitatiever debat en de nood aan explainable AI
Analyse van de reacties gegeven via de RHETORiC tools tonen dat reacties beschaafder, beter beargumenteerd, vaardiger geschreven en positiever geformuleerd waren dan op Facebook. 83% van de gebruikers had een (zeer) positief gevoel bij de RHETORiC omgeving.
Bij de evaluaties bleek dat explainable AI voor de gebruikers zelf ook erg belangrijk is, vooral wanneer het systeem nuances niet voldoende capteert. Ook is duidelijk dat het tonen van andere argumenten nodig is voor het voorkomen van ‘echo chambers’.
92% van de deelnemers aan de survey na de live test vond RHETORiC beter om te reageren op nieuws dan sociale media. 45% reageert zelden of nooit op online platformen, en deed dit wel via RHETORiC. Er is dus potentieel om zo de ‘silent majority’ te activeren.
