...

Het gaat om tools die gebaseerd zijn op Whisper, een door artificiële intelligentie aangedreven transcriptiehulpmiddel dat gesproken taal omzet naar geschreven tekst. Ondanks de waarschuwingen van maker OpenAI dat de tool niet gebruikt mag worden in "risicovolle domeinen" wordt ze in Amerikaanse ziekenhuizen en artsenpraktijken volop gebruikt. Dat is niet zonder risico, blijkt uit het onderzoek van The Associated Press (AP) in samenwerking met het Pulitzer Center AI Accountability Network. Whisper heeft de neiging om woorden of zelfs hele zinnen te verzinnen - een fenomeen dat in de AI-wereld bekend staat als 'hallucineren'.De problemen duiken ook op korte audiofragmenten van goede kwaliteit. Een recente studie door computerwetenschappers ontdekte 187 hallucinaties in meer dan 13.000 duidelijke audiofragmenten. In een bepaalde transcriptie verzon Whisper een niet-bestaand medicijn genaamd "hypergeactiveerde antibiotica".Zulke fouten kunnen "echt ernstige gevolgen hebben", zegt Alondra Nelson, die tot vorig jaar het White House Office of Science and Technology Policy leidde. "Niemand wil een verkeerde diagnose", zegt Nelson. "De lat zou hoger moeten liggen."Originele audio gewistVolgens AP gebruiken meer dan 30.000 Amerikaanse artsen en 40 gezondheidszorgsystemen, waaronder de Mankato Clinic in Minnesota en het Children's Hospital Los Angeles een op Whisper gebaseerde tool, gebouwd door Nabla, dat kantoren heeft in Boston en Parijs.De tool van Nabla is getraind op medische taal om de interacties van patiënten te transcriberen en samen te vatten, aldus Martin Raison, hoofd technologie van Nabla. Nabla zegt dat de tool al werd gebruikt om naar schatting 7 miljoen raadplegingen te transcriberen.Het is echter onmogelijk om de door AI gegenereerde transcriptie te vergelijken met de originele opnames, omdat Nabla's tool de originele audio wist om "dataveiligheidsredenen", aldus Raison.Nabla verklaart aan AP dat geen enkel model perfect is en dat hun tool vereist dat medische zorgverleners de getranscribeerde notities nog nalezen en goedkeuren.