A ferramenta de transcrição de áudio Whisper, da OpenAI, que já tem sido utilizada em diversos setores, incluindo o setor de saúde, está gerando preocupações sérias sobre sua confiabilidade. Pesquisadores revelaram que o Whisper tem uma tendência a “alucinar” informações, ou seja, inserir detalhes que não constam nas gravações originais. Em um dos casos reportados, a ferramenta até inventou descrições bizarras de eventos e referências falsas a medicamentos, o que pode colocar em risco a precisão das transcrições, especialmente em ambientes onde a informação precisa ser rigorosa. Bora entender melhor essa história?
Pois é, segundo um relatório recente da ABC News (via Engadget), o problema tem aparecido repetidamente. A OpenAI, apesar de orientar que o Whisper não seja usado em setores de “alto risco”, como o médico, ainda viu sua ferramenta sendo implementada em clínicas para transcrever consultas com pacientes. Um engenheiro de aprendizado de máquina identificou que metade de um lote de 100 horas de transcrições continha “alucinações” — e outro pesquisador apontou problemas em todas as 26.000 transcrições que revisou. Esse tipo de erro é particularmente crítico no contexto médico, onde transcrições incorretas podem afetar decisões sobre a saúde dos pacientes. A OpenAI já afirmou que está estudando essas descobertas e planeja melhorar o modelo em atualizações futuras.
Além disso, o impacto vai além do setor médico. As pesquisadoras Allison Koenecke e Mona Sloane analisaram milhares de transcrições curtas em um banco de dados chamado TalkBank e identificaram que 40% das alucinações eram potencialmente prejudiciais. Um exemplo grave envolvia uma transcrição distorcida que sugeria que um paciente carregava uma arma e havia machucado pessoas, quando, na realidade, o diálogo original era inofensivo. Com o Whisper integrado a grandes plataformas, como Oracle e Microsoft Cloud, o número de usuários pode agravar ainda mais o problema. Para mais informações, acesse o link.
Deixe um comentário