OpenAI merilis alat kecerdasan buatan (AI) yang disebut Whisper pada tahun 2022, yang dapat mentranskripsikan ucapan menjadi teks. Namun, satu laporan mengklaim bahwa alat AI rentan terhadap halusinasi dan menambahkan teks tiruan dalam transkripsi. Hal ini mengkhawatirkan karena alat tersebut dikatakan digunakan di beberapa industri berisiko tinggi seperti obat-obatan dan aksesibilitas. Kekhawatiran khusus dikatakan muncul dari penggunaan alat tersebut dalam konsultasi dokter-pasien, di mana halusinasi dapat menambah informasi yang berpotensi membahayakan dan membahayakan nyawa pasien.
OpenAI Whisper dikatakan rentan terhadap halusinasi
Pers Terkait saya sebutkan Sistem Pengenalan Ucapan Otomatis Bisikan (ASR) OpenAI sangat mampu menghasilkan teks halusinasi. Mengutip wawancara dengan banyak insinyur perangkat lunak, pengembang, dan peneliti akademis, publikasi tersebut mengklaim bahwa teks fiksi tersebut berisi deskripsi rasis, kekerasan, perawatan medis, dan pengobatan.
Halusinasi, dalam istilah AI, adalah masalah besar yang menyebabkan sistem AI menghasilkan respons yang salah atau menyesatkan. Dalam kasus Whisper, AI dikatakan menciptakan naskah yang belum pernah diucapkan oleh siapa pun.
Dalam contoh yang diverifikasi oleh publikasi tersebut, kalimat pembicara, “Anak laki-laki itu, saya tidak begitu yakin, akan mengambil payung.” Kalimat itu diubah menjadi “Dia mengambil sepotong besar salib, sepotong yang sangat kecil… Saya yakin dia tidak memiliki pisau teroris sehingga dia membunuh sejumlah orang.” Dalam kasus lain, Whisper dilaporkan menambahkan informasi rasis tanpa menyebutkannya.
Meskipun halusinasi bukanlah masalah baru di bidang kecerdasan buatan, masalah dengan alat khusus ini lebih berdampak karena teknologi open source digunakan oleh banyak alat yang digunakan di industri berisiko tinggi. Misalnya, Nabla yang berbasis di Paris telah menciptakan alat berbasis Whisper yang dikatakan dapat digunakan oleh lebih dari 30.000 dokter dan 40 sistem kesehatan.
Alat panah tersebut telah digunakan untuk mencatat lebih dari tujuh juta kunjungan medis. Untuk menjaga keamanan data, perusahaan juga menghapus rekaman asli dari servernya. Artinya, jika ada teks halusinasi yang dibuat dalam tujuh juta salinan ini, mustahil untuk memverifikasi dan memperbaikinya.
Area lain di mana teknologi ini digunakan adalah menciptakan alat aksesibilitas untuk komunitas tuna rungu dan gangguan pendengaran, dimana keakuratan alat tersebut sangat sulit untuk diverifikasi. Kebanyakan halusinasi dikatakan dipicu oleh kebisingan latar belakang, suara berhenti tiba-tiba, dan suara lingkungan lainnya.
Skala permasalahan ini juga memprihatinkan. Mengutip seorang peneliti, publikasi tersebut mengklaim bahwa delapan dari 10 transkrip audio ditemukan mengandung teks halusinogen. Salah satu pengembang mengatakan kepada publikasi bahwa halusinasi terjadi pada “setiap satu dari 26.000 skrip yang dia buat dengan Whisper.”
Perlu diperhatikan, di Dia melepaskan Dari Whisper, OpenAI mengatakan Whisper memberikan kekuatan tingkat manusia untuk aksen, kebisingan latar belakang, dan bahasa teknis. Seorang juru bicara perusahaan mengatakan kepada publikasi tersebut bahwa perusahaan AI terus mempelajari cara untuk mengurangi halusinasi dan berjanji untuk memasukkan umpan balik ke dalam pembaruan model di masa depan.
