Kredit: Domain Publik Pikabai/CC0
Aplikasi bertenaga AI yang menawarkan diagnosis medis hanya dengan satu sentuhan tombol sering kali dibatasi oleh data yang bias dan kurangnya regulasi, sehingga menghasilkan saran kesehatan yang tidak akurat dan tidak aman, demikian temuan penelitian baru.
Peneliti Universitas McGill menyajikan data gejala dari kasus medis terkenal di dua aplikasi populer dan representatif untuk melihat seberapa baik mereka mendiagnosis kondisi tersebut. Meskipun aplikasi tersebut terkadang memberikan diagnosis yang akurat, namun sering kali gagal mendeteksi kondisi serius, menurut temuan yang diterbitkan dalam Journal of Medical Internet Research. Hal ini berpotensi menyebabkan tertundanya pengobatan.
Para peneliti mengidentifikasi dua masalah utama pada aplikasi kesehatan yang mereka pelajari: data yang bias dan kurangnya regulasi.
Bias dan fenomena 'kotak hitam'
Masalah bias ini dikenal sebagai masalah “sampah masuk, sampah keluar”.
“Aplikasi ini sering kali belajar dari kumpulan data yang tidak tepat dan tidak mencerminkan populasi yang beragam secara akurat,” kata Mann H. Zavati, penulis utama dan profesor di departemen kedokteran McGill.
Karena aplikasi ini mengandalkan data dari pengguna ponsel pintar, mereka cenderung mengecualikan individu berpenghasilan rendah. Ras dan etnis juga kurang terwakili dalam data tersebut, kata para penulis. Hal ini menciptakan siklus di mana evaluasi aplikasi didasarkan pada kelompok pengguna yang lebih sempit, sehingga menghasilkan hasil yang lebih bias dan berpotensi memberikan saran medis yang tidak akurat.
Meskipun aplikasi sering kali menyertakan penafian yang menyatakan bahwa mereka tidak memberikan nasihat medis, para ilmuwan berpendapat bahwa penafsiran penafian ini – jika dibaca – tidak selalu sama.
Permasalahan lainnya adalah sifat “kotak hitam” dari sistem AI, dimana teknologi dikembangkan dengan pengawasan manusia yang minimal. Zavati mengatakan kurangnya transparansi berarti pengembang aplikasi tersebut mungkin tidak sepenuhnya memahami bagaimana mereka mencapai kesimpulan.
“Tanpa peraturan yang jelas, pengembang tidak bertanggung jawab, itulah sebabnya dokter enggan merekomendasikan alat ini.” Bagi pengguna, itu berarti potensi kesalahan diagnosis hanya dengan sekali klik,” kata Zavati, yang juga merupakan anggota asosiasi di Departemen Kesetaraan, Etika, dan Kebijakan McGill serta Fakultas Hukum dan direktur penelitian di Pusat Genomik dan Kebijakan McGill. Departemen Genetika Manusia.
Hubungi pengawasan AI
Untuk mengatasi keterbatasan ini, pengembang dapat melatih aplikasi pada kumpulan data yang lebih beragam, melakukan audit rutin untuk menangkap bias, meningkatkan transparansi untuk meningkatkan pemahaman tentang cara kerja algoritme, dan menyertakan lebih banyak pengawasan manusia dalam proses pengambilan keputusan, sarannya.
“Dengan memprioritaskan desain yang cermat dan pengawasan yang ketat, aplikasi layanan kesehatan yang didukung AI berpotensi membuat layanan kesehatan lebih mudah diakses oleh masyarakat dan menjadi alat yang berharga dalam lingkungan klinis,” kata Zavati.
Informasi lebih lanjut: Ma'n H Zavati dkk, Apakah aplikasi sehari-hari membuat dokter menjauh? Aplikasi Penyaringan Gejala AI, Bias Tertanam, dan Tanggung Jawab Profesional, Jurnal Penelitian Internet Medis (2024). DOI: 10.2196/50344
Disediakan oleh Universitas McGill
Kutipan: 'Potensi kesalahan diagnosis hanya dengan sekali klik': Para peneliti menemukan kelemahan desain dan masalah pengawasan dalam aplikasi kesehatan tertentu (2024, 6 November) Diakses pada 10 November 2024, dari https://medicalkpress.com/nevs/ 2024-11 -potensi- kesalahan diagnosis-klik-flavs-oversight.html
Dokumen ini memiliki hak cipta. Kecuali untuk transaksi wajar untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten disediakan untuk tujuan informasi saja.