Beberapa model AI yang paling menonjol tidak memenuhi peraturan Eropa di bidang-bidang utama seperti ketahanan keamanan siber dan produksi yang diskriminatif, menurut data yang dilihat oleh Reuters.
Uni Eropa telah lama membahas peraturan AI baru sebelum OpenAI merilis ChatGPT ke publik pada akhir tahun 2022. Popularitas yang memecahkan rekor dan perdebatan publik mengenai dugaan risiko eksistensial dari model tersebut mendorong anggota parlemen untuk menetapkan aturan khusus seputar AI “Untuk tujuan umum .” (GPAI).
Kini, sebuah alat baru yang dirancang oleh startup Swiss, LatticeFlow dan mitra-mitranya, dan dengan dukungan dari para pejabat UE, telah menguji model AI generatif yang dikembangkan oleh perusahaan teknologi besar seperti Meta dan OpenAI di puluhan kategori sejalan dengan undang-undang AI yang berlaku di blok tersebut, yang telah dilaksanakan secara bertahap selama dua tahun ke depan.
Memberikan setiap model skor antara 0 dan 1, papan peringkat yang diterbitkan oleh LatticeFlow pada hari Rabu menunjukkan bahwa model yang dikembangkan oleh Alibaba, Anthropic, OpenAI, Meta dan Mistral semuanya menerima skor rata-rata 0,75 atau lebih tinggi.
Namun, Auditor Model Bahasa Besar (LLM) perusahaan mengungkapkan kekurangan pada beberapa model di bidang-bidang utama, dan menyoroti bidang-bidang di mana perusahaan mungkin perlu mengalihkan sumber daya untuk memastikan kepatuhan.
Perusahaan yang tidak mematuhi undang-undang AI akan dikenakan denda sebesar 35 juta euro ($38 juta), atau 7% dari omset tahunan global mereka.
Hasil yang beragam
Saat ini, UE masih mencoba menentukan cara menerapkan aturan hukum AI seputar alat AI generatif seperti ChatGPT, dan meminta para ahli untuk menyusun kode praktik yang mengatur teknologi tersebut pada musim semi 2025.
Namun tes LatticeFlow, yang dikembangkan bekerja sama dengan para peneliti di universitas Swiss ETH Zurich dan lembaga penelitian INSAIT di Bulgaria, memberikan indikator awal mengenai area tertentu di mana perusahaan teknologi berisiko gagal mematuhi hukum.
Misalnya, keluaran yang diskriminatif telah menjadi isu yang terus berlanjut dalam pengembangan model AI generatif, yang mencerminkan bias manusia seputar gender, ras, dan domain lainnya jika diperlukan.
Saat menguji keluaran diskriminatif, pemeriksa LLM LatticeFlow memberi “GPT-3.5 Turbo” OpenAI skor yang relatif rendah yaitu 0,46. Untuk kategori yang sama, model “Qwen1.5 72B Chat” Alibaba Cloud hanya mendapat skor 0,37.
Dalam pengujian “pembajakan spot”, sejenis serangan siber di mana peretas menyamarkan klaim jahat sebagai klaim sah untuk mengekstrak informasi sensitif, LLM Checker memberi model “Obrolan Llama 2 13B” Meta skor 0,42. Dalam kategori yang sama, model “8x7B Instruct” dari perusahaan Perancis Mistral mendapat skor 0,38.
“Claude 3 Opus,” model yang dikembangkan oleh Anthropic yang didukung Google, menerima skor rata-rata tertinggi, 0,89.
Tes ini dirancang sesuai dengan surat UU AI, dan akan diperluas untuk mencakup tindakan penegakan hukum lebih lanjut saat diperkenalkan. LatticeFlow mengatakan LLM Checker akan tersedia secara gratis bagi pengembang untuk menguji kepatuhan model mereka secara online.
Petar Tsankov, CEO dan salah satu pendiri perusahaan, mengatakan kepada Reuters bahwa hasil tes secara umum positif dan menawarkan peta jalan kepada perusahaan untuk menyempurnakan model mereka agar sejalan dengan undang-undang AI.
“Uni Eropa masih menyusun seluruh standar kepatuhan, namun kita sudah melihat beberapa kesenjangan dalam model tersebut,” katanya. “Dengan fokus yang lebih besar pada peningkatan kepatuhan, kami yakin penyedia model dapat bersiap dengan baik untuk memenuhi persyaratan peraturan.”
Meta menolak berkomentar. Alibaba, Anthropic, Mistral dan OpenAI tidak segera menanggapi permintaan komentar.
Meskipun Komisi Eropa tidak dapat memverifikasi alat eksternal, badan tersebut telah diberitahu selama pengembangan LLM Checker dan menggambarkannya sebagai “langkah pertama” dalam menerapkan undang-undang baru tersebut.
Juru bicara Komisi Eropa mengatakan: “Komisi menyambut baik penelitian ini dan Platform Evaluasi Model AI sebagai langkah pertama dalam menerjemahkan undang-undang AI UE ke dalam persyaratan teknis.”
© Thomson Reuters 2024
