GPT-4 dapat mengungguli analis manusia dalam hal memprediksi masa depan berdasarkan analisis data keuangan, menurut sebuah makalah penelitian baru. Studi yang diterbitkan dalam jurnal Preprint ini menemukan dalam pengujiannya bahwa GPT-4 memberikan hasil yang lebih unggul dibandingkan manusia dalam jangka pendek (berkisar antara satu hingga enam bulan). Ini mencapai akurasi 60,31 persen dalam prediksinya dibandingkan dengan 56,7 persen analis manusia. Namun penelitian tersebut tidak menunjukkan bahwa model AI dapat menggantikan manusia.
Tujuan makalah penelitian
Hal ini diterbitkan dalam jurnal Social Science Research Network (SSRN) setebal 54 halaman kertas Kursus bertajuk “Analisis Data Keuangan Menggunakan Model Bahasa Besar” berupaya mengeksplorasi peran model AI tradisional dalam menganalisis laporan keuangan organisasi dan memprediksi kinerjanya di pasar saham dalam waktu dekat.
Telah dipahami bahwa analisis tersebut sangat kompleks karena berbagai faktor dapat mempengaruhi kinerja perusahaan. Meskipun beberapa perusahaan keuangan menggunakan jaringan syaraf tiruan (JST) untuk membantu individu dalam analisisnya, model bahasa besar (LLM) tidak digunakan untuk tujuan ini. Para peneliti ingin mengetahui apakah perangkat lunak LLM (SOTA) canggih seperti GPT-4 dapat menjadi tambahan yang berharga untuk hal ini.
Apa yang ditemukan dalam makalah penelitian GPT-4?
Para peneliti memasukkan data keuangan perusahaan yang distandarisasi dan dianonimkan GPT-4 (untuk mencegah munculnya bias ketika nama perusahaan disebutkan). Selanjutnya peneliti menggunakan dua metode untuk menguji kemampuan LLM. Yang pertama adalah merancang perintah sederhana untuk memandu chatbot menganalisis data dan memprediksi keuntungan di masa depan. Yang kedua adalah dengan menggunakan mentor “Chain of Thought” (CoT) yang mengajarkan model AI untuk meniru analis keuangan.
Metode CoT meminta GPT-4 untuk mengidentifikasi tren yang dapat diamati, menghitung rasio keuangan utama, dan membuat proyeksi pendapatan di masa depan. Meskipun perintah sederhana tidak mencapai hasil yang berarti, perintah CoT mencapai skor 60,31 persen, lebih tinggi dari rata-rata kinerja analis manusia.
GPT-4 vs. pengurai manusia
Sumber gambar: Makalah penelitian: Menganalisis data keuangan menggunakan model bahasa besar
“Kami menemukan bahwa LLM unggul dalam tugas kuantitatif yang membutuhkan intuisi dan penalaran manusia. Kemampuan untuk melakukan tugas lintas domain menunjukkan munculnya kecerdasan umum buatan,” kata makalah tersebut.
Namun, para peneliti dengan cepat menunjukkan bahwa GPT dan analis manusia saling melengkapi dan bukan menggantikan yang terakhir. Secara khusus, makalah tersebut mengklaim bahwa pemegang LLM memiliki keuntungan di bidang di mana manusia cenderung menunjukkan bias dan ketidaksepakatan. Demikian pula, manusia memberi nilai tambah ketika analisis memerlukan informasi kontekstual tambahan yang tidak mungkin tersedia dalam laporan keuangan.
