OpenAI dikabarkan sedang mengerjakan generasi berikutnya dari model bahasa besar (LLM) perintisnya, namun hal ini mungkin mengalami hambatan. Menurut laporan tersebut, perusahaan AI yang berbasis di San Francisco sedang berjuang untuk meningkatkan kemampuan model AI berikutnya secara signifikan, yang secara internal diberi nama kode Orion. Model ini dikatakan mengungguli model lama dalam hal tugas berbasis bahasa tetapi mengecewakan dalam beberapa tugas seperti pemrograman. Khususnya, perusahaan juga kesulitan mengumpulkan data pelatihan yang cukup untuk melatih model AI-nya dengan benar.
Model Orion AI OpenAI dilaporkan gagal menunjukkan peningkatan yang signifikan
Informasi saya sebutkan Program LLM besar berikutnya dari perusahaan AI tersebut, Orion, tidak berjalan sesuai harapan dalam hal tugas terkait pemrograman. Mengutip karyawan yang tidak disebutkan namanya, laporan tersebut mengklaim bahwa model AI menunjukkan peningkatan yang signifikan dalam hal tugas berbasis bahasa, tetapi beberapa tugas mengecewakan.
Ini adalah masalah besar karena Orion dikatakan lebih mahal untuk dijalankan di pusat data OpenAI dibandingkan model lama seperti GPT-4 dan GPT-4o. Rasio biaya-kinerja perangkat lunak LLM yang akan datang mungkin menimbulkan tantangan bagi perusahaan untuk membuatnya menarik bagi perusahaan dan pelanggan.
Selain itu, laporan tersebut juga mengklaim bahwa lompatan kualitas secara keseluruhan antara GPT-4 dan Orion lebih kecil dibandingkan lompatan antara GPT-3 dan GPT-4. Namun hal ini merupakan perkembangan yang mengkhawatirkan, karena tren ini juga telah diamati pada model AI lain yang baru-baru ini dirilis oleh pesaing seperti Anthropic dan Mistral.
Misalnya, hasil benchmark untuk Claude 3.5 Sonnet menunjukkan bahwa peningkatan kualitas lebih sering terjadi pada setiap model pondasi baru. Namun, sebagian besar pesaing menghindari perhatian dengan berfokus pada pengembangan kemampuan baru seperti AI agen.
Dalam laporan tersebut, publikasi tersebut juga menyoroti bahwa industri, sebagai cara untuk mengatasi tantangan ini, memilih untuk meningkatkan model AI setelah pelatihan awal selesai. Hal ini dapat dilakukan dengan menyesuaikan keluaran dengan menambahkan filter tambahan. Namun, hal ini merupakan solusi dan tidak mengkompensasi keterbatasan yang terjadi karena kerangka kerja atau kurangnya data yang memadai.
Meskipun tantangan pertama merupakan tantangan teknologi dan penelitian, tantangan kedua sebagian besar disebabkan oleh ketersediaan data gratis dan berlisensi. Untuk mengatasi masalah ini, OpenAI dilaporkan telah membentuk tim inti yang bertugas menemukan cara mengatasi kurangnya data pelatihan. Namun, belum diketahui apakah tim ini akan dapat memperoleh lebih banyak data pada waktunya untuk melatih lebih lanjut dan meningkatkan kemampuan Orion.
