Mistral merilis prototipe 8X22B untuk gabungan pakar AI dalam sumber terbuka, tolok ukur menunjukkan peningkatan besar

Mistral merilis model kecerdasan buatan (AI) terbarunya, 8X22B, pada hari Rabu. Model AI hybrid mengikuti model 8X7B yang dirilis pada Desember 2023 dan memperkenalkan ukuran parameter yang lebih besar. Perusahaan yang terkenal dengan model AI yang sepenuhnya open-source ini merilis model terbarunya dengan cara yang tidak biasa, tanpa pamflet atau postingan blog apa pun yang menyertainya. Meski tidak ada benchmark yang disediakan oleh perusahaan AI itu sendiri, namun pengguna komunitas Hugging Face telah mengujinya dan mempublikasikan hasil benchmark untuk model 8X22B. Hasilnya tampaknya menutup kesenjangan dengan model tertutup dari OpenAI dan Google.

Akun X resmi (sebelumnya dikenal sebagai Twitter) untuk Mistral Dilepaskan Model AI 8X22B melalui tautan torrent magnet, melanjutkan metode tidak konvensionalnya dalam menjatuhkan model AI tanpa iklan dan orang dapat mengunduhnya secara langsung. Mistral juga merupakan satu-satunya platform open source yang tidak hanya membuat bobotnya terbuka tetapi juga keseluruhan arsitekturnya. Namun, perlu diperhatikan bahwa sebagian besar perangkat tidak dilengkapi untuk menjalankan model AI yang kuat pada perangkat tersebut, dan hal ini dapat menyebabkan perangkat mengalami kegagalan fungsi. Total ukuran file adalah 262 GB.

Model Mistral 8X22B adalah model AI pelengkapan otomatis. Ini biasanya berbeda dari varian bantuan atau obrolan model AI. ChatGPT OpenAI dan AI Gemini Google adalah model obrolan, sedangkan Kode Llama 7B dan 13B Meta adalah model instruksi. Model obrolan adalah model yang dapat memahami bahasa alami dan pertanyaan kontekstual untuk memberikan respons yang tepat. Model instruksi terutama digunakan oleh pengembang yang meminta model AI untuk melakukan tugas tertentu. Sebaliknya, formulir pelengkapan otomatis melengkapi kalimat yang diberikan saat diminta.

Hasil standar awal didasarkan pada pelukan wajah Keterlibatan komunitas Hal ini menunjukkan bahwa model Mistral terbaru menawarkan peningkatan yang signifikan dibandingkan pendahulunya dan menutup kesenjangan dengan model andalan lainnya. Dalam benchmark Hellaswag, Mistral 8X22B mendapat skor 88,9, jauh di belakang GPT-4 di 95,3, Claude 3 Opus di 95,4, dan Gemini 1.5 Pro di 92,5. Namun, ia mengalahkan GPT-3.5 dengan 85,5 dan Gemini 1.0 Ultra dengan 87,8.

Membandingkan standar dengan model Mistral sendiri, 8X22B berada di antara model Mistral sedang dan model Mistral besar. Dengan rilis instruksi atau varian obrolan yang lebih baru, kinerjanya mungkin mirip dengan Mistral-besar.