Grup pembanding AI MLCommons pada hari Rabu merilis serangkaian tes dan hasil baru yang mengevaluasi kecepatan perangkat mutakhir dalam menjalankan aplikasi AI dan merespons pengguna.
Dua tolok ukur baru yang ditambahkan oleh MLCommons mengukur kecepatan chip dan sistem AI dalam menghasilkan respons dari model AI yang kuat dan berisi data. Hasilnya secara kasar menunjukkan seberapa cepat aplikasi AI seperti ChatGPT dapat memberikan respons terhadap permintaan pengguna.
Salah satu tolok ukur baru menambahkan kemampuan untuk mengukur kecepatan skrip Tanya Jawab untuk model bahasa besar. Disebut Llama 2, ini mencakup 70 miliar parameter dan dikembangkan oleh Meta Platforms.
Pejabat MLCommons juga menambahkan generator teks-ke-gambar kedua ke rangkaian benchmarking, yang disebut MLPerf, berdasarkan model Stable Diffusion XL Stability AI.
Server yang ditenagai oleh chip H100 Nvidia dan dibuat oleh perusahaan seperti Google Alphabet, Supermicro, dan Nvidia sendiri dengan mudah memenangkan kedua tolok ukur baru dalam hal kinerja mentah. Banyak pembuat server telah memperkenalkan desain berdasarkan chip L40S milik perusahaan yang kurang kuat.
Pembuat server Krai telah memperkenalkan desain benchmark pembuatan gambar menggunakan chip Qualcomm AI yang mengkonsumsi daya jauh lebih sedikit dibandingkan prosesor Nvidia kelas atas.
Intel juga memperkenalkan desain berdasarkan chip akselerator Gaudi2 miliknya. Perusahaan menggambarkan hasilnya sebagai “solid.”
Performa awal bukan satu-satunya metrik yang penting saat menerapkan aplikasi AI. Chip AI tingkat lanjut mengonsumsi daya dalam jumlah besar, dan salah satu tantangan terpenting yang dihadapi perusahaan AI adalah menerapkan chip yang memberikan performa optimal dengan daya serendah mungkin.
MLCommons memiliki kelas referensi terpisah untuk mengukur konsumsi daya.
© Thomson Reuters 2024
(Cerita ini belum diedit oleh staf NDTV dan dibuat secara otomatis dari feed sindikasi.)
Untuk berita dan ulasan teknologi terkini, ikuti Gadgets 360 terus X, Facebook, Ada apa, benang Dan berita Google. Untuk video terbaru tentang gadget dan teknologi, berlangganan saluran kami Saluran Youtube. Jika Anda ingin mengetahui segalanya tentang influencer top, ikuti situs web kami Siapa Itu360 pada Instagram Dan Youtube.
AS mengatakan KuCoin gagal mematuhi aturan pencucian uang, menggunakan $9 miliar dalam perdagangan mata uang kripto yang mencurigakan
