Runway Act-One dengan penangkapan ekspresi wajah AI telah ditambahkan ke model Gen-3 Alpha

Runway AI, sebuah perusahaan kecerdasan buatan yang berfokus pada model pembuatan video, mengumumkan fitur baru pada hari Selasa. Kemampuan baru tersebut, yang diberi nama Act-One, tersedia dalam Model Bahasa Besar Alpha Gen-3 (LLM) terbaru milik perusahaan dan dikatakan dapat secara akurat menangkap ekspresi wajah dari video sumber dan kemudian mereproduksinya pada karakter yang dihasilkan AI dalam sebuah video. . Fitur ini memecahkan masalah besar dalam teknologi pembuatan video AI yang mengubah orang sungguhan menjadi karakter AI tanpa kehilangan ekspresi realistis.

Kemampuan Runway Act-One diperkenalkan di Gen-3 Alpha

Di sebuah Entri blogperusahaan kecerdasan buatan merinci kemampuan pembuatan video baru. Runway menyatakan bahwa alat Act-One dapat membuat konten langsung dan konten animasi menggunakan presentasi video dan audio sebagai masukan. Alat ini bertujuan untuk menghadirkan penampilan karakter yang ekspresif dalam video yang dihasilkan AI.

Video yang dihasilkan AI telah secara dramatis mengubah proses pembuatan konten video karena individu kini dapat membuat video tertentu menggunakan perintah teks bahasa alami. Namun, ada beberapa keterbatasan yang menghalangi adaptasi teknologi ini. Salah satu keterbatasan tersebut adalah kurangnya kontrol untuk mengubah ekspresi karakter dalam video atau meningkatkan performanya dalam hal pengucapan kalimat, gerak tubuh, dan gerakan mata.

Namun, dengan Act-One, Runway mencoba mengisi kesenjangan ini. Alat ini, yang hanya berfungsi dengan model Gen-3 Alpha, menyederhanakan proses animasi wajah, yang seringkali rumit dan memerlukan alur kerja multi-langkah. Saat ini, menganimasikan karakter seperti itu memerlukan perekaman video seseorang dari berbagai sudut, memasang wajah secara manual, dan menangkap gerakan wajahnya secara terpisah.

Runway mengklaim bahwa Act-One menggantikan alur kerja dan mengubahnya menjadi proses dua langkah. Pengguna kini dapat merekam video diri mereka sendiri atau aktor dari kamera satu titik, yang juga dapat berupa ponsel cerdas, dan memilih karakter yang didukung AI. Setelah ini dilakukan, alat ini diklaim mampu menangkap tidak hanya ekspresi wajah, tetapi juga detail kecil seperti gerakan mata dan ekspresi mikro serta gaya penyampaiannya.

Menyoroti cakupan fitur ini, perusahaan tersebut menyebutkan dalam postingan blognya, “Model ini mempertahankan ekspresi wajah yang realistis dan secara akurat menerjemahkan penampilan menjadi karakter dengan proporsi yang berbeda dari video sumber aslinya. Keberagaman ini membuka kemungkinan baru untuk desain karakter dan animasi yang inovatif.

Khususnya, meskipun Act-One dapat digunakan untuk karakter animasi, Act-One juga dapat digunakan untuk karakter live-action dalam rangkaian sinematik. Selain itu, alat tersebut juga dapat menangkap detail meskipun sudut wajah aktor berbeda dengan sudut wajah karakter AI.

Fitur ini saat ini diluncurkan ke semua pengguna secara bertahap, namun karena hanya berfungsi pada Gen-3 Alpha, pengguna tingkat gratis akan mendapatkan token dalam jumlah terbatas untuk membuat video dengan alat ini.