Runway AI, sebuah perusahaan kecerdasan buatan yang berfokus pada model pembuatan video, mengumumkan fitur baru pada hari Selasa. Kemampuan baru tersebut, yang diberi nama Act-One, tersedia dalam Model Bahasa Besar Alpha Gen-3 (LLM) terbaru milik perusahaan dan dikatakan dapat secara akurat menangkap ekspresi wajah dari video sumber dan kemudian mereproduksinya pada karakter yang dihasilkan AI dalam sebuah video. . Fitur ini memecahkan masalah besar dalam teknologi pembuatan video AI yang mengubah orang sungguhan menjadi karakter AI tanpa kehilangan ekspresi realistis.
Kemampuan Runway Act-One diperkenalkan di Gen-3 Alpha
Di sebuah Entri blogperusahaan kecerdasan buatan merinci kemampuan pembuatan video baru. Runway menyatakan bahwa alat Act-One dapat membuat konten langsung dan konten animasi menggunakan presentasi video dan audio sebagai masukan. Alat ini bertujuan untuk menghadirkan penampilan karakter yang ekspresif dalam video yang dihasilkan AI.
Pendahuluan, Bab Satu. Sebuah cara baru untuk menciptakan tampilan pribadi yang ekspresif dalam Gen-3 Alpha menggunakan satu video berkendara dan selfie. Tidak diperlukan penangkapan gerak atau tali-temali.
Pelajari lebih lanjut tentang Babak Pertama di bawah.
(1/7) pic.twitter.com/p1Q8lR8K7G
– landasan pacu (@runwayml) 22 Oktober 2024
Video yang dihasilkan AI telah secara dramatis mengubah proses pembuatan konten video karena individu kini dapat membuat video tertentu menggunakan perintah teks bahasa alami. Namun, ada beberapa keterbatasan yang menghalangi adaptasi teknologi ini. Salah satu keterbatasan tersebut adalah kurangnya kontrol untuk mengubah ekspresi karakter dalam video atau meningkatkan performanya dalam hal pengucapan kalimat, gerak tubuh, dan gerakan mata.
Namun, dengan Act-One, Runway mencoba mengisi kesenjangan ini. Alat ini, yang hanya berfungsi dengan model Gen-3 Alpha, menyederhanakan proses animasi wajah, yang seringkali rumit dan memerlukan alur kerja multi-langkah. Saat ini, menganimasikan karakter seperti itu memerlukan perekaman video seseorang dari berbagai sudut, memasang wajah secara manual, dan menangkap gerakan wajahnya secara terpisah.
Runway mengklaim bahwa Act-One menggantikan alur kerja dan mengubahnya menjadi proses dua langkah. Pengguna kini dapat merekam video diri mereka sendiri atau aktor dari kamera satu titik, yang juga dapat berupa ponsel cerdas, dan memilih karakter yang didukung AI. Setelah ini dilakukan, alat ini diklaim mampu menangkap tidak hanya ekspresi wajah, tetapi juga detail kecil seperti gerakan mata dan ekspresi mikro serta gaya penyampaiannya.
Menyoroti cakupan fitur ini, perusahaan tersebut menyebutkan dalam postingan blognya, “Model ini mempertahankan ekspresi wajah yang realistis dan secara akurat menerjemahkan penampilan menjadi karakter dengan proporsi yang berbeda dari video sumber aslinya. Keberagaman ini membuka kemungkinan baru untuk desain karakter dan animasi yang inovatif.
Salah satu kekuatan model ini adalah menghasilkan keluaran sinematik dan fotorealistik di berbagai sudut kamera dan panjang fokus. Memungkinkan Anda menciptakan pertunjukan emosional dengan kedalaman karakter yang sebelumnya tidak mungkin dilakukan dan membuka cakrawala baru untuk ekspresi kreatif.
(4/7) pic.twitter.com/JG1Fvj8OUm
– landasan pacu (@runwayml) 22 Oktober 2024
Khususnya, meskipun Act-One dapat digunakan untuk karakter animasi, Act-One juga dapat digunakan untuk karakter live-action dalam rangkaian sinematik. Selain itu, alat tersebut juga dapat menangkap detail meskipun sudut wajah aktor berbeda dengan sudut wajah karakter AI.
Fitur ini saat ini diluncurkan ke semua pengguna secara bertahap, namun karena hanya berfungsi pada Gen-3 Alpha, pengguna tingkat gratis akan mendapatkan token dalam jumlah terbatas untuk membuat video dengan alat ini.