Alibaba luncurkan Wan 2.1-VACE (Video All-in one Creation and Editing) yang merupakan model open-source terbaru untuk pembuatan dan penyuntingan video. Pembaharuan inovatif ini menggabungkan berbagai fungsi pemrosesan video ke dalam satu model untuk menyederhanakan proses pembuatan video.
VACE sendiri merupakan model sumber terbuka pertama di industri yang menawarkan solusi terpadu untuk berbagai tugas pembuatan dan penyuntingan video. Model ini merupakan bagian dari Wan2.1, seri model besar pembuat video dari Alibaba.
Wan2.1-VACE mendukung pembuatan video dengan input multi-modal yang mencakup teks, gambar, dan video. Selain kemampuan pembuatan video yang fleksibel, teknologi ini juga dilengkapi dengan kemampuan penyuntingan video yang lengkap, memberikan alat yang kuat bagi para kreator untuk memodifikasi dan menyempurnakan hasil video mereka.
Fitur penyuntingan ini juga meliputi penggunaan referensi gambar atau frame, video repainting, modifikasi area tertentu dalam video, dan perluasan spatio-temporal. Semua kemampuan ini memungkinkan kreator untuk menggabungkan output secara fleksibel untuk menghasilkan karya yang lebih kreatif.
Bebas berkreasi dengan Wan2.1-VACE
Dengan tool canggih ini, pengguna dapat menghasilkan video yang menampilkan subjek tertentu yang saling berinteraksi, cukup dengan contoh gambar. Gambar diam atau statis juga bisa dengan menambahkan efek gerakan alami.
Selain itu, tersedia juga fitur lanjutan seperti mengganti pose, mengatur gerakan, kedalaman gambar, serta mengubah warna pada video. Model ini juga mendukung penambahan, modifikasi, atau penghapusan pada area tertentu dalam video tanpa mempengaruhi bagian sekitarnya.
Selain itu, pengguna bisa memperluas batas video, dan sistem akan secara otomatis mengisi konten tambahan dengan cerdas untuk memperkaya pengalaman visual.
Kemampuan open-source Wan2.1-VACE
Sebagai model AI all-in-one, Wan2.1-VACE dari Alibaba memberikan fleksibilitas yang luar biasa dalam pembuatan video. Pengguna dapat dengan mudah menggabungkan berbagai fungsi untuk menghasilkan ide-ide kreatif baru.
Wan2.1-VACE punya beberapa kemampuan yang menonjol, salah satunya mengubah gambar diam menjadi video. Bahkan, bisa mengatur arah gerak objek secara spesifik. Selain itu, pengguna juga dapat mengganti dan membuat animasi untuk objek yang diinginkan.
Dan, tak kalah menyenangkan, pengguna dapat memperluas dan menambah elemen pada video sesuai dengan referensi masing-masing.
Teknologi inovatif
Wan2.1-VACE dibangun dengan berbagai teknologi inovatif yang memang dirancang khusus untuk memenuhi ragam kebutuhan dalam pengeditan video. Model ini memiliki interface terpadu yang disebut Video Condition Unit (VCU), yang mampu memproses berbagai jenis input secara bersamaan seperti teks, gambar, video, dan masking dalam satu sistem yang terintegrasi.
Model ini menggunakan struktur Context Adapter yang menyisipkan berbagai konsep tugas melalui representasi formal dari dimensi waktu (temporal) dan ruang (spasial). Desain inovatif ini memungkinkan model mengatur berbagai jenis tugas pembuatan video dengan lebih fleksibel dan efisien.
Model open-source Wan2.1-VACE
Berkat kemajuan dalam arsitektur modelnya, Wan2.1-VACE dapat diterapkan secara luas dalam produksi cepat video singkat untuk media sosial, pembuatan konten iklanan dan pemasaran, proses pasca-produksi dan special effects dalam film dan televisi, serta untuk pembuatan video untuk keperluan pelatihan dan edukasi.
Melatih model video berbasis AI membutuhkan sumber daya komputasi yang besar dan data pelatihan berkualitas tinggi dalam jumlah banyak. Open source membantu menurunkan hambatan bagi lebih banyak bisnis untuk memanfaatkan AI, sehingga mereka menciptakan konten visual berkualitas tinggi yang sesuai dengan kebutuhan mereka secara cepat dan hemat biaya.
Alibaba menyediakan model Wan2.1-VACE dalam dua versi open-source: parameter 14 miliar dan parameter 1,3 miliar. Model-model ini tersedia untuk diunduh secara gratis di Hugging Face, GitHub, serta komunitas open-source Alibaba Cloud, ModelScope.
Sebagai salah satu perusahaan teknologi global besar pertama yang melakukan open-source model AI berskala besar, yang dikembangkan sendiri, Alibaba telah merilis empat model Wan2.1 secara open source pada Februari 2025. Bulan lalu, Alibaba juga merilis model pembuatan video berdasarkan frame awal dan akhir.
Hingga kini, model tersebut telah diunduh lebih dari 3,3 juta di Hugging Face dan ModelScope.
