VQGAN+CLIP Archives - Free Clipart

Panduan Menggunakan VQGAN+CLIP Untuk Gambar Clipart – Dalam tutorial ini saya akan menunjukkan cara menggunakan teknologi generasi gambar AI yang canggih VQGAN dan CLIP untuk membuat karya seni yang unik, menarik, dan dalam banyak kasus menakjubkan. Tidak diperlukan pengetahuan teknis.

Panduan Menggunakan VQGAN+CLIP Untuk Gambar Clipart

ace-clipart – Saya akan menunjukkan dua cara untuk menggunakan teknologi. Yang pertama adalah menggunakan Google Colab lingkungan pemrograman online (tidak seseram kedengarannya Anda tidak perlu tahu kode), dan yang kedua adalah menggunakan aplikasi bernama NightCafe Creator (penafian, saya membuat aplikasinya) , yang lebih cepat dan lebih mudah daripada Google Colab, tetapi pada akhirnya memerlukan pembayaran untuk penggunaan yang diperpanjang. Jangan khawatir, Anda tidak perlu membayar apa pun untuk menyelesaikan tutorial.

Pertama, intro ke VQGAN dan CLIP

Jangan ragu untuk langsung ke metode 1 atau 2 jika Anda hanya di sini untuk tutorial.

VQGAN dan CLIP sebenarnya adalah dua algoritma pembelajaran mesin terpisah yang dapat digunakan bersama untuk menghasilkan gambar berdasarkan prompt teks. VQGAN adalah jaringan saraf permusuhan generatif yang pandai menghasilkan gambar yang terlihat mirip dengan yang lain (tetapi tidak dari prompt), dan CLIP adalah jaringan saraf lain yang mampu menentukan seberapa baik keterangan (atau prompt) cocok dengan gambar.

Baca Juga : Cara Membuat ClipArt Anda Sendiri

Kedua algoritme tersebut digabungkan dalam berbagai bentuk oleh penggemar seni yang dihasilkan oleh AI seperti Ryan Murdock dan Katherine Crowson . Implementasi VQGAN+CLIP dipublikasikan di Google Colab, artinya siapa pun dapat menjalankan kode mereka untuk menghasilkan karya seni mereka sendiri. Ini segera menghasilkan ledakan viral dari orang-orang yang menggunakan teknik ini untuk membuat karya seni yang luar biasa dan membagikannya di platform seperti Twitter dan Reddit. Baca terus untuk mengetahui bagaimana melakukannya sendiri . Ingat, tidak perlu coding!

Metode 1. VQGAN+CLIP di Google Colab

Catatan: Google Colab dirancang terutama untuk diakses dari komputer. Jika Anda menggunakan ponsel, Anda mungkin harus melompat ke Metode 2. NightCafe Creator.

Jika suatu saat Anda merasa Colab terlalu rumit, langsung saja ke Metode 2. NightCafe Creator.

Google Colaboratory (biasanya disebut sebagai Colab) adalah lingkungan pemrograman berbasis cloud yang memungkinkan Anda menjalankan kode Python di server yang memiliki akses ke GPU (prosesor cepat yang awalnya dibuat untuk grafis). Bagian terakhir itu penting karena VQGAN+CLIP (dan pembelajaran mesin secara umum) membutuhkan banyak daya pemrosesan. Sedemikian rupa sehingga tidak praktis untuk menjalankannya pada CPU.

Saat Katherine Crowson pertama kali menggabungkan VQGAN dan CLIP, dia mempublikasikannya di notebook Google Colab (notebook adalah nama untuk program yang ditulis dalam Colab) sehingga siapa pun dapat menggunakannya. Implementasi aslinya telah disalin dan diubah berkali-kali sejak saat itu, jadi ada banyak versi berbeda yang dapat Anda gunakan. Berikut daftar yang disusun oleh pengguna Reddit u/Wiskkey. Untuk tutorial ini, kita akan menggunakan versi ini (silahkan buka di tab baru).Akan sangat membantu jika Anda memahami sedikit tentang cara kerja Google Colab secara umum. Ingat, Colab adalah lingkungan pemrograman online tujuan umum, tidak dibuat khusus untuk membuat seni AI, jadi ada beberapa hal yang mungkin tampak tidak perlu, dan antarmukanya agak membingungkan bagi pendatang baru.

Notebook Colab terdiri dari “sel”. Setiap sel menjalankan blok kode, dan dapat memiliki deskripsi teks. Setelah programmer menulis kode, mereka dapat menyembunyikannya dan hanya menampilkan deskripsi teks tentang apa yang dilakukan sel. Anda dapat mengeksekusi kode dalam sel dengan mengklik ikon “Mainkan”. Jadi cara Anda menjalankan notebook Colab adalah dengan menjalankan setiap sel (yaitu mengklik putar) satu demi satu. Notebook yang kami gunakan memiliki 9 sel. Ikuti petunjuk di bawah ini untuk menyelesaikan lari pertama Anda. Setiap instruksi untuk satu sel, jadi ada 9 instruksi.

Lisensi. Sel ini tidak melakukan apa-apa, dan Anda sebenarnya tidak perlu menjalankannya.
Sel kode dengan satu perintah nvidia-smi. Menjalankan sel ini hanya memberi Anda informasi tentang GPU yang telah ditetapkan Colab untuk Anda. Anda dapat melewatkan ini jika Anda suka.
Sel kode yang dimulai dengan . Sel ini mengunduh dan menginstal beberapa paket kode eksternal (seperti CLIP dan kode VQGAN) yang bergantung pada sel lainnya. Anda harus menjalankan yang ini, tetapi hanya sekali per sesi. Sel ini akan memakan waktu cukup lama untuk dieksekusi karena sedang mengunduh banyak kode.!git clone https://github.com/openai/CLIP
Sel teks dengan informasi tentang “model” (versi berbeda dari AI yang dilatih pada kumpulan data berbeda) yang dapat Anda unduh. Anda tidak dapat menjalankan sel ini, tetapi Anda harus membacanya.
Pemilihan model untuk diunduh Sel ini memungkinkan Anda memilih model mana yang akan diunduh dengan memilih kotak centang dan kemudian mengklik tombol Putar. Anda harus menjalankan sel ini, tetapi hanya sekali per sesi kecuali jika Anda ingin mencoba model yang berbeda. Saya sarankan hanya mencentang kotak “imagenet_16384” dan kemudian mengklik Mainkan. Yang ini akan memakan waktu cukup lama, karena mengunduh file yang cukup besar.
Muat pustaka dan variabel Sel ini hanya mengeksekusi beberapa kode di latar belakang. Jalankan dan lanjutkan.
Pengaturan untuk proses ini Ini yang penting. Di sinilah Anda dapat menentukan prompt teks Anda dan beberapa variabel lain sebelum melakukan proses yang sebenarnya. Untuk percobaan pertama Anda, saya sarankan hanya mengatur prompt teks, mengatur lebar dan tinggi ke 400 , dan max_iterations ke 300 pengaturan ini akan memberi Anda hasil yang cukup bagus dalam waktu yang relatif singkat . Pastikan juga Anda memilih model vqgan_imagenet_f16_16384 , yang merupakan model yang Anda unduh di langkah 5. Jika Anda ingin mencoba model lain nanti, Anda harus memilihnya di langkah 5 dan menjalankan sel itu lagi terlebih dahulu untuk benar-benar mengunduhnya. Biarkan sisa opsi pada defaultnya untuk saat ini.
Sebenarnya jalankan Ini adalah sel yang menjalankan VQGAN+CLIP dengan parameter yang Anda pilih. Ini akan mencetak beberapa informasi saat berjalan. Ini akan menjalankan algoritme untuk jumlah max_iterationsyang Anda tentukan di langkah 7, dan akan menampilkan “gambar kemajuan” setiap 50 iterasi (atau apa pun yang Anda tentukan images_intervaldi langkah 7). Ini akan memakan waktu cukup lama untuk dijalankan, karena membutuhkan banyak daya komputasi. Setelah selesai, itu hanya akan berhenti, dan gambar terakhir yang ditampilkan adalah gambar yang Anda buat. Perhatikan bahwa Anda dapat menggulir ke atas dan ke bawah di dalam sel ini untuk melihat semua gambar.
Buat video dengan hasilnya Ini adalah langkah opsional yang dapat Anda jalankan setelah gambar Anda dibuat. Ini akan membuat video dari semua gambar
kemajuan yang dihasilkan dalam proses menghasilkan gambar akhir Anda.
Beberapa hal lagi yang perlu diketahui
Setelah Anda menjalankan semua sel sekali, untuk membuat sesuatu yang baru, Anda hanya perlu menjalankan sel 7 dan 8 lagi (dan 9 jika Anda menginginkan video). Namun, jika Anda ingin mencoba memilih model yang berbeda di sel 7, Anda harus terlebih dahulu mencentang kotak yang sesuai di sel 5, lalu menjalankan sel itu lagi.

Notebook memungkinkan Anda untuk (opsional) menggunakan gambar “mulai” dan “target”. Gambar awal akan menginisialisasi algoritme dengan gambar Anda (bukan piksel acak) dan gambar target akan bertindak sebagai perintah lain dalam bentuk gambar, mengarahkan algoritme ke output yang terlihat seperti target. Untuk menggunakan gambar awal dan target di sel 7, pertama-tama Anda harus mengklik tab “file” (ikon folder) di bilah sisi kiri, lalu ikon “unggah ke penyimpanan sesi”. Anda dapat mengunggah gambar di sini, lalu memasukkan nama filenya ke dalam parameter “gambar awal” atau “gambar target” di sel 7.

Cara Membuat AI Art Dengan Metode VQGAN+CLIP Untuk Clip Art – Seni yang dihasilkan AI adalah hal yang populer akhir-akhir ini, dan memang demikian. Sungguh menakjubkan apa yang dapat dibuat oleh program perangkat lunak dengan beberapa kata sebagai input dan konfigurasi yang tepat.

Cara Membuat AI Art Dengan Metode VQGAN+CLIP Untuk Clip Art

ace-clipart – AI semakin banyak digunakan dalam membuat gambar, video, audio, dan bahkan konten tertulis. Ini adalah masa depan dan ini pasti akan membantu pembuat konten untuk meningkatkan konten mereka berlipat ganda. Jika Anda menjelajahi seni AI dan tidak yakin harus mulai dari mana, Anda datang ke tempat yang tepat. Dalam artikel ini, saya akan menjelaskan bagaimana Anda dapat menggunakan metode VQGAN+CLIP untuk membuat karya seni pertama Anda yang dihasilkan oleh AI. Ini cukup mudah digunakan dan inilah cara saya mulai membuat seni AI juga.

Baca Juga : Bagaimana Cara Menggambar Rumah Clipart Primitif Negara Di Photoshop

Apa yang perlu Anda ketahui tentang metode VQGAN dan CLIP

Sebelum kita mulai, ada beberapa hal yang perlu Anda ketahui tentang VQGAN+CLIP:

Ini adalah jaringan saraf yang dibangun di atas arsitektur CLIP yang diterbitkan oleh OpenAI. Ini berfungsi sebagai model teks-ke-gambar yang membuat gambar berdasarkan prompt teks yang Anda berikan.
Itu ditulis dalam bahasa pemrograman Python. Jadi untuk menggunakannya, kita perlu menjalankan beberapa kode Python.
AI menggunakan beberapa perpustakaan dan kumpulan data gambar yang harus diunduh saat menjalankan program. AI belajar dari kumpulan data dan menggabungkan elemen-elemen ini saat menghasilkan seni. Proses ini membutuhkan GPU (Graphics Processing Units) tingkat lanjut untuk dijalankan.
Namun, kami tidak perlu menginstal perangkat lunak apa pun di PC kami atau memiliki GPU yang canggih. Google memiliki platform cloud yang disebut Google Colaboratory (umumnya dikenal sebagai Google Colab) yang memungkinkan Anda menjalankan kode Python di browser Anda. Selain itu, ia mengalokasikan GPU untuk Anda dari server cloud Google sehingga Anda tidak perlu khawatir membeli GPU.
Google Colab memiliki versi Gratis, Pro, dan Pro+. Saya menggunakan versi Pro, yang datang dengan biaya berlangganan bulanan, tetapi versi Gratis lebih dari cukup bagi Anda untuk memulai.

Langkah 1: Mengakses notebook Google Colab VQGAN dan CLIP

Notebook Google Colab adalah kode perangkat lunak yang ditulis dengan Python yang siap untuk dikompilasi. Anda tidak perlu melakukan pengkodean apa pun di sini. Mereka siap untuk digunakan. Ada variabel yang dapat Anda ubah berdasarkan gambar yang Anda impikan untuk dihasilkan. Ini cukup sederhana setelah Anda menguasainya. Anda dapat menelusuri notebook Google Colab VQGAN+CLIP di Google.

Langkah 2: Salin ke Google Drive Anda

Sebaiknya salin buku catatan ke Google Drive Anda sebelum menjalankannya. Maka akan lebih mudah untuk menyalin gambar yang dihasilkan oleh program. Klik “Salin ke Drive” seperti yang ditunjukkan di bawah ini dan biarkan terbuka di tab baru.

Langkah 3: Hubungkan ke runtime

Sekarang setelah Anda membuka buku catatan di Google Drive Anda, mari hubungkan ke runtime. Ini berarti mendapatkan sumber daya yang dialokasikan agar program Anda berjalan di Google Cloud. Ini termasuk GPU, RAM, dan ruang disk. Anda mungkin telah memperhatikan bahwa buku catatan Anda memiliki beberapa bagian dengan tombol putar kecil di sudut kiri atas. Temukan bagian pertama yang mengatakan “Periksa jenis GPU” dan klik tombol putar. Ini akan menunjukkan bahwa itu sedang diproses dan centang hijau akan muncul di sebelah tombol putar setelah pemrosesan selesai. Anda juga akan melihat detail RAM dan Disk di sudut kanan atas layar yang menunjukkan statistik runtime yang terhubung.

Langkah 4: Pekerjaan persiapan awal

Serupa dengan Langkah 3, jalankan bagian untuk “Anti-Putuskan sambungan untuk Google Colab”, “Instalasi pustaka”, “Pemilihan model untuk diunduh”, dan “Memuat pustaka dan definisi”.

Langkah 5: Mengubah parameter

Ini adalah langkah paling penting untuk menghasilkan seni AI pertama Anda. Pengaturan default akan terlihat seperti ini. Kami hanya akan fokus pada pengaturan dasar ini dalam panduan ini:

texts:

Ini adalah prompt teks yang menjelaskan gambar yang Anda ingin program untuk menghasilkan. Di sinilah Anda bisa benar-benar kreatif. Ada kata kunci tertentu yang bekerja dengan baik dengan model AI. Ada banyak forum dan konten online yang berbagi petunjuk teks dan kata kunci yang digunakan dengan hasil. Komunitas Reddit ini adalah tempat yang bagus untuk memulai. Untuk percobaan kami, saya akan membangun di atas prompt teks default. Prompt yang akan saya gunakan adalah “Dunia fantasi yang penuh dengan bunga ungu dan kuning, lukisan cat minyak oleh Greg Rutkowski, sedang tren di ArtStation”.

Tema inti dari prompt adalah “dunia fantasi” tetapi saya telah menjelaskan beberapa elemen tambahan seperti bunga ungu dan kuning yang ingin saya lihat di dunia fantasi ini. Kemudian saya memperkenalkan gaya untuk gambar. Gambar itu akan mirip dengan lukisan cat minyak yang dibuat oleh seorang seniman bernama Greg Rutkowski. Dia adalah seorang seniman dengan gaya yang unik dan dia telah menciptakan dan menerbitkan banyak karya seni di platform yang disebut ArtStation.

Platform ini memungkinkan seniman untuk mempublikasikan karya mereka dan membuat galeri seni mereka sendiri dan komunitas pemirsa dapat menyukai, berbagi, dan mengomentari karya seni yang diterbitkan ini. Berdasarkan keterlibatan pemirsa, karya seni terbaik akan menjadi tren di situs web. Oleh karena itu, saya menggunakan “trending on ArtStation” sehingga AI akan memasukkan elemen dari seni terbaik di platform. Anda tidak perlu terlalu khawatir tentang huruf besar dan huruf kecil di prompt teks Anda.

width and height:

Ini adalah resolusi gambar. Saya telah menggunakan 512 x 512 untuk membuat gambar persegi. Anda dapat menyesuaikan ini berdasarkan apa yang Anda inginkan. Jika Anda menetapkan resolusi yang lebih rendah, gambar akan dihasilkan lebih cepat. Jika resolusi yang Anda atur terlalu tinggi, ada kemungkinan program kehabisan memori.

images_interval:

Setelah AI mulai bekerja, ia akan mulai membuat iterasi dari gambar yang Anda minta. Iterasi 1 akan menjadi gambar yang terdistorsi. Kemudian AI terus meningkatkannya. Setiap iterasi menghasilkan gambar. Pengaturan interval membantu Anda melihat perkembangan iterasi. Nilai defaultnya adalah 50 tetapi saya akan mengaturnya menjadi 25 karena saya ingin melihat bagaimana proses pembuatan gambar berlangsung. Ketika saya mengatur ini ke 25, saya bisa melihat iterasi yang selesai setelah setiap 25 gambar.

max_iterations:

AI bekerja dengan cara yang terus meningkatkan gambar yang dihasilkannya berdasarkan prompt yang diberikan. Jika Anda mempertahankan nilai ini sebagai “-1” (default), proses akan berlanjut hingga Anda menghentikan program atau hingga Google Colab terputus. Saya akan mengatur ini ke 300 untuk saat ini karena kita akan mendapatkan gambar yang layak pada iterasi ke-300. Ini adalah pengaturan yang dapat Anda coba. Anda akan melihat bahwa setelah angka tertentu, jumlah perubahan yang ditambahkan ke gambar sangat kecil dan terkadang bahkan tidak terlihat. Jadi seperti inilah tampilan parameter kami yang diperbarui. Jangan ragu untuk mengubah prompt teks dan pengaturan lainnya sesuai keinginan Anda. Tekan tombol putar setelah parameter dikonfigurasi.

Langkah 6: Aktifkan AI Engine

Selanjutnya, Anda dapat melanjutkan ke bagian yang disebut “Aktifkan AI”. Yang harus Anda lakukan di sini adalah mengklik tombol putar dan biarkan AI melakukan keajaibannya. Anda dapat menonton saat AI membuat iterasi dan melihat seni sedang dibentuk. Anda akan melihat iterasi berdasarkan pengaturan image_interval. Karena saya set ke 25, saya bisa melihat gambar pada iterasi 0, 25, 50, 100, dan seterusnya. Setelah iterasi 300 tercapai, AI akan berhenti karena saya telah menetapkan max_iteration sebagai 300. Berikut adalah hasil akhir yang saya dapatkan. Ini adalah lukisan minyak abstrak dari dunia fantasi dan beberapa elemen yang saya minta dapat dilihat. Apakah Anda memperhatikan bahwa hanya ada bunga kuning tetapi tidak ungu? Sebaliknya, sebagian besar latar belakang telah menjadi ungu.

Alasan yang mungkin untuk ini adalah bahwa AI membaca perintah saya sebagai “Dunia fantasi yang penuh dengan ungu”, dan “dan bunga kuning”. Jadi itu membuat sebagian besar berwarna ungu. Mungkin jika saya menjalankan ini untuk lebih banyak iterasi, beberapa elemen dan objek akan menjadi lebih jelas. Ada cara tetap atau jelas untuk menghasilkan seni AI yang indah. Anda harus meningkatkan petunjuk dan pengaturan Anda dengan coba-coba. Itu saja. Sekarang Anda tahu cara menggunakan mesin AI VQGAN_CLIP untuk menghasilkan seni. Cobalah. Bagikan hasilnya. Saatnya berkreasi!