JURNAL IT - CEO OpenAI, Sam Altman, mengatakan bahwa era model AI raksasa sudah berakhir.
Menurut Nick Frosst, salah satu pendiri Cohere yang sebelumnya bekerja di Google, pemikiran Altman bahwa menjadi semakin besar tidak akan berfungsi secara tak terbatas adalah benar.
Frosst juga percaya bahwa kemajuan pada transformer, jenis model pembelajaran mesin yang menjadi inti dari GPT-4 dan pesaingnya, terletak di luar skalabilitas.
"Ada banyak cara untuk membuat transformer menjadi lebih baik dan lebih berguna, dan banyak di antaranya tidak melibatkan penambahan parameter pada model," katanya.
Frosst mengatakan bahwa desain model AI baru atau arsitektur, serta penyesuaian lebih lanjut berdasarkan umpan balik manusia, adalah arah yang menjanjikan yang banyak peneliti telah jelajahi.
Setiap versi dari keluarga algoritma bahasa yang berpengaruh dari OpenAI terdiri dari jaringan saraf tiruan, perangkat lunak yang terinspirasi dari cara neuron bekerja bersama-sama, yang dilatih untuk memprediksi kata-kata yang seharusnya mengikuti serangkaian teks yang diberikan.
Model bahasa pertama ini, GPT-2, diumumkan pada tahun 2019. Pada bentuk terbesarnya, model ini memiliki 1,5 miliar parameter, adalah ukuran yang sangat besar dibandingkan dengan sistem pendahulunya, karena peneliti OpenAI menemukan bahwa peningkatan ukuran membuat model lebih koheren.
Dan perusahaan ini membuat penerus GPT-2, yaitu GPT-3, diumumkan pada tahun 2020, yang lebih besar lagi dengan 175 miliar parameter.
Kemampuan sistem tersebut untuk menghasilkan puisi, email, dan teks lainnya telah meyakinkan perusahaan lain dan lembaga riset untuk mengembangkan model AI mereka sendiri dengan ukuran yang serupa atau bahkan lebih besar.
Setelah ChatGPT debut pada bulan November, pembuat meme dan pakar teknologi berspekulasi bahwa GPT-4, ketika diluncurkan, akan menjadi model yang sangat besar dan kompleks.
Namun, ketika OpenAI akhirnya mengumumkan model kecerdasan buatan baru tersebut, perusahaan tidak mengungkap seberapa besar ukurannya, mungkin karena ukuran tidak lagi menjadi satu-satunya hal yang penting.
 |
| CEO OpenAI, Sam Altman |
Pada acara MIT, Altman ditanya apakah pelatihan GPT-4 membutuhkan biaya 100 juta USD; dia menjawab, "Lebih dari itu."
Meskipun OpenAI merahasiakan ukuran dan cara kerja GPT-4, kemungkinan sebagian kecerdasannya sudah berasal dari penelitian yang melampaui skala saja.
Salah satu kemungkinannya adalah penggunaan metode pembelajaran penguatan dengan umpan balik manusia, yang telah digunakan untuk meningkatkan ChatGPT.
Metode ini melibatkan penilaian manusia terhadap kualitas jawaban model untuk mengarahkannya agar memberikan respons yang lebih berkualitas.
Kemampuan luar biasa dari GPT-4 telah mengejutkan beberapa ahli dan memicu perdebatan tentang potensi AI untuk mengubah ekonomi tetapi juga menyebarkan disinformasi dan menghilangkan pekerjaan.
Beberapa ahli AI, pengusaha teknologi termasuk Elon Musk, dan ilmuwan baru-baru ini menulis surat terbuka yang menyerukan penundaan enam bulan dalam pengembangan apapun yang lebih besart dari GPT-4.
Di MIT pekan lalu, Altman mengkonfirmasi bahwa perusahaan ini saat ini tidak sedang mengembangkan GPT-5.
"Versi sebelumnya dari surat tersebut menyebutkan bahwa OpenAI sedang melatih GPT-5 saat ini," katanya. "Kami tidak melakukannya, dan tidak akan melakukannya dalam waktu dekat."(*)
0 Komentar