Lima Rekomendasi Alat Pendeteksi Plagiat AI

JURNAL IT - Siswa menyukainya, tapi ini adalah mimpi buruk bagi para guru. ChatGPT, chatbot kecerdasan buatan (AI), telah menjadi sorotan sejak versi terbarunya dirilis pada November 2022.

Chatbot ini, yang dikembangkan oleh startup OpenAI yang didanai dengan baik di Amerika Serikat, mampu menghasilkan esai yang cukup baik dan memecahkan masalah matematika berbasis teks.

Perlombaan untuk mengalahkan plagiat dan kecurangan yang dibantu AI sedang berlangsung. Kami merangkum lima alat pendeteksi plagiarisme.

GPTZero

Edward Tien, seorang senior di Universitas Princeton, menghabiskan liburannya pada musim dingin 2022 dan malam tahun baru dengan mengembangkan GPTZero, sebuah aplikasi untuk dengan cepat mengatahui apakah sebuah esai ditulis oleh manusia atau ChatGPT.

Pemuda 22 tahun yang mengejar double major dalam ilmu komputer dan jurnalisme ini mengunggah versi beta dari alat tersebut di platform hosting aplikasi Streamlit pada awal Januari untuk membantu pendidik mendeteksi "aIgiarism" (plagiarisme yang dibantu AI).

"Kami telah menguji versi beta dengan dataset artikel berita BBC, dan artikel yang dihasilkan oleh GPT dengan judul yang sama. Tingkat positif palsu kurang dari 2 persen," kata Tien.

Ini berarti hingga dua dari setiap 100 artikel salah diklasifikasikan sebagai hasil dari ChatGPT padahal sebenarnya tidak.

"Kami sedang mengerjakan beberapa peningkatan model untuk membuat GPTZero sangat akurat dan mudah digunakan untuk para guru," katanya, menunjuk ke daftar pendaftaran untuk peluncuran GPTZero.me yang akan datang.

GPTZero menggunakan dua metrik yang berbeda untuk menilai apakah konten ditulis oleh bot: perplexity dan burstiness. Perplexity adalah pengukuran ketidakteraturan dalam sebuah kalimat, sementara burstiness mengukur ketidakteraturan secara keseluruhan untuk semua kalimat dalam sebuah teks, dengan memperhitungkan panjang.

Teks yang dimasukkan ke dalam aplikasi akan diberi nomor untuk kedua metrik tersebut. Semakin rendah nomornya, semakin mungkin konten itu dibuat oleh bot. Tulisan manusia cenderung memiliki kalimat yang bervariasi dalam kompleksitas, sementara bot cenderung lebih konsisten. Teks dengan perplexities yang lebih tinggi lebih kacau dan tidak mungkin dihasilkan oleh model bahasa AI.

Tien mengatakan bahwa ia telah dihubungi oleh beberapa perusahaan modal ventura, termasuk Sequoia Capital dan Andreessen Horowitz.

GLTR (Giant Language Model Test Room)

Para peneliti dari MIT-IBM Watson AI Lab dan Harvard Natural Language Processing Group bergabung untuk menciptakan GLTR (Giant Language Model Test Room), sebuah algoritma untuk mendeteksi apakah teks ditulis oleh bot ketika OpenAI merilis GPT-2 pada tahun 2019.

Para peneliti khawatir tentang penyalahgunaan model bahasa AI yang memiliki potensi untuk menghasilkan output teks yang tidak bisa dibedakan dari teks yang ditulis oleh manusia seperti ulasan palsu, komentar atau artikel berita untuk mempengaruhi opini publik.

Algoritma ini menggunakan metode "it takes one to know one" untuk memprediksi apakah sebuah teks ditulis oleh bot. Biasanya, bot - tidak seperti penulis manusia - kurang cenderung memilih kata-kata yang tidak dapat diprediksi. Namun, GLTR memiliki keterbatasan dalam pengujian pada skala besar.

GPT-2 Output Detector

Sejak OpenAI merilis pendahulu ChatGPT yaitu GPT-2 pada tahun 2019, start-up ini juga telah menunjukkan bahwa mereka dapat membuat bot yang mampu mendeteksi teks yang dihasilkan oleh mesin dengan merilis GPT-2 Output Detector.

Pengguna hanya perlu menempelkan teks ke dalam kotak untuk segera melihat pada skala seberapa mungkin teks itu ditulis oleh AI.

Menurut penelitian dari OpenAI, alat ini memiliki tingkat deteksi sekitar 95 persen untuk teks yang dihasilkan oleh mesin menggunakan GPT-2. Namun, tingkat akurasi tersebut tidak cukup tinggi untuk deteksi mandiri, menurut OpenAI, tetapi perlu dipasangkan dengan "pendekatan berbasis metadata, penilaian manusia, dan pendidikan publik untuk menjadi lebih efektif".

Watermarking (segera hadir)

OpenAI juga sedang bekerja pada fitur watermarking untuk semua teks yang dihasilkan oleh ChatGPT guna mengatasi potensi penyalahgunaan, termasuk plagiarisme. Dalam sebuah blog post pada November 2022, peneliti tamu OpenAI Scott Aaronson menulis: “Kami ingin membuatnya jauh lebih sulit untuk mengambil output dari GPT dan mengakuinya seolah-olah itu berasal dari manusia.”

Ini bisa membantu mencegah plagiarisme akademis serta pembuatan propaganda massal. “Anda tahu, spamming setiap blog dengan komentar yang tampaknya mendukung invasi Rusia ke Ukraina, atau meniru gaya penulisan seseorang untuk menuduh mereka,” tulisnya.

Startup ini memiliki prototipe kerja dari skema watermarking, yang dibangun oleh insinyur OpenAI Hendrik Kirchner. Memasukkan atau menghapus beberapa kata, atau merombak urutan beberapa kalimat, tidak akan menghapus sinyal watermarking.

Namun, orang-orang telah menemukan cara lain untuk mengalahkannya. Di TikTok, beberapa pengguna sudah berbagi solusi dengan memasukkan teks yang dihasilkan oleh AI ke dalam alat parafrase AI lainnya, yaitu QuillBot. OpenAI sedang berusaha meningkatkan prototipe watermarking untuk mengatasi solusi tersebut.

Turnitin Originality untuk ChatGPT (segera hadir)

Saat ini, para profesor dan pendidik menggunakan Turnitin Originality, alat yang dibuat oleh perusahaan Amerika yang tidak terdaftar secara publik, Turnitin, untuk memastikan bahwa mahasiswa mengumpulkan pekerjaan asli. 

Seperti crawler web, Turnitin menemukan kemiripan dalam kalimat dan paragraf terhadap database konten online atau offline, dan memberikan skor kemiripan. Persentase yang dikembalikan di bawah 15 persen biasanya menunjukkan bahwa tidak terjadi duplikasi.

Perusahaan tersebut, yang bekerja dengan ribuan universitas dan sekolah menengah, berencana untuk meluncurkan layanan pada tahun 2023 yang dapat dengan akurat mengatakan apakah ChatGPT telah melakukan tugas siswa untuk mereka, demikian ditulis oleh CEO Chris Caren di sebuah pos blog pada Desember 2022. 

Alat ini didasarkan pada pemahaman bahwa model AI memilih kata yang paling mungkin di tempat yang paling mungkin. Manusia, di sisi lain, bersifat idiosinkratik (pengambilan keputusan dengan aspek seperti nilai, bakat, dan pengalaman).(*)