Seberapa akurat ChatGPT dalam menghasilkan tanggapan?

ChatGPT, chatbot AI yang dikembangkan oleh OpenAI, telah mencuri perhatian dalam berbagai bidang karena akurasi dan performanya. Namun, penting untuk dicatat bahwa pengetahuannya terbatas pada data yang tersedia hingga tahun 2021. Salah satu uji akurasinya dilakukan oleh Profesor Christian Terwiesch di Universitas Pennsylvania, yang menguji ChatGPT dengan memberikannya ujian MBA.

Ujian terdiri dari tujuh pertanyaan yang mencakup berbagai konsep bisnis seperti analisis proses, putaran inventaris, dan analisis antrian. Ini dirancang untuk mensimulasikan lingkungan manusia sebenarnya, dan pertanyaan diajukan persis seperti yang akan ditanyakan kepada siswa manusia. Terkejutnya Profesor Terwiesch, ChatGPT memulai ujian dengan gemilang, menerima A+ untuk jawabannya pada pertanyaan pertama tentang konsep bottleneck dalam analisis proses.

Meskipun chatbot kesulitan menjawab beberapa pertanyaan yang lebih kompleks, profesor masih terkesan dengan kinerjanya secara keseluruhan. Setelah melakukan ujian MBA di ChatGPT, Professor Terwiesch menyimpulkan bahwa chatbot AI akan memperoleh nilai antara B dan B-.

Penjelasan keakuratan ChatGPT

Contoh lain dari akurasi ChatGPT adalah dalam bidang medis, di mana chatbot ini mampu lulus dalam Ujian Lisensi Medis Amerika Serikat (USMLE). Menurut penelitian, ChatGPT mampu mencapai lebih dari 50% akurasi di semua ujian dan bahkan memberikan wawasan dan penjelasan untuk jawabannya.

Dalam sebuah studi terpisah yang dipimpin oleh dokter dari start-up medis Ansible Health, ChatGPT berhasil mencapai atau mendekati batas kelulusan untuk ketiga ujian yang diperlukan untuk mendapatkan lisensi sebagai dokter di AS. Meskipun akurasi ChatGPT tentu luar biasa, penting untuk diingat bahwa performanya bisa bervariasi tergantung pada konteks dan instruksi yang diberikan.

Data pelatihan yang digunakan untuk melatih model tersebut mencakup kecenderungan dan keterbatasan sumber teks yang digunakan, sehingga sangat penting untuk menggunakan model dengan bertanggung jawab.

Sentimen ini diulangi oleh CEO OpenAI, yang menyatakan dalam sebuah tweet bahwa "ChatGPT sangat terbatas, dan bahwa "Ini adalah kesalahan untuk mengandalkannya untuk hal-hal penting saat ini".

00:48

01:12

Percakapan tes dengan Chat GPT gagal

Seperti yang ditunjukkan dalam tangkapan layar di atas, percakapan uji coba dengan ChatGPT mengungkapkan bahwa kinerja chatbot AI tidak selalu konsisten.

Ketika ditanya berapa kali Argentina memenangkan Piala Dunia FIFA, ChatGPT awalnya menjawab "Argentina memenangkan Piala Dunia FIFA satu kali, pada tahun 1986." Namun, ketika ditanya "Siapa yang memenangkan Piala Dunia FIFA pada tahun 1978," ChatGPT menjawab, "Argentina memenangkan Piala Dunia FIFA 1978."

Ini mengarah pada kesimpulan bahwa Argentina telah memenangkan Piala Dunia dua kali. Namun, ketika pertanyaan yang sama diajukan kembali, "Sekarang saya bertanya lagi berapa kali Argentina memenangkan Piala Dunia?" ChatGPT memberikan jawaban yang sama, "Argentina memenangkan Piala Dunia FIFA sekali, pada tahun 1986," meskipun sudah ada percakapan sebelumnya.

Ini menyoroti akurasi dari Chat GPT dan kebutuhan akan perbaikan dan penyempurnaan yang terus berlanjut.

BACA SEKARANG: Apakah Chat GPT bisa menulis dan memperbaiki kode?

Apakah ChatGPT memberikan jawaban yang sama untuk semua orang?

Jawaban dari ChatGPT bisa sedikit bervariasi, namun jika pengguna menanyakan pertanyaan yang sama, kita cenderung melihat jawaban yang sangat serupa diberikan.

Apakah ChatGPT dapat diandalkan?

ChatGPT memiliki keterbatasan, artinya terkadang dapat memberikan hasil yang tidak akurat atau salah, jadi berhati-hatilah.