REPUBLIKA.CO.ID, JAKARTA---Ingin tahu bagaimana ChatGPT, Bing, dan Bard bersaing satu sama lain? 

Sebuah kelompok penelitian University of California (UC) Berkeley yang bekerja sama dengan UC San Diego dan Carnegie Mellon University telah merancang sebuah eksperimen di mana pengguna dapat mengobrol dengan dua model anonim pada saat yang sama dan memilih yang terbaik lewat Chatbot Arena.

Chatbot Arena mencakup LLM (large language model) dari Open AI (GPT-4), Google (PaLM), Meta (LLaMA), dan Anthropic's Claude, serta model-model lain yang dibuat menggunakan API dari perusahaan-perusahaan ini.

Ketika Anda memasukkan perintah di Chatbot Arena, dua model anonim akan memberikan respons. Setelah Anda memberikan suara (vote), eksperimen tersebut akan memberi tahu model mana yang ingin dipilih.

Selain itu, Anda juga dapat bereksperimen dengan membandingkan model yang berbeda dan memeriksa papan peringkat (leaderboard) untuk model dengan vote terbanyak.

Kelompok penelitian yang disebut Large Model Systems Organization (LMSYS) menciptakan eksperimen crowdsourced sebagai cara untuk secara efektif membandingkan berbagai kecerdasan buatan generatif atau dikenal juga LLM yang telah berkembang baru-baru ini.

“Membandingkan asisten LLM sangat menantang karena masalahnya bisa bersifat terbuka, dan sangat sulit untuk menulis program untuk secara otomatis mengevaluasi kualitas respons," demikian menurut blog LMSYS yang mengumumkan Chatbot Arena, seperti dilansir dari Mashable SEA, Ahad (25/6/2023).

Sejauh ini, lebih dari 40 ribu vote telah diberikan, di mana vote terbanyak jatuh ke tangan GPT-4. Di posisi kedua ada Claude-v1 dari Anthropic, diikuti oleh Claude Instant yang merupakan versi Claude yang lebih ringan dan lebih cepat dari Anthropic.

Ikuti Whatsapp Channel Republika