REPUBLIKA.CO.ID, JAKARTA---Microsoft telah meluncurkan model bahasa terbarunya, Phi-1, dengan 1,3 miliar parameter yang dianggap sebagai terobosan mengejutkan. Sebelumnya banyak yang percaya bahwa model bahasa lebih besar bisa bekerja lebih baik.

Namun rupanya pendekatan Microsoft yang berfokus pada kualitas data pelatihan berhasil mengungguli ChatGPT dari OpenAI. Phi-1, dilatih dengan kumpulan data “tingkat buku teks” yang dikuratori dengan cermat, telah mengungguli GPT-3.5 dengan 100 miliar parameter.

Dilansir dari Gizmochina, Selasa (27/6/2023), model bahasa Microsoft Phi-1, telah menarik perhatian karena kinerjanya yang mengesankan. Tim di belakang Phi-1 menekankan pada kualitas data pelatihan, berangkat dari tren peningkatan ukuran tumpukan model yang berlaku.

Dengan menggunakan kumpulan data berkualitas tinggi yang terdiri atas konten “tingkat buku teks” yang bersumber dari internet, tim Microsoft memproses informasi tersebut menggunakan GPT-3.5. Dengan bantuan 8 buah GPU Nvidia A100, proses pelatihan selesai hanya dalam waktu empat hari.