diskusi.tech (beta) Community

loading...
DeepTechID

Biar Gak Kalah Sama GPT-3, AI yang Bisa Ngoding

mimindeeptech profile image Mimin Deep Tech ・3 min read

“Gak abis pikir.

Saya bisa bangun layout generator pake GPT-3. Tinggal deskripsiin layout yang mau dibuat, GPT-3 bisa bikinin kode JSX-nya.” -@sharifshameem, CEO debuild.co

Silicon Valley kemarin sempet heboh soal GPT-3.

Generative Pre-trained Transformer 3 (GPT-3)
Salah satu contoh machine learning, tapi dia bukan machine learning biasa.
Karena GPT-3 punya kemampuan buat nerusin bahasa walau dengan contoh data yang sedikit.

Misal:
Dalam GPT-3 versi beta, kita bisa ngelatih GPT-3 dengan masukin sejumlah data seperti yang ditunjukin berikut:

“Saya Budi. Saya punya anak perempuan bernama Bunga. Usianya hampir 3 tahun. Sedangkan ini istri saya, namanya Ani.”

Kemudian, GPT-3 akan mempelajari sampel data tersebut.

Tapi, ketika ditanya pertanyaan di luar data yang dikasih kayak “Kalo saya berusia 31 tahun dan Ani berusia 1 tahun lebih muda dari saya, berapa usia istri saya?”, GPT-3 bisa ngejawabnya.

Kenapa GPT-3 Bisa Jawab, Ya?

GPT-3 sama machine learning lain itu ibarat anak TK sama anak balita.

Ngelatih machine learning lain itu seperti ngelatih anak balita yang belum punya pengetahuan apapun. Sedangkan GPT-3 udah punya "common knowledge" seperti anak TK yang sebelumnya udah dilatih untuk bisa ngebedain angka, huruf, atau simbol.

Gambaran Kerja
Anggap kita lagi ngelatih machine learning lain dan GPT-3 bahwa ketika 1 ditambah 1 akan ngehasilin 2.

Maka ketika si balita ditanya soal hal-hal yang belum pernah dipelajarinya, dia gak akan bisa jawab.

Beda sama si anak TK yang udah punya "dasar" pengetahuan kalistung.
Jadi, kalo dia udah dilatih dengan soal 1+1=2 maka nantinya dia akan bisa ngejawab kalo 1 dengan 2 ketika dijumlah akan ngehasilin 3, walau belum diajarin sebelumnya!

Dampak dari kemampuan yang dimilikinya ini, akhirnya ngebuat GPT-3 punya kemungkinan bisa nulis lagu, buat artikel, bikin esai, bahkan ngoding. (Walaupun hasilnya belum sebaik yang dihasilin manusia. Jadi, kita jangan takut kalah).

Kenapa GPT-3 Bisa jadi Pinter Banget Gitu, Ya?

GPT-3 adalah Machine Learning jenis Neural-Network-Powered Language Model.

1. Language Model
Model yang diprogram supaya bisa ngeprediksi bahasa.

Misal, saat kita bilang, “mau makan ... (titik-titik)”.

Karena GPT-3 punya ribuan kata yang udah dipelajari dan tersimpan pada dataset-nya, GPT-3 bisa aja nebak kata berikutnya (untuk ngisi titik-titik tersebut) sebagai “mie”, “nasgor” atau bahkan “komputer”.

Tapi, kemungkinan ketiga kata ini tentu berbeda nyesuain konteks-nya. (Karena gak mungkin juga kan kalo kita akan makan komputer?)

Jadi, karena kemungkinan kalimat “mau makan komputer” lebih kecil (atau bahkan gak ada pada dataset-nya GPT-3) dan kata “nasgor” adalah kata informal dan punya kemungkinan yang juga lebih sedikit pada dataset-nya, maka kemungkinan kalimat “mau makan mie” akan jadi lebih besar.

Karena itu, Language Model akan nebak bahwa lanjutan katanya adalah “mie” sehingga kalimat yang dihasilin GPT-3 menjadi “mau makan mie”.

2. Neural Network-Powered Language Model
Language Model yang sistem kerja “otak”-nya terinspirasi dari sistem kerja neuron pada otak manusia: ketika jaringan-jaringan neuron manusia semakin saling terhubung, proses manusia dalam memahami jadi semakin baik.

Nah, caranya GPT-3 dalam belajar dan memahami hampir nyerupai manusia. Walau jaringan neuron otak manusia lebih kompleks dibanding dengan neural network pada Language Model.

Language Model dengan neural network dengan jumlah parameter/koneksi yang lebih banyak akan cenderung punya performa yang lebih baik.

Perbandingan Jumlah Parameter

  • Otak Manusia: 200 triliun
  • GPT-3: 175 miliar parameter > terbilang besar sebab bisa ngalahin jenis Language Model yang paling canggih sebelumnya yang cuma punya 17 miliar parameter. (Perkembangan teknologi yang luar biasa banget, ya!)

GPT-3 juga udah dilatih dengan sejumlah besar data yang belum pernah dilakuIn terhadap jenis machine learning lain manapun di dunia. Maka gak heran kalo cara GPT-3 dalam belajar dan memahami semakin mirip sama manusia.

Fun Fact
Para penciptanya gak memperkirakan kalo GPT-3 akan jadi “sepintar” ini.

Kira-kira nih, kalo bisa minta, teman-teman mau dibuatin tulisan apa ke GPT-3?

Discussion

pic
Editor guide