Istilah C9 · Deep Learning dari Dasar

89 dari 89 istilah

• _mundur

  Fungsi kecil yang disimpan setiap objek Nilai (kelas autograd buatan sendiri di course ini) hasil operasi. Saat dipanggil, ia menambahkan gradien nilai itu ke gradien masukannya, dikali turunan lokal operasinya.

  Contoh: untuk out = a * b, _mundur menjalankan a.grad += b.data * out.grad.

  Dipelajari di Modul 03 · Autograd ditulis sendiri

• Adam

  Pengoptimal yang memberi setiap parameter laju sendiri: rata-rata bergerak gradien (momentum) dibagi akar rata-rata bergerak kuadrat gradien, dengan koreksi bias di awal. Nilai bawaannya η = 0,001, β1 = 0,9, β2 = 0,999, ε = 10⁻⁸.

  Contoh: mengalikan rugi dengan 1000 tidak mengubah lintasan Adam, sedangkan SGD dengan laju yang sama meledak.

  Dipelajari di Modul 05 · Optimisasi

• akumulasi gradien

  Menjumlahkan gradien dari beberapa mikro-batch sebelum satu langkah pembaruan, untuk meniru batch besar yang tidak muat di memori. Setiap gradien harus diberi bobot sesuai bagiannya dari batch penuh.

  Contoh: batch 1.198 citra dipecah menjadi 300, 300, 299, 299; tanpa pembagian, gradiennya empat kali terlalu besar.

  Dipelajari di Modul 09 · Melatih di GPU dengan PyTorch

• argmaxjuga: np.argmax

  Mengembalikan posisi (indeks) nilai terbesar, bukan nilainya. Pada logit (N, K), Z.argmax(axis=1) memberi kelas tebakan untuk setiap contoh.

  Contoh: np.array([0.1, 2.5, 0.3]).argmax() bernilai 1.

• attentionjuga: self-attention, scaled dot-product attention

  Lapisan yang membuat setiap token mengambil rata-rata berbobot dari nilai semua token lain: bobotnya softmax dari kecocokan kueri dengan kunci, dibagi √d. Informasi bisa langsung melompat sejauh apa pun dalam satu langkah.

  Dipelajari di Modul 12 · Attention

• aturan rantaijuga: chain rule

  Aturan turunan fungsi bersusun: turunan luar dikali turunan dalam. Bila satu variabel memengaruhi hasil lewat beberapa jalur, sumbangan semua jalur dijumlahkan. Seluruh backpropagation adalah aturan ini yang dijalankan berulang di graf komputasi.

  Contoh: untuk L = tanh(a·b + c), ∂L/∂a = (1 − tanh²(a·b + c)) · b.

  Dipelajari di Modul 02 · Graf komputasi dan aturan rantai

• augmentasijuga: augmentasi data

  Membuat contoh latih baru dengan mengubah contoh lama tanpa mengubah labelnya, misalnya menggeser citra satu piksel. Mengajari model sifat yang kamu tahu benar, seperti "angka yang bergeser tetap angka yang sama".

  Contoh: dengan geser acak, akurasi pada citra uji yang digeser naik dari sekitar 0,46 ke 0,83–0,85.

  Dipelajari di Modul 07 · Regularisasi dan generalisasi

• autogradjuga: autodiff, diferensiasi otomatis

  Mesin yang mencatat setiap operasi saat perhitungan maju, lalu menghitung semua gradien secara otomatis dengan menjalankan aturan rantai mundur. Kamu cukup menulis rumus majunya.

  Contoh: kelas Nilai di nalar.py adalah autograd kecil; PyTorch menyediakan versi lengkapnya lewat backward().

  Dipelajari di Modul 03 · Autograd ditulis sendiri

• axis

  Argumen NumPy yang memilih sumbu mana yang diringkas. Untuk array (N, D), axis=0 meringkas ke bawah (per kolom, atas contoh) dan axis=1 atau axis=-1 meringkas ke samping (per baris). axis=-1 selalu berarti sumbu terakhir.

  Dipelajari di Modul 04 · Backpropagation dengan matriks

• backpropagationjuga: backprop, propagasi balik, mode mundur, mode maju

  Cara menghitung gradien rugi terhadap semua parameter dengan menjalankan aturan rantai mundur, dari rugi ke lapisan pertama (mode mundur). Satu lintasan mundur cukup untuk semua parameter; mode maju butuh satu lintasan per masukan, sehingga terlalu mahal untuk jaringan saraf.

  Dipelajari di Modul 02 · Graf komputasi dan aturan rantai

• backward

  Metode yang menjalankan langkah mundur dari sebuah nilai (biasanya rugi): mengisi gradien semua nilai yang memengaruhinya, mengikuti urutan topologis terbalik. Ada di kelas Nilai dan di tensor PyTorch.

  Contoh: L.backward() lalu baca a.grad.

  Dipelajari di Modul 03 · Autograd ditulis sendiri

• benihjuga: seed, berbenih

  Angka awal generator bilangan acak. Benih yang sama menghasilkan urutan "acak" yang sama, sehingga bobot awal, pengacakan batch, dan hasil pelatihan bisa diulang persis.

  Contoh: np.random.default_rng(0) dipakai hampir di setiap contoh course ini.

  Dipelajari di C1 · Modul 01 · Peran data scientist dan siklus analisis

• BPEjuga: Byte Pair Encoding, tokenisasi BPE

  Cara membuat token dari teks: mulai dari karakter tunggal, lalu berulang kali menggabungkan pasangan bersebelahan yang paling sering muncul. Daftar gabungan berurutan itu menjadi tokenizer.

  Dipelajari di Modul 11 · Embedding dan model bahasa

• BPTTjuga: backpropagation through time, BPTT terpotong

  Backpropagation pada RNN yang dibentangkan sepanjang waktu. Karena bobot yang sama dipakai di setiap langkah, gradiennya adalah jumlah sumbangan semua langkah. Versi terpotong hanya merambatkan gradien mundur sejauh T langkah.

  Dipelajari di Modul 10 · Barisan dan RNN

• broadcastingjuga: broadcast

  Aturan NumPy yang otomatis "melebarkan" array kecil agar cocok dengan array besar, misalnya bias (h,) ditambahkan ke setiap baris matriks (N, h). Praktis, tetapi bentuk yang keliru sering tetap berjalan tanpa galat.

  Contoh: b1 berbentuk (4, 1) diterima diam-diam dan memberi angka salah; bentuk yang benar (3,).

  Dipelajari di Modul 04 · Backpropagation dengan matriks

• dropoutjuga: dropout terbalik

  Regularisasi yang mematikan setiap unit secara acak dengan peluang p saat latih. Versi terbalik mengalikan unit yang tersisa dengan 1/(1 − p), sehingga rata-ratanya tetap dan saat evaluasi dropout cukup dimatikan.

  Contoh: dengan p = 0,5, unit bernilai 2 menjadi 0 atau 4, rata-ratanya tetap sekitar 2.

  Dipelajari di Modul 07 · Regularisasi dan generalisasi

• embedding

  Vektor angka yang dipelajari untuk setiap token, disimpan sebagai satu baris tabel. Mengambil baris i sama dengan mengalikan vektor one-hot (semua 0, satu angka 1 di posisi i) dengan tabel itu. Token yang dipakai mirip cenderung mendapat vektor mirip.

  Dipelajari di Modul 11 · Embedding dan model bahasa

• entropi silangjuga: cross-entropy

  Rugi klasifikasi banyak kelas: rata-rata −log peluang yang diberikan model pada kelas yang benar. Dihitung langsung dari logit agar stabil; gradiennya terhadap logit sangat sederhana, softmax dikurangi one-hot label.

  Contoh: peluang 0,787 untuk kelas benar memberi rugi −log 0,787 ≈ 0,24.

  Dipelajari di Modul 04 · Backpropagation dengan matriks

• epoch

  Satu putaran penuh atas seluruh data latih. Di setiap epoch urutan data diacak ulang, lalu dipotong menjadi mini-batch.

  Contoh: 10 epoch MLP digit menurunkan rugi latih dari 1,6754 (epoch 1) ke 0,0693.

  Dipelajari di Modul 09 · Melatih di GPU dengan PyTorch

• fine-tuningjuga: fine-tune

  Melanjutkan pelatihan model pralatih dengan data tugasmu sendiri, sehingga perilakunya menyesuaikan tanpa melatih dari nol. Bisa penuh (semua bobot) atau hemat parameter seperti LoRA.

  Dipelajari di Modul 14 · Model terbuka, fine-tuning, LoRA

• float16juga: bfloat16, half precision

  Format angka pecahan 16 bit, separuh ukuran float32. float16 hanya sampai 65.504 dan cepat underflow; bfloat16 punya rentang seperti float32 tetapi digit ketelitiannya lebih sedikit.

  Contoh: di float16, 1 + 0,0001 tetap 1 dan 65.520 menjadi inf.

  Dipelajari di Modul 09 · Melatih di GPU dengan PyTorch

• FLOPs

  Banyaknya operasi pecahan (perkalian dan penjumlahan) dalam satu hitungan. Perkalian matriks (N, d_masuk) @ (d_masuk, d_keluar) butuh 2·N·d_masuk·d_keluar FLOPs. Jangan tertukar dengan FLOPS, operasi per detik.

  Dipelajari di Modul 15 · Efisiensi, inferensi, evaluasi jujur

• fungsi aktivasijuga: aktivasi, ReLU, sigmoid, tanh, GELU

  Fungsi yang diterapkan pada skor setiap neuron agar jaringan bisa mempelajari pola yang tidak lurus. ReLU = max(0, z); sigmoid memeras ke 0–1; tanh memeras ke −1–1; GELU mirip ReLU yang dihaluskan. Keluarannya juga disebut aktivasi.

  Contoh: untuk z = −1,25, ReLU memberi 0 (neuron diam), tanh memberi sekitar −0,85.

  Dipelajari di Modul 01 · Dari regresi logistik ke jaringan saraf

• galat relatif

  Ukuran beda dua gradien yang tidak tertipu oleh besar-kecilnya angka: norma selisih dibagi jumlah kedua norma (paling kecil 10⁻⁸). Di bawah 10⁻⁶ biasanya berarti gradiennya benar.

  Contoh: 1000 lawan 1000,02 memberi 1,0e-05; dua angka kecil bertanda berlawanan memberi 0,6.

  Dipelajari di Modul 02 · Graf komputasi dan aturan rantai

• grad

  Atribut tempat gradien disimpan, misalnya p.grad pada Nilai atau tensor PyTorch. Isinya ditambahkan setiap kali backward() dipanggil, bukan ditimpa, jadi harus dikosongkan sebelum langkah berikutnya.

  Dipelajari di Modul 03 · Autograd ditulis sendiri

• gradienjuga: gradient

  Kumpulan turunan rugi terhadap setiap parameter: menunjukkan ke arah mana dan seberapa kuat rugi naik bila parameter digeser sedikit. Di course ini gradien terhadap W selalu berbentuk sama dengan W, sehingga langkahnya cukup W -= laju * dW.

  Dipelajari di Modul 02 · Graf komputasi dan aturan rantai

• gradien hilangjuga: gradien meledak, vanishing gradient

  Gradien yang mengecil (hilang) atau membesar (meledak) secara eksponensial ketika dikalikan berulang melewati banyak lapisan atau banyak langkah waktu. Akibatnya lapisan awal hampir tidak belajar, atau rugi menjadi nan.

  Contoh: faktor 0,9 dikali 50 kali tinggal sekitar 0,005; faktor 1,1 menjadi sekitar 117.

  Dipelajari di Modul 06 · Inisialisasi, normalisasi, residual

• henti dinijuga: early stopping, kesabaran

  Menghentikan pelatihan ketika rugi validasi tidak membaik lagi selama beberapa epoch berturut-turut (disebut kesabaran), lalu memulihkan bobot epoch terbaik.

  Contoh: kesabaran 2 berarti berhenti sesudah dua epoch tanpa rekor rugi validasi baru.

  Dipelajari di Modul 07 · Regularisasi dan generalisasi

• inisialisasi Hejuga: Kaiming, He normal, inisialisasi Xavier, Xavier, Glorot

  Aturan memilih skala bobot awal agar ragam sinyal tidak mengecil atau membesar dari lapisan ke lapisan. He (untuk ReLU) memakai ragam 2/n_masuk; Xavier (untuk tanh) memakai sekitar 1/n_masuk, dengan n_masuk banyaknya masukan satu neuron.

  Contoh: lapisan pertama MLP digit memakai simpangan baku √(2/64) ≈ 0,177.

  Dipelajari di Modul 06 · Inisialisasi, normalisasi, residual

• interval Wilson

  Rentang yang memuat akurasi "sebenarnya" sebuah model dengan keyakinan 95%, dihitung dari banyaknya jawaban benar dan banyaknya data uji. Tetap masuk akal di dekat 0 atau 1.

  Contoh: 580 benar dari 599 citra memberi interval [0,9510; 0,9796].

  Dipelajari di C1 · Modul 07 · Sampling dan estimasi

• Jacobianjuga: matriks Jacobian

  Tabel semua turunan parsial sebuah fungsi yang bermasukan dan berkeluaran banyak angka: baris ke-i berisi turunan keluaran ke-i, kolom ke-j berisi pengaruh masukan ke-j. Fungsi dari 2 angka ke 3 angka punya Jacobian berbentuk (3, 2).

  Dipelajari di Modul 02 · Graf komputasi dan aturan rantai

• keepdims

  Argumen fungsi ringkasan NumPy (sum, max, mean) yang mempertahankan sumbu yang diringkas dengan ukuran 1. Hasil (N, 1) bisa langsung dipakai untuk membagi atau mengurangi array (N, K) lewat broadcasting.

  Contoh: Z - Z.max(axis=1, keepdims=True) mengurangi maksimum setiap baris.

  Dipelajari di Modul 04 · Backpropagation dengan matriks

• koneksi residualjuga: residual, jalur pintas, blok residual

  Jalur yang menambahkan masukan blok ke keluarannya: y = x + F(x). Gradien selalu punya jalan langsung lewat penjumlahan itu, sehingga jaringan yang sangat dalam tetap bisa dilatih.

  Contoh: pada MLP digit 42 lapis, akurasi uji jaringan biasa jatuh ke 0,4274, sedangkan versi residual dengan LayerNorm tetap 0,9599.

  Dipelajari di Modul 06 · Inisialisasi, normalisasi, residual

• konvolusijuga: CNN, jaringan konvolusi, padding, stride

  Lapisan yang menggeser kernel, yaitu kotak kecil berisi bobot, ke setiap posisi citra dan menghitung jumlah perkaliannya. Padding menambah bingkai nol di tepi (atau token isian di barisan pendek); stride adalah besar langkah geser. CNN adalah jaringan yang memakai lapisan ini.

  Contoh: kernel 3 × 3 pada citra 8 × 8 tanpa padding, stride 1, memberi keluaran 6 × 6.

  Dipelajari di Modul 08 · Konvolusi

• kuantisasijuga: int8

  Menyimpan bobot sebagai bilangan bulat kecil (8 atau 4 bit) ditambah skala, untuk menghemat memori. Untuk int8 simetris: skala s = max|w|/127, simpan round(w/s), pakai s·q; galatnya paling besar s/2.

  Dipelajari di Modul 14 · Model terbuka, fine-tuning, LoRA

• kuerijuga: query

  Dalam attention setiap token membawa tiga vektor: kueri (apa yang dicari), kunci (apa yang ditawarkan), dan nilai (isi yang diteruskan). Kecocokan kueri sebuah token dengan kunci token lain menentukan seberapa banyak nilainya diambil.

  Dipelajari di Modul 12 · Attention

• KV cache

  Simpanan kunci dan nilai attention semua token sebelumnya saat membangkitkan teks, agar setiap token baru tidak menghitung ulang semuanya. Ukurannya tumbuh sebanding panjang konteks dan sering memakan memori lebih besar daripada bobotnya.

  Dipelajari di Modul 15 · Efisiensi, inferensi, evaluasi jujur

• laju belajarjuga: learning rate

  Angka η yang menentukan seberapa jauh bobot digeser ke arah turunnya rugi di setiap langkah. Terlalu kecil membuat pelatihan lambat; terlalu besar membuat rugi berayun atau meledak.

  Contoh: pada kuadrat dengan kelengkungan terbesar 100, laju 0,0198 sampai dalam 709 langkah, laju 0,021 meledak.

  Dipelajari di C2 · Modul 03 · Regresi linear dan gradient descent

• logit

  Skor mentah lapisan terakhir sebelum diubah menjadi peluang: boleh bernilai berapa pun, negatif maupun ribuan. Satu logit per kelas; makin besar, makin yakin model pada kelas itu.

  Contoh: logit [4,0; 2,5; 2,0; 0,5; −1,0] untuk kelas "8", "3", "9", "5", "1".

  Dipelajari di Modul 01 · Dari regresi logistik ke jaringan saraf

• LoRAjuga: QLoRA

  Fine-tuning hemat: bobot asli dibekukan, lalu perubahan bobot ditulis sebagai perkalian dua matriks kecil, ΔW = A·B berperingkat r. Hanya A dan B yang dilatih. QLoRA menyimpan bobot beku dalam 4 bit agar muat di GPU kecil.

  Contoh: lapisan 6 × 4 dengan r = 2 hanya melatih 2·(6 + 4) = 20 angka.

  Dipelajari di Modul 14 · Model terbuka, fine-tuning, LoRA

• LSTMjuga: GRU

  RNN dengan keadaan sel tambahan dan empat gerbang (masuk, lupa, calon, keluaran) yang mengatur apa yang disimpan dan dibuang. Jalur sel menahan gradien lebih lama daripada RNN biasa. GRU adalah versi lebih ringkas dengan dua gerbang.

  Dipelajari di Modul 10 · Barisan dan RNN

• mask kausaljuga: causal mask

  Larangan bagi setiap posisi untuk melihat token sesudahnya. Skor posisi terlarang diganti −∞ sebelum softmax, sehingga bobotnya tepat 0; tanpa itu model bahasa bisa "mencontek" jawaban.

  Dipelajari di Modul 12 · Attention

• meluapjuga: overflow, underflow

  Meluap (overflow): hasil hitungan melewati angka terbesar yang bisa disimpan, sehingga menjadi inf lalu sering nan. Kebalikannya, underflow: angka yang sangat kecil dibulatkan menjadi nol. Keduanya diam-diam merusak rugi tanpa pesan galat.

  Contoh: np.exp(1000) meluap; np.exp(-1000) underflow menjadi 0.

  Dipelajari di Modul 01 · Dari regresi logistik ke jaringan saraf

• mini-batchjuga: batch, ukuran batch, minibatch

  Sebagian kecil data latih yang dipakai untuk satu langkah pembaruan. Gradiennya rata-rata gradien contoh di batch itu: tidak bias, tetapi berderau, dan deraunya mengecil bila batch membesar.

  Contoh: 1.198 citra digit dibagi batch 64 memberi 19 langkah per epoch, batch terakhir berisi 46 citra.

  Dipelajari di Modul 05 · Optimisasi

• MLPjuga: multilayer perceptron, lapisan tersembunyi, jaringan saraf

  Jaringan saraf yang menumpuk beberapa lapisan neuron: setiap lapisan adalah perkalian matriks ditambah bias, lalu aktivasi. Lapisan di antara masukan dan keluaran disebut lapisan tersembunyi; di situlah jaringan membuat fiturnya sendiri.

  Contoh: MLP 64-32-10 untuk digit nota punya 64·32 + 32 + 32·10 + 10 = 2.410 parameter.

  Dipelajari di Modul 01 · Dari regresi logistik ke jaringan saraf

• momentum

  Tambahan untuk SGD yang membawa sebagian langkah sebelumnya, seperti bola yang menggelinding: v ← μ·v + g, lalu θ ← θ − η·v. Osilasi di lembah sempit saling meniadakan, sedangkan arah yang konsisten makin cepat.

  Contoh: pada kuadrat dengan κ = 100, momentum 0,9 memangkas 709 langkah menjadi 264.

  Dipelajari di Modul 05 · Optimisasi

• multi-head attentionjuga: multi-head

  Beberapa attention kecil yang berjalan berdampingan, masing-masing pada potongan fitur sendiri, lalu hasilnya digabung dan diproyeksikan lagi. Setiap kepala bisa memperhatikan hubungan yang berbeda.

  Dipelajari di Modul 12 · Attention

• n-gramjuga: bigram, trigram

  Model bahasa yang menebak token berikutnya dari n − 1 token sebelumnya hanya dengan menghitung kemunculan di data latih. Bigram melihat satu token sebelumnya, trigram dua. Pembanding wajib sebelum model saraf.

  Contoh: bigram nama warung memberi NLL validasi 1,7184, trigram 1,0320.

  Dipelajari di Modul 11 · Embedding dan model bahasa

• neuronjuga: neuron buatan

  Satuan hitung terkecil jaringan saraf: menjumlahkan masukan yang dikali bobot, menambah bias, lalu melewatkan hasilnya ke fungsi aktivasi. Satu neuron dengan aktivasi sigmoid sama persis dengan regresi logistik.

  Contoh: masukan [1, 0], bobot [2, 2], bias −1 memberi skor z = 1,0 dan peluang kupon σ(1,0) = 0,7311.

  Dipelajari di Modul 01 · Dari regresi logistik ke jaringan saraf

• Nilai

  Kelas autograd yang kamu tulis sendiri: menyimpan satu angka (data), gradiennya (grad), angka-angka asalnya (_anak), dan fungsi _mundur untuk operasinya. Dengan itu backward() bisa menghitung turunan setiap angka sebelumnya memakai aturan rantai.

  Contoh: Nilai(2.0) * Nilai(3.0) membuat Nilai(data=6, grad=0) yang ingat kedua angka asalnya.

  Dipelajari di Modul 03 · Autograd ditulis sendiri

• NLLjuga: negative log-likelihood

  Rata-rata −ln peluang yang diberikan model pada token yang benar, dalam satuan nat per token. Makin kecil makin baik; untuk klasifikasi sama dengan entropi silang.

  Contoh: tebakan seragam atas 42 karakter memberi NLL ln 42 = 3,7377.

  Dipelajari di Modul 11 · Embedding dan model bahasa

• nn.Linear

  Lapisan linear PyTorch, y = x·Wᵀ + b. Bobotnya disimpan berbentuk (d_keluar, d_masuk), kebalikan konvensi nalar (d_masuk, d_keluar), jadi perlu transpos saat menyalin bobot.

  Dipelajari di Modul 04 · Backpropagation dengan matriks

• no_grad

  Blok PyTorch with torch.no_grad(): yang mematikan pencatatan graf. Dipakai saat evaluasi dan saat memperbarui bobot, agar pembaruan itu sendiri tidak ikut diturunkan dan memori tidak terbuang.

  Dipelajari di Modul 03 · Autograd ditulis sendiri

• normalisasi batchjuga: BatchNorm, batch norm

  Lapisan yang menormalkan setiap fitur agar berrata-rata 0 dan beragam 1 di dalam satu batch, lalu menskala dan menggeser lagi dengan γ dan β yang dipelajari. Saat evaluasi, ia memakai statistik berjalan dari pelatihan.

  Contoh: nota yang sama memberi keluaran berbeda bila teman satu batch-nya berbeda.

  Dipelajari di Modul 06 · Inisialisasi, normalisasi, residual

• normalisasi lapisanjuga: LayerNorm, layer norm

  Seperti normalisasi batch, tetapi statistiknya dihitung per contoh atas fitur-fiturnya (sumbu terakhir). Tidak bergantung pada contoh lain di batch, jadi perilaku latih dan evaluasi sama; normalisasi baku di transformer.

  Dipelajari di Modul 06 · Inisialisasi, normalisasi, residual

• np.add.at

  Fungsi NumPy yang menambahkan nilai ke posisi berindeks dan benar-benar menjumlahkan indeks yang muncul berkali-kali. Penulisan dC[X] += G hanya menyimpan satu penulisan untuk indeks berulang.

  Contoh: gradien embedding, np.add.at(dC, X, G).

  Dipelajari di Modul 11 · Embedding dan model bahasa

• np.allclose

  Fungsi NumPy yang memeriksa apakah dua array "hampir sama" elemen demi elemen, dengan toleransi bawaan. Mudah tertipu oleh angka yang sangat kecil, jadi pemeriksaan gradien di course ini memakai galat relatif.

  Dipelajari di Modul 02 · Graf komputasi dan aturan rantai

• np.einsum

  Fungsi NumPy yang menulis perkalian dan penjumlahan atas banyak sumbu dengan huruf. Setiap huruf menamai satu sumbu; huruf yang ada di masukan tetapi tidak muncul sesudah -> dijumlahkan.

  Contoh: np.einsum("ntv,ntd->vd", O, G) menjumlahkan atas contoh n dan posisi t, sama dengan Oᵀ·G untuk gradien embedding.

• np.linalg.norm

  Fungsi NumPy yang menghitung norma (panjang) array: akar jumlah kuadrat semua elemennya. Dipakai untuk galat relatif dan pemotongan norma gradien.

  Contoh: np.linalg.norm([3.0, 4.0]) bernilai 5,0.

  Dipelajari di Modul 02 · Graf komputasi dan aturan rantai

• np.maximum

  Fungsi NumPy yang mengambil nilai terbesar dari dua array atau angka, elemen demi elemen. np.maximum(Z, 0) adalah ReLU. Jangan tertukar dengan np.max, yang mencari satu nilai terbesar di dalam array.

  Dipelajari di Modul 01 · Dari regresi logistik ke jaringan saraf

• np.random.default_rngjuga: default_rng

  Fungsi NumPy yang membuat generator bilangan acak dari sebuah benih. Generator itu (biasanya bernama rng) dipakai untuk semua keacakan: bobot awal, pengacakan batch, dropout.

  Contoh: rng = np.random.default_rng(0) lalu rng.normal(size=(64, 32)).

  Dipelajari di C1 · Modul 01 · Peran data scientist dan siklus analisis

• np.where

  Fungsi NumPy yang memilih elemen dari dua sumber menurut syarat: np.where(syarat, a, b) mengambil a di posisi True dan b di posisi False.

  Contoh: np.where(mask, S, -np.inf) mengganti skor posisi terlarang dengan −∞.

  Dipelajari di Modul 12 · Attention

• parameter

  Metode parameter() model nalar yang mengembalikan list array bobot dan bias milik model itu sendiri, bukan salinan. Pengoptimal mengubah array ini di tempat, sehingga model ikut berubah.

  Contoh: MLP 64-32-10 memberi empat array berbentuk (64, 32), (32,), (32, 10), (10,).

  Dipelajari di Modul 04 · Backpropagation dengan matriks

• peluruhan bobotjuga: weight decay, AdamW

  Regularisasi yang mengecilkan setiap bobot sedikit di setiap langkah, (1 − ηλ)·θ, lalu melangkah biasa. Di SGD sama dengan penalti L2; di Adam berbeda, sehingga AdamW memisahkan peluruhan dari pembagian per koordinat.

  Contoh: θ = 2, g = 0,5, η = 0,1, λ = 0,01 memberi 1,948 baik lewat L2 maupun peluruhan.

  Dipelajari di Modul 05 · Optimisasi

• pemotongan norma gradienjuga: pemotongan norma global, gradient clipping, clipping

  Bila panjang (norma) seluruh gradien melewati batas, semua gradien dikecilkan dengan faktor yang sama. Arah langkah tetap, hanya panjangnya dibatasi; penangkal gradien meledak.

  Contoh: gradien bernorma 13 dengan batas 5 dikali 5/13.

  Dipelajari di Modul 10 · Barisan dan RNN

• perplexity

  e pangkat NLL: banyaknya pilihan "setara" yang seolah tersisa bagi model di setiap langkah. Model seragam atas 42 karakter punya perplexity 42.

  Contoh: NLL bigram 1,7184 memberi perplexity 5,58.

  Dipelajari di Modul 11 · Embedding dan model bahasa

• poolingjuga: max pooling

  Lapisan tanpa parameter yang mengecilkan peta fitur dengan meringkas setiap jendela kecil, misalnya mengambil nilai terbesar (max pooling). Saat mundur, gradien hanya diteruskan ke posisi pemenang.

  Contoh: jendela [[1, 3], [4, 2]] menjadi 4.

  Dipelajari di Modul 08 · Konvolusi

• posisi sinusoidaljuga: encoding posisi

  Cara memberi tahu transformer urutan token: setiap posisi p mendapat vektor berisi sin(p·ω) dan cos(p·ω) untuk beberapa frekuensi ω. Hasil kali dua vektor posisi hanya bergantung pada jarak keduanya.

  Dipelajari di Modul 13 · Transformer

• pre-LNjuga: post-LN

  Letak normalisasi lapisan di blok transformer. Pre-LN menormalkan masukan cabang, x + F(LN(x)), sehingga jalur identitas dari rugi ke embedding tetap utuh. Post-LN menormalkan sesudah penjumlahan, LN(x + F(x)), dan lebih sulit dilatih tanpa pemanasan.

  Dipelajari di Modul 13 · Transformer

• presisi campuranjuga: mixed precision, loss scaling

  Melatih dengan hitungan float16 atau bfloat16 yang cepat, sambil menyimpan salinan induk bobot dalam float32. Untuk float16, rugi dikali skala besar sebelum mundur (loss scaling) agar gradien kecil tidak menjadi nol, lalu dibagi kembali sebelum pembaruan.

  Dipelajari di Modul 09 · Melatih di GPU dengan PyTorch

• requires_grad

  Tanda pada tensor PyTorch bahwa gradiennya perlu dihitung. Semua operasi yang memakai tensor bertanda ini dicatat di graf, sehingga backward() bisa mengisi .grad-nya.

  Dipelajari di Modul 03 · Autograd ditulis sendiri

• reshape

  Metode NumPy yang mengubah bentuk array tanpa mengubah urutan isinya. Satu ukuran boleh ditulis -1 agar dihitung otomatis.

  Contoh: satu baris 64 piksel menjadi citra 8 × 8 dengan x.reshape(8, 8).

• rng.normal

  Metode generator NumPy yang mengambil angka acak dari distribusi normal. rng.normal(0.0, s, (m, n)) memberi matriks m × n berrata-rata 0 dan bersimpangan baku s; tanpa argumen pertama, rata-rata 0 dan simpangan baku 1.

• rng.permutationjuga: permutation

  Metode generator NumPy yang mengembalikan bilangan 0..n−1 dalam urutan acak. Dipakai sekali per epoch untuk mengacak urutan data sebelum dipotong menjadi batch.

  Contoh: rng.permutation(10) bisa memberi [8, 0, 7, 1, 3, 6, 2, 4, 5, 9].

  Dipelajari di Modul 09 · Melatih di GPU dengan PyTorch

• RNNjuga: jaringan saraf berulang, recurrent neural network

  Jaringan yang membaca barisan langkah demi langkah sambil membawa keadaan tersembunyi h: h_t = tanh(x_t·W_x + h_{t−1}·W_h + b). Bobot yang sama dipakai di setiap langkah, jadi banyaknya parameter tidak bergantung pada panjang barisan.

  Contoh: membaca "Warung Ma" huruf demi huruf untuk menebak huruf berikutnya.

  Dipelajari di Modul 10 · Barisan dan RNN

• rugijuga: loss, fungsi rugi

  Satu angka yang mengukur seberapa salah tebakan model pada data; pelatihan berusaha membuatnya sekecil mungkin. Untuk klasifikasi, rugi yang dipakai di course ini hampir selalu entropi silang.

  Contoh: tebakan seragam atas 10 kelas digit memberi rugi ln 10 ≈ 2,30; MLP terlatih turun ke sekitar 0,07.

  Dipelajari di C2 · Modul 03 · Regresi linear dan gradient descent

• selisih hinggajuga: selisih hingga terpusat, pemeriksaan gradien, cek gradien, finite difference

  Cara menaksir turunan tanpa rumus: geser masukan sedikit ke atas dan ke bawah, lalu bagi selisih hasilnya, (f(x + ε) − f(x − ε)) / 2ε. Dipakai untuk memeriksa gradien hasil rumus tangan atau kode buatanmu.

  Contoh: untuk softplus di z = 2 dengan ε = 10⁻⁵, hasilnya 0,880797, sama dengan sigmoid(2).

  Dipelajari di Modul 02 · Graf komputasi dan aturan rantai

• SGDjuga: stochastic gradient descent

  Penurunan gradien stokastik: setiap langkah memakai gradien dari satu mini-batch acak, θ ← θ − η·g. Murah per langkah dan menjadi dasar semua pengoptimal lain di course ini.

  Dipelajari di Modul 05 · Optimisasi

• softmax

  Fungsi yang mengubah deretan logit menjadi peluang yang semuanya positif dan berjumlah 1: setiap logit dipangkatkan ke e, lalu dibagi jumlahnya. Supaya tidak meluap, logit terbesar dikurangkan lebih dulu; hasilnya tidak berubah.

  Contoh: logit [4,0; 2,5; 2,0; 0,5; −1,0] menjadi peluang [0,717; 0,16; 0,097; 0,022; 0,005].

  Dipelajari di Modul 01 · Dari regresi logistik ke jaringan saraf

• step

  Metode pengoptimal PyTorch yang memperbarui semua parameter memakai .grad yang sudah diisi backward(). Padanan opt.langkah(...) di nalar.

  Dipelajari di Modul 09 · Melatih di GPU dengan PyTorch

• suhujuga: temperature

  Angka T yang membagi logit sebelum softmax saat mengambil sampel. T < 1 mempertajam distribusi (pilihan lebih aman), T > 1 meratakannya (lebih beragam), T mendekati 0 sama dengan selalu memilih logit terbesar.

  Contoh: peluang "Warung" 0,795 pada suhu 0,5, tetapi 0,369 pada suhu 2.

  Dipelajari di Modul 11 · Embedding dan model bahasa

• token

  Satuan terkecil yang dibaca model bahasa: di course ini satu karakter, ditambah token batas . di awal dan akhir nama. Model besar memakai potongan kata hasil BPE.

  Contoh: ".Kios Rukun." terdiri atas 12 token.

  Dipelajari di Modul 11 · Embedding dan model bahasa

• top-kjuga: nukleus, top-p, sampling nukleus

  Dua cara membuang token berpeluang kecil sebelum mengambil sampel. Top-k menyisakan k token teratas; nukleus (top-p) menyisakan himpunan terkecil yang jumlah peluangnya mencapai p. Sisanya dinormalkan ulang agar berjumlah 1.

  Dipelajari di Modul 11 · Embedding dan model bahasa

• torch.optim

  Modul PyTorch berisi pengoptimal siap pakai seperti torch.optim.SGD, Adam, dan AdamW. Pengoptimal dibuat dengan daftar parameter model dan laju belajar.

  Contoh: opt = torch.optim.AdamW(model.parameters(), lr=1e-3).

  Dipelajari di Modul 05 · Optimisasi

• torch.tensor

  Fungsi PyTorch yang membuat tensor, yaitu array seperti array NumPy yang bisa berada di GPU dan bisa melacak gradien. dtype=torch.float64 menyamakan presisinya dengan NumPy.

  Contoh: torch.tensor(2.0, requires_grad=True).

  Dipelajari di Modul 02 · Graf komputasi dan aturan rantai

• transfer learning

  Memakai ulang model yang sudah dilatih pada data besar (model pralatih) untuk tugas baru: lapisan akhir diganti, lalu dilatih sedikit dengan data tugasmu. Jauh lebih hemat daripada melatih dari nol.

  Dipelajari di Modul 08 · Konvolusi

• transformer

  Arsitektur yang menumpuk blok berisi attention dan MLP per posisi, masing-masing dengan koneksi residual dan normalisasi lapisan. Dasar hampir semua model bahasa modern.

  Dipelajari di Modul 13 · Transformer

• urutan topologis

  Urutan simpul graf yang menaruh setiap simpul sesudah semua simpul yang menjadi masukannya. Langkah mundur autograd berjalan di urutan kebalikannya, agar gradien sebuah simpul sudah lengkap sebelum diteruskan.

  Dipelajari di Modul 03 · Autograd ditulis sendiri

• zero_grad

  Metode pengoptimal PyTorch yang mengosongkan .grad semua parameter sebelum backward() berikutnya. Lupa memanggilnya membuat gradien langkah lama menumpuk dan langkah makin besar.

  Contoh: urutan per batch opt.zero_grad(), maju, rugi.backward(), opt.step().

  Dipelajari di Modul 03 · Autograd ditulis sendiri