Istilah C12 · NLP Terapan

89 dari 89 istilah

• akurasi token

  Bagian token yang labelnya benar. Angkanya selalu tampak tinggi karena kebanyakan token berlabel O, sehingga tidak cukup untuk menilai ekstraksi entitas.

  Contoh: model per token berfitur jendela mencapai akurasi token 0,9968, tetapi F1 entitas 0,9773.

  Dipelajari di Modul 05 · Pelabelan urutan dan NER dengan BIO

• argmaxjuga: np.argmax

  Fungsi atau metode NumPy yang mengembalikan indeks nilai terbesar, bukan nilainya. Bila ada seri, indeks pertama yang dipilih. Dengan axis=1, indeks dicari per baris.

  Contoh: np.array([-4.0, -2.5, -2.5, -7.0]).argmax() memberi 1.

  Dipelajari di Modul 06 · Dekode terstruktur: HMM, Viterbi, perceptron terstruktur

• baseline

  Cara paling sederhana untuk menjawab soal yang sama, dipakai sebagai pembanding. Angka model baru baru berarti bila dibaca di samping baseline pada data dan pemisahan yang sama.

  Contoh: kelas mayoritas (macro-F1 0,1015) dan TF-IDF dengan regresi logistik (0,9124) adalah pembanding untuk encoder yang di-fine-tune.

  Dipelajari di Modul 04 · Baseline yang sulit dikalahkan: TF-IDF + regresi logistik

• BBSEjuga: label shift, pergeseran label

  Black Box Shift Estimation: memperkirakan proporsi label bulan ini dari sebaran prediksi dan matriks konfusi validasi, dengan anggapan hanya proporsi label yang berubah, bukan cara pelanggan menulis setiap niat.

  Contoh: perkiraan proporsi keluhan Oktober dari BBSE 0,332; label yang datang belakangan memberi 0,330.

  Dipelajari di Modul 13 · Pemantauan drift teks

• bentuk baku

  Tulisan rapi sebuah pesan pelanggan: huruf kecil, slang diganti kata baku, salah ketik dibetulkan, dan harga ditulis Rp15.000. Setiap pesan di data course punya kolom baku sebagai kunci untuk menilai normalisasi.

  Contoh: kak tlg kirim 4saset kopi sachet punya bentuk baku kak tolong kirim 4 sachet kopi sachet.

  Dipelajari di Modul 01 · Teks Indonesia apa adanya

• BIOjuga: skema BIO, IOB2

  Cara menulis entitas sebagai satu label per token: B-X untuk token pertama entitas jenis X, I-X untuk token lanjutannya, dan O untuk token di luar entitas. Varian BIOES menambah label untuk token terakhir dan entitas satu token.

  Contoh: kopi sachet berlabel B-PRODUK I-PRODUK.

  Dipelajari di Modul 05 · Pelabelan urutan dan NER dengan BIO

• BLEUjuga: BLEU-4

  Metrik generasi teks: rata-rata geometris presisi n-gram terpotong (n = 1 sampai 4) terhadap rujukan, dikali penalti kependekan. Tanpa pemulusan, satu n tanpa kecocokan membuat skornya 0.

  Contoh: di satu keluhan, ringkasan B mendapat BLEU 73,62, sedangkan ringkasan A 0 karena tidak punya trigram yang cocok.

  Dipelajari di Modul 11 · Metrik generasi: BLEU, chrF, ROUGE

• bootstrapjuga: bootstrap berpasangan, interval bootstrap

  Mengambil ulang data dengan pengembalian berkali-kali untuk melihat seberapa jauh sebuah angka bisa bergeser karena kebetulan. Bootstrap berpasangan memakai satu set indeks yang sama untuk dua model yang dibandingkan.

  Contoh: selisih akurasi dua baseline +0,010 punya interval bootstrap 95% dari −0,010 sampai +0,030, yang memuat 0.

  Dipelajari di C1 · Modul 07 · Sampling dan estimasi

• BPEjuga: byte pair encoding, BPE tingkat byte

  Cara membangun subkata: mulai dari byte atau huruf, lalu berulang kali menggabungkan pasangan bersebelahan yang paling sering di data latih. Versi tingkat byte mulai dari 256 byte UTF-8, jadi tidak ada token yang tak dikenal.

  Contoh: gabungan pertama dari pesan latih adalah a + n → an, yang muncul 1.303 kali.

  Dipelajari di Modul 03 · Tokenisasi, morfologi, dan subkata

• chrF

  Metrik generasi yang membandingkan n-gram karakter (n = 1 sampai 6, spasi dibuang), lalu menggabungkan presisi dan recall dengan β = 2 sehingga recall dua kali lebih penting. Lebih tahan imbuhan daripada BLEU kata.

  Contoh: mengganti terlambat dengan keterlambatan menurunkan BLEU 56,3 → 29,7, tetapi chrF hanya 72,0 → 61,8.

  Dipelajari di Modul 11 · Metrik generasi: BLEU, chrF, ROUGE

• code point

  Nomor Unicode untuk satu karakter, ditulis seperti U+00A0. String Python adalah deret code point, jadi karakter yang tidak terlihat tetap dihitung panjangnya dan membuat == gagal.

  Contoh: "Rp 15.000" dan "Rp 15.000" tampak sama, tetapi karakter ketiganya berbeda: spasi biasa lawan spasi tak-putus U+00A0.

  Dipelajari di Modul 01 · Teks Indonesia apa adanya

• Counter

  Dict khusus dari collections untuk menghitung kemunculan. Kunci yang belum ada bernilai 0, jadi hitung[k] += 1 tidak pernah galat.

  Contoh: Counter(p["kanal"] for p in pesan) menghitung banyak pesan per kanal.

  Dipelajari di F1 · Modul 11 · Modul dan pustaka standar

• Dawid–Skenejuga: Dawid-Skene

  Cara menggabungkan label banyak anotator yang menganggap kelas benar tersembunyi dan setiap anotator punya matriks kebingungan sendiri. Algoritma EM bergantian memperkirakan kelas benar (langkah E) dan mutu setiap anotator (langkah M) sampai stabil.

  Dipelajari di Modul 12 · Anotasi dan kesepakatan

• default_rngjuga: np.random.default_rng

  Fungsi NumPy yang membuat pembangkit bilangan acak berbenih. Benih yang sama, misalnya default_rng(0), selalu memberi deret acak yang sama, sehingga hasil bootstrap, Gibbs sampling, dan MinHash bisa diulang.

  Dipelajari di C1 · Modul 01 · Peran data scientist dan siklus analisis

• DictVectorizer

  Pengubah scikit-learn yang mengubah daftar dict fitur, misalnya {"w=kopi": 1, "suf3=opi": 1}, menjadi matriks jarang: satu kolom untuk setiap nama fitur yang terlihat saat fit.

  Dipelajari di Modul 05 · Pelabelan urutan dan NER dengan BIO

• divergensi Jensen–Shannonjuga: Jensen–Shannon, Jensen-Shannon, divergensi JS, JS

  Jarak antara dua sebaran peluang, misalnya sebaran token bulan validasi dan bulan ini. Dihitung lewat rata-rata kedua sebaran, jadi selalu terdefinisi; dengan log basis 2 nilainya antara 0 (sama) dan 1 (tanpa irisan).

  Contoh: JS sebaran [0.5, 0.5, 0.0] dan [0.4, 0.3, 0.3] adalah 0,1722.

  Dipelajari di Modul 13 · Pemantauan drift teks

• driftjuga: drift teks, drift prediksi

  Perubahan data, atau hubungannya dengan label, sesudah model dilatih, sehingga mutu model bisa turun diam-diam. Pada teks, tandanya antara lain kata baru, sebaran token yang bergeser, dan sebaran prediksi yang berubah.

  Contoh: di bulan Oktober laju OOV naik ke 0,1075 dan bagian pesan yang diprediksi keluhan naik ke 0,335.

  Dipelajari di Modul 13 · Pemantauan drift teks

• embeddingjuga: vektor kata, vektor kalimat, embedding kalimat

  Deret angka (vektor) yang mewakili sebuah kata atau kalimat, sehingga yang maknanya mirip mendapat vektor yang searah. Bisa dihitung sendiri dari hitungan kata atau diambil dari model pralatih.

  Contoh: vektor kata 30 dimensi dari PPMI dan SVD menempatkan tlg paling dekat dengan tolong (kosinus 0,81).

  Dipelajari di C9 · Modul 11 · Embedding dan model bahasa

• emisijuga: skor emisi, peluang emisi

  Skor seberapa cocok satu token dengan satu label, tanpa melihat label tetangganya. Di HMM skornya log P(kata | label); di model lain bisa berupa log-peluang dari regresi logistik.

  Dipelajari di Modul 06 · Dekode terstruktur: HMM, Viterbi, perceptron terstruktur

• encoderjuga: encoder dua arah, MLM, masked language modeling

  Blok transformer tanpa mask kausal, sehingga setiap token melihat seluruh kalimat, kiri dan kanan. Dilatih dengan masked language modeling (MLM): menebak token yang ditutup [MASK]. Keluarga BERT dan IndoBERT adalah encoder.

  Dipelajari di Modul 10 · Encoder bahasa Indonesia dan fine-tuning

• entitasjuga: rentang entitas

  Potongan teks yang punya arti khusus, ditulis sebagai [mulai, akhir, jenis] pada teks mentah. Akhirnya tidak ikut, jadi teks[mulai:akhir] adalah isinya.

  Contoh: [21, 32, "PRODUK"] pada kak tlg kirim 4saset kopi sachet ke blok d2 sekarang adalah kopi sachet.

  Dipelajari di Modul 05 · Pelabelan urutan dan NER dengan BIO

• F1 entitasjuga: F1 tingkat rentang, F1 per entitas

  F1 yang menghitung entitas utuh: tebakan benar hanya bila mulai, akhir, dan jenisnya sama persis dengan kunci. Entitas yang terpotong satu kata sama salahnya dengan entitas yang tidak ada.

  Contoh: dari empat entitas, hanya 4saset yang tepat batas dan jenisnya, jadi F1 entitas 0,25.

  Dipelajari di Modul 05 · Pelabelan urutan dan NER dengan BIO

• F1 mikrojuga: micro-F1, F1 micro

  F1 yang menjumlahkan tebakan benar dan salah semua kelas lebih dulu, baru dihitung sekali. Setiap butir berbobot sama, jadi kelas besar paling berpengaruh; bila setiap pesan punya tepat satu label, nilainya sama dengan akurasi.

  Contoh: niat di uji: F1 mikro 0,935 (sama dengan akurasi), macro-F1 0,9124.

  Dipelajari di Modul 04 · Baseline yang sulit dikalahkan: TF-IDF + regresi logistik

• F1 pasangan

  F1 yang menilai pasangan (aspek, sentimen) setiap pesan sekaligus: tebakan benar hanya bila aspeknya memang dibicarakan dan sentimennya tepat.

  Contoh: harga yang positif tetapi ditebak negatif dihitung sebagai satu tebakan salah sekaligus satu pasangan terlewat.

  Dipelajari di Modul 07 · Sentimen per aspek

• fertilitas

  Rata-rata banyak token per kata yang dihasilkan sebuah tokenizer. Fertilitas tinggi berarti teks dipecah lebih halus, sehingga biaya API, latensi, dan ruang konteks per pesan ikut naik.

  Contoh: BPE yang dilatih teks Inggris memakai 4,099 token per kata pesan Indonesia; BPE yang dilatih teks Indonesia 2,184.

  Dipelajari di Modul 03 · Tokenisasi, morfologi, dan subkata

• fine-tuningjuga: fine-tune, di-fine-tune

  Melatih lanjut model pralatih dengan data tugasmu sendiri, biasanya dengan kepala klasifikasi baru. Di course ini encoder IndoBERT di-fine-tune di Colab untuk niat dan NER, lalu dibandingkan dengan baseline di pemisahan yang sama.

  Dipelajari di C9 · Modul 14 · Model terbuka, fine-tuning, LoRA

• Fleiss' kappajuga: Fleiss kappa, kappa Fleiss

  Ukuran kesepakatan banyak anotator yang mengurangi bagian kesepakatan karena kebetulan. Nilai 1 berarti sepakat sempurna, 0 berarti tidak lebih baik dari kebetulan. Alpha Krippendorff adalah ukuran serupa yang tetap bisa dihitung bila ada label hilang.

  Contoh: label niat dari empat anotator punya κ = 0,561, "sedang".

  Dipelajari di Modul 12 · Anotasi dan kesepakatan

• HMMjuga: hidden Markov model

  Model urutan yang menganggap label tersembunyi berpindah dari satu ke berikutnya (transisi), dan setiap kata "dipancarkan" oleh labelnya (emisi). Peluangnya cukup dihitung dari data latih, lalu Viterbi mencari urutan label terbaik.

  Contoh: di data latih, P(B-JUMLAH | O) = 396/6629 = 0,0597.

  Dipelajari di Modul 06 · Dekode terstruktur: HMM, Viterbi, perceptron terstruktur

• interval kepercayaanjuga: interval 95%

  Rentang angka yang kemungkinan besar memuat nilai sebenarnya, bukan hanya angka dari sampel ini. Makin kecil kelompoknya, makin lebar intervalnya.

  Contoh: akurasi dialek Sunda 0,906 dari 32 pesan punya setengah lebar interval sekitar 0,101.

  Dipelajari di C1 · Modul 07 · Sampling dan estimasi

• Jaccardjuga: kemiripan Jaccard

  Kemiripan dua himpunan: banyak anggota bersama dibagi banyak anggota gabungan. Untuk pesan, himpunannya biasanya shingle: potongan lima huruf yang tumpang tindih.

  Contoh: maaf salah krm! dan Maaf salah krm berkemiripan Jaccard 0,91.

  Dipelajari di Modul 09 · Vektor kata, vektor kalimat, dan deduplikasi

• jarak editjuga: Levenshtein, jarak Levenshtein, OSA, Damerau

  Banyak operasi satu huruf paling sedikit (hapus, sisip, atau ganti) untuk mengubah satu kata menjadi kata lain, dihitung dengan tabel pemrograman dinamis. Versi OSA menambah operasi tukar dua huruf bersebelahan.

  Contoh: tlur → telur berjarak 1; tidka → tidak berjarak 2 menurut Levenshtein, tetapi 1 menurut OSA.

  Dipelajari di Modul 02 · Ejaan dan campur kode

• jendela geserjuga: stride

  Cara memproses teks yang lebih panjang dari batas model: teks dipotong menjadi jendela yang tumpang tindih sebanyak stride token, jadi setiap jendela mulai panjang − stride token sesudah jendela sebelumnya.

  Contoh: 150 subkata dengan panjang 64 dan stride 16 menjadi jendela (0, 64), (48, 112), dan (96, 150).

  Dipelajari di Modul 10 · Encoder bahasa Indonesia dan fine-tuning

• json.loads

  Fungsi yang mengubah satu teks JSON menjadi objek Python, biasanya dict. Berkas pesan.jsonl berisi satu pesan JSON per baris, jadi dibaca dengan [json.loads(b) for b in f].

  Dipelajari di F1 · Modul 10 · Berkas: teks, CSV, dan JSON

• kartu modeljuga: model card

  Dokumen singkat yang menyertai model: tujuan, data latih, angka evaluasi per kelompok dengan interval, batasan, dan penggunaan yang tidak dianjurkan.

  Dipelajari di Modul 14 · Bias, privasi, dan bahasa daerah

• kemiripan kosinusjuga: kosinus, cosine similarity

  Ukuran searah atau tidaknya dua vektor: 1 bila searah, 0 bila tegak lurus. Panjang vektor tidak berpengaruh, jadi pesan pendek dan pesan panjang bisa dibandingkan.

  Contoh: dengan rata-rata vektor kata, dua pertanyaan berbeda maksud berkosinus 0,77 hanya karena sama-sama diakhiri terima kasih ya.

  Dipelajari di C3 · Modul 05 · Embedding dan pencarian semantik

• Kendall τjuga: Kendall tau, τ-b, Kendall

  Korelasi peringkat yang membandingkan setiap pasangan segmen: searah (metrik dan manusia mengurutkannya sama) atau berlawanan. Versi τ-b mengoreksi nilai yang seri, misalnya nilai manusia 1–5.

  Contoh: terhadap nilai manusia, chrF punya τ = 0,45, sedangkan BLEU kalimat dan ROUGE-L sekitar 0,26.

  Dipelajari di Modul 11 · Metrik generasi: BLEU, chrF, ROUGE

• klitik

  Potongan pendek yang menempel di akhir kata, seperti -nya, -ku, dan -mu. Klitik membuat batas entitas jatuh di tengah token, misalnya produk telur di dalam telurnya.

  Contoh: tokenizer yang memakai leksikon memecah telurnya menjadi telur dan nya.

  Dipelajari di Modul 03 · Tokenisasi, morfologi, dan subkata

• kosakatajuga: vocabulary

  Daftar semua token berbeda yang dikenal sebuah model, dibangun dari data latih saja. Token di luar kosakata tidak punya kolom fitur, jadi diabaikan model.

  Contoh: TF-IDF kata 1–2 dari pesan latih punya kosakata 3.178 entri; kata baru seperti paylater di bulan produksi tidak termasuk.

  Dipelajari di C2 · Modul 08 · k-NN dan Naive Bayes

• LDAjuga: Latent Dirichlet Allocation, Gibbs sampling

  Model topik yang menganggap setiap pesan campuran beberapa topik dan setiap topik sebaran kata. Di course ini topik setiap kata ditebak dengan Gibbs sampling: diambil sampel berulang kali berdasarkan hitungan semua kata lain.

  Dipelajari di Modul 08 · Topic modeling

• leksikon

  Daftar kata yang dianggap benar beserta frekuensinya, dibangun dari bentuk baku pesan latih. Korektor ejaan hanya mengusulkan kata dari leksikon, dan kata yang sudah ada di leksikon tidak diubah.

  Contoh: leksikon latih berisi 181 kata; yang paling sering ya (470 kali).

  Dipelajari di Modul 02 · Ejaan dan campur kode

• lingkup negasijuga: negasi

  Kata-kata sesudah kata negasi (tidak, kurang, bukan, ora, teu, …) yang maknanya dibalik, sampai tanda baca atau tetapi. Tanpa lingkup negasi, kurang ramah terbaca positif.

  Contoh: di harganya tidak terlalu mahal, kata terlalu dan mahal berada di lingkup negasi.

  Dipelajari di Modul 07 · Sentimen per aspek

• log-peluangjuga: log peluang, ruang log

  Logaritma sebuah peluang, selalu negatif untuk peluang di bawah 1. Hasil kali banyak peluang menjadi jumlah log-peluang, sehingga tidak tenggelam menjadi 0 di komputer, dan urutan "mana yang lebih mungkin" tetap sama.

  Contoh: 300 peluang 0,05 yang dikalikan menjadi 0.0 di float64, sedangkan jumlah log-nya −898,72.

  Dipelajari di Modul 03 · Tokenisasi, morfologi, dan subkata

• LogisticRegression

  Kelas scikit-learn untuk regresi logistik. C mengatur kekuatan regularisasi (makin besar makin lemah), max_iter membatasi putaran pelatihan, dan class_weight="balanced" menimbang ulang kelas kecil.

  Dipelajari di C2 · Modul 04 · Regresi logistik dan klasifikasi

• LSHjuga: locality-sensitive hashing, kurva-S

  Cara menemukan pesan hampir kembar tanpa membandingkan semua pasangan: tanda MinHash dipotong menjadi b pita berisi r angka, dan dua pesan menjadi kandidat bila satu pitanya sama persis. Peluang menjadi kandidat membentuk kurva-S.

  Contoh: b = 20, r = 5 menangkap 119 dari 119 pasangan hampir kembar dengan 390 kandidat, bukan 179.700 pasangan.

  Dipelajari di Modul 09 · Vektor kata, vektor kalimat, dan deduplikasi

• macro-F1juga: macro F1, F1 makro

  Rata-rata F1 (gabungan presisi dan recall) setiap kelas dengan bobot sama, tanpa melihat besar kelasnya. Kelas kecil yang diabaikan model langsung menurunkan macro-F1, walaupun akurasi hampir tidak berubah.

  Contoh: menebak pesan untuk semua pesan uji memberi akurasi 0,34, tetapi macro-F1 hanya 0,1015.

  Dipelajari di Modul 04 · Baseline yang sulit dikalahkan: TF-IDF + regresi logistik

• make_pipeline

  Fungsi scikit-learn yang merangkai beberapa langkah, misalnya TfidfVectorizer lalu LogisticRegression, menjadi satu model. fit dan predict menjalankan semua langkah berurutan; model[0] adalah langkah pertama.

  Dipelajari di C2 · Modul 02 · Data, fitur, dan pemisahan yang jujur

• make_union

  Fungsi scikit-learn yang menjalankan beberapa pengubah pada teks yang sama, lalu menyambung kolom hasilnya berdampingan.

  Contoh: TF-IDF kata (3.178 kolom) disambung dengan TF-IDF karakter (3.975 kolom) menjadi 7.153 kolom.

  Dipelajari di Modul 04 · Baseline yang sulit dikalahkan: TF-IDF + regresi logistik

• matriks konfusijuga: matriks kebingungan, confusion matrix

  Tabel yang menghitung setiap pasangan (kelas benar, kelas tebakan). Di scikit-learn baris adalah kelas benar dan kolom adalah tebakan; diagonal berisi tebakan yang benar, sel lain menunjukkan kelas mana yang tertukar.

  Contoh: di uji, 5 pesan tanya terbaca sebagai pesan.

  Dipelajari di Modul 04 · Baseline yang sulit dikalahkan: TF-IDF + regresi logistik

• MinHash

  Tanda pendek sebuah himpunan: untuk setiap fungsi hash, simpan nilai hash terkecil anggotanya. Bagian posisi tanda yang sama pada dua himpunan memperkirakan Jaccard-nya tanpa membandingkan isinya.

  Contoh: Jaccard sebenarnya 0,388; tanda 1.024 angka memperkirakannya 0,390.

  Dipelajari di Modul 09 · Vektor kata, vektor kalimat, dan deduplikasi

• most_common

  Metode Counter yang mengembalikan pasangan (anggota, hitungan) dari yang terbanyak. most_common(5) memberi lima teratas; tanpa angka, semuanya.

  Contoh: [('wa', 1155), ('marketplace', 687), ('medsos', 558)].

  Dipelajari di F1 · Modul 11 · Modul dan pustaka standar

• n-gramjuga: n-gram karakter, bigram, trigram

  Potongan n unsur berurutan. N-gram kata memotong per kata (tidak murah adalah bigram); n-gram karakter memotong per huruf, sehingga kata yang salah ketik masih berbagi potongan dengan kata benarnya.

  Contoh: hambar dan salah ketiknya hsmbar sama-sama memuat n-gram karakter mb, ba, dan bar.

  Dipelajari di Modul 02 · Ejaan dan campur kode

• Naive Bayes

  Pengklasifikasi yang menghitung peluang setiap kelas dari frekuensi fitur di data latih, dengan anggapan setiap fitur saling bebas bila kelasnya diketahui. Cepat dilatih dan menjadi pembanding yang baik.

  Contoh: Naive Bayes dengan n-gram karakter menebak bahasa setiap token (id, en, jv, su, lain) dengan akurasi 0,979.

  Dipelajari di C2 · Modul 08 · k-NN dan Naive Bayes

• NERjuga: named entity recognition, pengenalan entitas

  Tugas menemukan entitas di teks, lengkap dengan batas dan jenisnya. Di course ini NER mengekstrak pesanan dari pesan pelanggan: produk, jumlah, harga, waktu, lokasi, dan nomor telepon.

  Dipelajari di Modul 05 · Pelabelan urutan dan NER dengan BIO

• NMFjuga: faktorisasi matriks tak negatif

  Cara mencari topik dengan memecah matriks TF-IDF pesan × kata menjadi dua matriks yang semua isinya tak negatif: W (pesan × topik) dan H (topik × kata). Setiap baris H dibaca sebagai satu topik.

  Dipelajari di Modul 08 · Topic modeling

• normalisasijuga: normalisasi teks

  Rangkaian langkah yang menyeragamkan teks mentah: merapikan Unicode, mengecilkan huruf, merapikan huruf berulang dan harga, lalu mengganti slang dengan kamus. Fungsi yang sama persis harus dipakai saat melatih dan saat produksi.

  Contoh: enaaak bgt gk mahal menjadi enak sekali tidak mahal.

  Dipelajari di Modul 01 · Teks Indonesia apa adanya

• normalisasi Unicodejuga: NFKC, NFC

  Aturan baku untuk menyeragamkan karakter yang bisa ditulis dengan beberapa cara. NFC menyatukan huruf beraksen yang terurai; NFKC juga melebur bentuk "kompatibel", misalnya angka lebar ５０ menjadi 50 dan spasi tak-putus menjadi spasi biasa.

  Contoh: unicodedata.normalize("NFKC", "５０rb") menghasilkan "50rb".

  Dipelajari di Modul 01 · Teks Indonesia apa adanya

• NPMIjuga: koherensi, koherensi topik

  Ukuran seberapa sering dua kata muncul di pesan yang sama dibanding kebetulan, dari −1 (tidak pernah bersama) sampai 1 (selalu bersama). Koherensi topik adalah rata-rata NPMI pasangan kata teratasnya.

  Contoh: NPMI(harganya, mahal) = 0,2993; NPMI(hambar, mantap) = −1.

  Dipelajari di Modul 08 · Topic modeling

• offset

  Posisi awal dan akhir sebuah token di teks mentah, sebagai indeks karakter Python dengan akhir yang tidak ikut. Dengan offset, teks[mulai:akhir] selalu mengembalikan token itu persis.

  Contoh: di Pesan 2bks gula, token 2bks ber-offset (6, 10).

  Dipelajari di Modul 03 · Tokenisasi, morfologi, dan subkata

• OOVjuga: laju OOV, out-of-vocabulary

  Token yang tidak ada di kosakata latih (out-of-vocabulary). Laju OOV adalah banyak token OOV dibagi semua token sebuah bulan: sinyal drift yang murah karena tidak butuh label.

  Contoh: Juli 18 dari 1.460 token (0,0123); Oktober 149 dari 1.386 token (0,1075).

  Dipelajari di Modul 13 · Pemantauan drift teks

• paddingjuga: padding dinamis

  Isian token [PAD] agar semua barisan dalam satu batch sama panjang. Padding dinamis mengisi hanya sampai pesan terpanjang di batch itu, sehingga komputasi yang terbuang jauh lebih sedikit.

  Contoh: mengisi semua pesan latih sampai 64 token menambah 63.875 isian; batch 32 yang diurutkan menurut panjang hanya 275.

  Dipelajari di Modul 10 · Encoder bahasa Indonesia dan fine-tuning

• pemisahan bakujuga: data latih, data validasi, data uji

  Pembagian pesan menurut bulan: latih (Januari–Juni) untuk melatih, validasi (Juli) untuk memilih pengaturan, uji (Agustus) untuk penilaian akhir yang dibuka sekali, dan produksi (September–Desember) sebagai pesan "masa depan".

  Contoh: kamus, leksikon, dan kosakata hanya boleh dibangun dari pesan latih.

  Dipelajari di Modul 01 · Teks Indonesia apa adanya

• pemulusanjuga: smoothing

  Menambah hitungan kecil (misalnya +1) ke setiap kemungkinan sebelum menghitung peluang, supaya kejadian yang tidak pernah terlihat di data latih tidak bernilai nol.

  Contoh: O → I-PRODUK tidak pernah muncul di latih, tetapi dengan pemulusan +1 peluangnya 0,000151.

  Dipelajari di Modul 06 · Dekode terstruktur: HMM, Viterbi, perceptron terstruktur

• perceptron terstrukturjuga: perceptron

  Model yang memberi skor pada seluruh urutan label dengan bobot fitur dan memprediksi lewat Viterbi. Bila tebakannya salah, bobot fitur jalur benar dinaikkan dan bobot fitur jalur tebakan diturunkan (Collins 2002). Versi rata-rata memakai rata-rata bobot dari semua langkah.

  Dipelajari di Modul 06 · Dekode terstruktur: HMM, Viterbi, perceptron terstruktur

• perpleksitasjuga: perplexity

  Ukuran seberapa terkejut sebuah model melihat kata yang belum pernah dilihatnya: makin kecil makin baik. Perpleksitas 150 kira-kira berarti model ragu di antara 150 kata yang sama mungkin.

  Contoh: LDA dengan 2 topik mendapat perpleksitas validasi 151,1, lebih baik dari 6 topik, padahal 2 topik terlalu kasar.

  Dipelajari di C9 · Modul 11 · Embedding dan model bahasa

• PMIjuga: PPMI

  Pointwise mutual information: membandingkan seberapa sering dua kata muncul berdekatan dengan dugaan bila keduanya bebas, dalam log basis 2. Positif berarti lebih sering dari kebetulan. PPMI mengganti nilai negatif dengan 0.

  Contoh: PPMI(kirim, maaf) = 5,91; PMI(ya, pagi) = −0,92 sehingga PPMI-nya 0.

  Dipelajari di Modul 09 · Vektor kata, vektor kalimat, dan deduplikasi

• predict_proba

  Metode model scikit-learn yang mengembalikan peluang setiap kelas, satu baris per teks. Urutan kolomnya mengikuti model.classes_ (urut abjad untuk label teks), bukan urutan yang kamu tulis sendiri.

  Dipelajari di C2 · Modul 04 · Regresi logistik dan klasifikasi

• presisijuga: precision

  Dari semua yang ditebak positif, berapa bagian yang memang positif. Menjawab "seberapa sering tebakan model bisa dipercaya?"

  Contoh: triase dengan ambang 0,4 menandai 105 pesan validasi dengan presisi 0,971: hampir semua yang ditandai memang perlu dibalas segera.

  Dipelajari di C2 · Modul 05 · Evaluasi klasifikasi dan keputusan

• re.findall

  Fungsi modul re yang mengembalikan semua potongan teks yang cocok dengan sebuah pola, sebagai list string.

  Contoh: re.findall(r"\w+|[^\w\s]", "rp15.000?") memberi ['rp15', '.', '000', '?'].

• re.finditer

  Seperti re.findall, tetapi memberi objek kecocokan satu per satu. Setiap objek punya group() (teksnya), start(), dan end() (offset-nya), sehingga cocok untuk tokenisasi dengan offset.

  Dipelajari di Modul 03 · Tokenisasi, morfologi, dan subkata

• re.sub

  Fungsi yang mengganti setiap potongan teks yang cocok dengan pola. Penggantinya boleh string (\1 berarti isi kelompok pertama) atau fungsi yang menerima objek kecocokan.

  Contoh: re.sub(r"([a-z])\1{2,}", r"\1", "enaaak") menghasilkan "enak".

  Dipelajari di Modul 01 · Teks Indonesia apa adanya

• recall

  Dari semua yang benar positif, berapa bagian yang tertangkap. Menjawab "berapa yang terlewat?" Untuk triase dan redaksi data pribadi, recall biasanya lebih penting daripada presisi.

  Contoh: aturan kata kunci hanya menangkap 0,76 pesan uji yang perlu dibalas segera; model niat menangkap 0,99.

  Dipelajari di C2 · Modul 05 · Evaluasi klasifikasi dan keputusan

• redaksijuga: redaksi data pribadi

  Mengganti data pribadi di teks dengan penanda, misalnya nomor telepon menjadi [TELEPON] dan alamat menjadi [LOKASI], sebelum teks disimpan ke log, dikirim ke anotator, atau diteruskan ke layanan lain. Mutunya diukur dengan recall.

  Dipelajari di Modul 14 · Bias, privasi, dan bahasa daerah

• regresi logistik

  Model klasifikasi yang menjumlahkan fitur dengan bobot, lalu mengubah hasilnya menjadi peluang. Untuk lebih dari dua kelas, scikit-learn memakai softmax. Di course ini ia menjadi baseline di atas fitur TF-IDF.

  Contoh: TF-IDF kata dan karakter dengan regresi logistik menebak niat pesan uji dengan akurasi 0,935.

  Dipelajari di C2 · Modul 04 · Regresi logistik dan klasifikasi

• ROUGEjuga: ROUGE-1, ROUGE-2, ROUGE-L, ROUGE-N

  Keluarga metrik ringkasan yang berorientasi recall. ROUGE-N menghitung bagian n-gram rujukan yang muncul di hipotesis; ROUGE-L memakai subbarisan bersama terpanjang (LCS): kata sama dengan urutan sama, tidak harus berdampingan.

  Contoh: kata rujukan yang diacak urutannya masih mendapat ROUGE-1 0,75, tetapi ROUGE-2 0.

  Dipelajari di Modul 11 · Metrik generasi: BLEU, chrF, ROUGE

• sentimen per aspekjuga: ABSA

  Penilaian sentimen terpisah untuk setiap hal yang dibicarakan pesan (rasa, harga, layanan, pengiriman, kemasan, stok), bukan satu angka untuk seluruh pesan.

  Contoh: harganya bersahabat tetapi bungkusnya bocor berarti harga positif dan kemasan negatif.

  Dipelajari di Modul 07 · Sentimen per aspek

• SIF

  Smooth inverse frequency: vektor kalimat dari rata-rata vektor kata yang ditimbang a / (a + p(w)), sehingga kata yang sangat sering hampir tidak berpengaruh, lalu arah yang dimiliki semua kalimat dibuang.

  Contoh: bobot ya hanya 0,020, sedangkan bobot qris 0,202.

  Dipelajari di Modul 09 · Vektor kata, vektor kalimat, dan deduplikasi

• softmaxjuga: regresi logistik multinomial

  Fungsi yang mengubah skor beberapa kelas menjadi peluang yang semuanya positif dan berjumlah 1. Regresi logistik multinomial memakai softmax untuk memilih satu dari lima niat sekaligus.

  Contoh: untuk Rasanya hsmbar. model memberi keluhan 0,56 dan pujian 0,40; kelima peluangnya berjumlah 1.

  Dipelajari di Modul 04 · Baseline yang sulit dikalahkan: TF-IDF + regresi logistik

• subkatajuga: subword

  Potongan kata yang lebih kecil dari satu kata tetapi bisa lebih panjang dari satu huruf. Tokenizer modern memotong kata langka menjadi beberapa subkata, sehingga tidak ada kata yang benar-benar asing.

  Contoh: WordPiece memotong telurnya menjadi telur dan ##nya.

  Dipelajari di Modul 03 · Tokenisasi, morfologi, dan subkata

• TF-IDFjuga: IDF

  Cara mengubah teks menjadi angka: setiap kata diberi bobot frekuensinya di pesan itu (TF) dikali kelangkaannya di seluruh pesan latih (IDF). Kata yang muncul di hampir semua pesan, seperti ya, mendapat bobot kecil.

  Contoh: di pesan latih, IDF ya 2,08, sedangkan IDF hambar 5,095.

  Dipelajari di C2 · Modul 08 · k-NN dan Naive Bayes

• TfidfVectorizer

  Pengubah scikit-learn yang membangun kosakata dari teks latih dan mengubah setiap teks menjadi vektor TF-IDF. Pengaturan yang sering dipakai di course ini: ngram_range, analyzer="char_wb" untuk n-gram karakter, min_df, dan sublinear_tf.

  Dipelajari di C2 · Modul 08 · k-NN dan Naive Bayes

• token

  Satuan terkecil yang diolah program teks, biasanya kata, angka, tanda baca, atau emoji. Cara memotong teks menjadi token menentukan hasil semua langkah sesudahnya, termasuk angka metrik.

  Contoh: pola \w+|[^\w\s] memecah rp15.000? menjadi empat token: rp15, ., 000, dan ?.

  Dipelajari di C2 · Modul 08 · k-NN dan Naive Bayes

• tokenisasijuga: tokenizer, pre-tokenizer

  Memotong teks menjadi token; alat yang melakukannya disebut tokenizer. Di course ini setiap token juga menyimpan offset-nya, supaya rentang entitas di teks mentah tetap bisa ditemukan.

  Contoh: Rp15.000 ya?? menjadi ('Rp15.000', 0, 8), ('ya', 9, 11), ('?', 11, 12), dan ('?', 12, 13).

  Dipelajari di Modul 03 · Tokenisasi, morfologi, dan subkata

• transisijuga: skor transisi, peluang transisi, transisi terlarang

  Skor untuk pasangan label berurutan, misalnya dari B-PRODUK ke I-PRODUK. Transisi terlarang, seperti O langsung ke I-PRODUK, diberi skor −∞ sehingga jalur yang memuatnya tidak pernah dipilih.

  Dipelajari di Modul 06 · Dekode terstruktur: HMM, Viterbi, perceptron terstruktur

• uji kontrafaktualjuga: kontrafaktual, augmentasi kontrafaktual

  Uji keadilan yang mengubah satu ciri pesan tanpa mengubah maknanya, misalnya terima kasih menjadi matur nuwun, lalu menghitung prediksi yang berubah. Augmentasi kontrafaktual menambahkan pesan ubahan seperti itu ke data latih.

  Contoh: 11 dari 110 prediksi berubah saat ciri dialeknya diganti ke Jawa.

  Dipelajari di Modul 14 · Bias, privasi, dan bahasa daerah

• uji permutasi

  Cara mengukur apakah selisih dua kelompok lebih besar dari derau: label kelompok diacak berulang kali, dan nilai p adalah bagian acakan yang selisihnya setidaknya sebesar selisih yang teramati.

  Contoh: pusat vektor September berjarak 0,1146 dari validasi; tidak satu pun dari 500 acakan sejauh itu, jadi p = 1/501 ≈ 0,002.

  Dipelajari di Modul 13 · Pemantauan drift teks

• unicodedata.normalize

  Fungsi pustaka standar yang menerapkan normalisasi Unicode. Argumen pertamanya bentuk normalisasi, misalnya "NFC" atau "NFKC".

  Contoh: unicodedata.normalize("NFKC", "５０rb") menjadi "50rb".

  Dipelajari di Modul 01 · Teks Indonesia apa adanya

• Viterbijuga: algoritma Viterbi, backpointer

  Algoritma pemrograman dinamis yang menemukan urutan dengan skor total terbaik tanpa mencoba semua kemungkinan. Ia menyimpan skor terbaik di setiap posisi beserta penunjuk balik (backpointer), lalu menelusuri balik dari akhir.

  Contoh: segmentasi terbaik pengirimannya adalah peng|irim|an|nya (−19,0), bukan potongan terpanjang dari kiri (−21,0).

  Dipelajari di Modul 03 · Tokenisasi, morfologi, dan subkata

• WERjuga: word error rate, WER korpus

  Ukuran sisa kesalahan teks: banyak suntingan token paling sedikit (ganti, hapus, sisip) dibagi banyak token rujukan. WER korpus menjumlahkan suntingan dan token semua pesan dulu, baru membagi. Makin kecil makin baik.

  Contoh: di 200 pesan uji, teks mentah ber-WER 0,3448 terhadap bentuk baku; normalisasi lengkap menurunkannya ke 0,0684.

  Dipelajari di Modul 01 · Teks Indonesia apa adanya

• WordPiece

  Tokenizer BERT dan IndoBERT: memotong setiap kata dari kiri dengan mengambil awalan terpanjang yang ada di kosakata; potongan lanjutan diberi awalan ##. Bila satu bagian tidak ditemukan, seluruh kata menjadi [UNK].

  Contoh: telurnya menjadi telur dan ##nya.

  Dipelajari di Modul 10 · Encoder bahasa Indonesia dan fine-tuning