C12 · NLP Terapan

Mengolah teks bahasa Indonesia yang berantakan menjadi keputusan yang bisa diperiksa: normalisasi slang dan campur kode, tokenisasi, baseline yang sulit dikalahkan, ekstraksi entitas dengan dekode terstruktur, sentimen per aspek, topik, metrik generasi, anotasi, dan pemantauan drift, lalu dibandingkan jujur dengan encoder bahasa Indonesia yang di-fine-tune di GPU gratis.

Course pilihan jalur Data & AI sesudah C9, untuk ML Engineer dan AI Engineer yang bekerja dengan teks. Versi ini berupa Markdown yang bisa dibaca langsung di GitHub; latihannya diperiksa otomatis dan berjalan di peramban.

---

Posisi course

Kenapa course ini ada

Fondasi NLP di jalur ini tersebar. C2 mengubah teks menjadi angka dan menulis Naive Bayes (k-NN dan Naive Bayes). C9 menurunkan mesinnya: RNN, embedding, model bahasa, BPE, attention, transformer, dan LoRA. C3 memakai model bahasa lewat API untuk embedding, RAG, dan evaluasi. Yang belum ada adalah pekerjaan sehari-hari dengan teks nyata: pesan pelanggan yang penuh gk, bgt, mantul, thanks, matur nuwun, harga 15rb, salah ketik, dan emoji. Juga label yang tidak disepakati anotator, entitas yang batasnya jatuh di tengah kata, metrik yang memuji ringkasan yang mengarang, dan kosakata yang berubah setiap bulan.

Di tempat kerja, masalah teks hampir tidak pernah gagal karena arsitektur model. Masalah gagal karena normalisasi yang tidak sama antara pelatihan dan produksi, evaluasi yang hanya melihat akurasi, entitas yang dihitung per token, atau model yang diam-diam memburuk ketika pelanggan mulai menulis paylater. C12 mengajarkan cara menangkap semua itu dengan kode yang diperiksa.

Cara klasik dan cara modern

Cara klasik di course ini: Unicode dan normalisasi berbasis aturan, jarak edit dan korektor ejaan noisy channel, deteksi bahasa per token dengan n-gram karakter, pre-tokenizer dan stemming afiks bahasa Indonesia, BPE tingkat byte dan Unigram LM, TF-IDF dengan n-gram kata dan karakter plus regresi logistik, skema BIO, HMM dan Viterbi, perceptron terstruktur, leksikon dengan lingkup negasi, NMF dan LDA dengan Gibbs sampling, PPMI + SVD, SIF, MinHash dan LSH, BLEU/chrF/ROUGE, Fleiss' kappa, alpha Krippendorff, Dawid–Skene, dan BBSE. Semuanya ditulis sendiri dengan Python dan NumPy, lalu dicocokkan dengan scikit-learn atau SciPy bila pustakanya ada.

Cara modern: encoder bahasa Indonesia pralatih (keluarga IndoBERT) yang di-fine-tune di Google Colab atau Kaggle, model embedding kalimat multibahasa, sacreBLEU, alat anotasi, LLM sebagai pelabel atau penilai, dan agen AI yang menulis pipeline. Setiap hasil modern dibandingkan dengan baseline klasik di data dan pemisahan yang sama, dengan interval kepercayaan, biaya, dan latensi per prediksi.

Polanya sama di setiap modul: tulis versi klasik dan ukur, jalankan versi modern di Lab, lalu bandingkan dengan jujur.

Pemilik materi

C12 memiliki: normalisasi teks Indonesia, ejaan dan campur kode, morfologi dan Unigram LM, pelabelan urutan dan dekode terstruktur, sentimen per aspek, topic modeling, deduplikasi teks, metrik generasi, kesepakatan anotator multi-anotator, dan drift teks. C12 menautkan, tidak mengajarkan ulang:

Untuk siapa dan prasyarat

• Wajib: C2 Machine Learning (regresi logistik, evaluasi, validasi, bag-of-words dan Naive Bayes) dan C9 Deep Learning (embedding, transformer, PyTorch di Colab, fine-tuning).
• Dianjurkan: C3 AI Engineering, terutama Embedding dan pencarian semantik, Evaluasi, dan Multimodal. Modul 01, 09, 11, dan 12 memakai metriknya; bila kamu belum mengambil C3, setiap modul memberi ringkasan satu layar dan tautannya.
• F1 Python dan F5 Rilis untuk repo proyek dan Lab Tayang.
• Matematika: Aljabar Linear (SVD untuk LSA dan PPMI, faktorisasi matriks) dan Statistika dan Probabilitas (Bayes, EM, kappa, interval).
• Sapaan "kamu", sama dengan course lain.

Lingkungan lab

PyTorch, Transformers, sentence-transformers, dan sacreBLEU tidak tersedia di peramban maupun di pemeriksa, jadi kodenya ditulis sebagai blok statis dan dijalankan di Lab. Latihan terperiksa hanya memakai pustaka standar, NumPy, pandas, SciPy, dan scikit-learn. Pustaka yang ada di peramban tetapi tidak di pemeriksa (misalnya regex, NLTK, SentencePiece) tidak dipakai di latihan.

Kode Lab ditulis terhadap versi yang dicek penulis modul (tanggal dan versi dicatat di modulnya, sama seperti C9). Nama model pralatih, ukurannya, dan lisensinya dicek di halaman resminya saat modul ditulis dan ditandai perlu dicek ulang.

Satu kali menjalankan kode dibatasi 15 detik (korpus kecil, kosakata terbatas; batas=N sampai 120 detik hanya untuk Gibbs sampling dan pelatihan perceptron bila tidak bisa dihindari).

Waktu: ±6 jam per modul (Modul 10 termasuk Lab Colab) dan ±8 jam untuk Modul 15, total ±92 jam. Lab Colab di modul lain opsional dan, seperti bagian pendalaman dan Lab Tayang, di luar hitungan itu. Fine-tuning encoder di Colab wajib untuk proyek akhir.

Silabus (15 modul)

Proyek: Tutur Makmur

Peserta membangun tutur, pustaka NLP mini untuk kotak pesan Warung Makmur. Setiap hari warung menerima pesan lewat WhatsApp, ulasan marketplace, dan komentar media sosial: pesanan, pertanyaan stok dan harga, keluhan kurir, dan pujian. tutur meredaksi nomor telepon dan lokasi, menormalkan teks, memilah niat dan pesan yang perlu dibalas segera, mengekstrak pesanan (produk, jumlah, waktu, lokasi, harga), membaca sentimen per aspek, merangkum topik keluhan, mengukur ringkasan otomatis, menilai mutu label anotator, dan memberi alarm ketika bahasa pelanggan bergeser. Data: 2.400 pesan sintetis berkebenaran (data/pesan.jsonl, Januari–Desember 2026) dengan bentuk baku, niat, aspek, dan entitas. Kontrak: proyek-tutur.md.

Lencana Tayang (bukan syarat lulus): demo "Tutur Makmur" di Streamlit Community Cloud yang menjalankan pipeline tutur dengan NumPy dan scikit-learn di CPU, dengan kartu model, GitHub Actions hijau, dan README portofolio. Daftar periksa lengkap ada di Modul 15.

Kerangka setiap modul

Modul ditulis langsung dalam mode langkah (satu layar satu ide, setiap layar berakhir dengan interaksi), dengan bagian:

# Modul NN · Judul

> **Hasil belajar:** 3–5 kemampuan yang bisa diamati
> **Prasyarat:** modul sebelumnya dan modul course lain (bertaut, dengan judul topiknya)
> **Waktu:** ± X jam
> **Hasil lab:** apa yang ditambahkan ke `tutur`

## Intinya                          (3–5 butir)
## 1..N. Bagian per konsep           (contoh dulu, lalu penjelasan singkat; cek, animasi, playground, latihan)
##       Di balik layar              (mekanisme di bawah pustaka; dipakai latihan)
## N+1. Proyek: Tutur Makmur         (lab; "Selesai bila:"; Lab Colab untuk cara modern)
## N+2. Belajar bersama AI           (tugas tanpa AI, tugas dengan AI, bandingkan)
## N+3. Pendalaman (opsional)        (studi kasus rekaan, di skala enterprise)
## Rangkuman                         (3–7 butir)
## Sumber                            (dokumentasi resmi + rujukan klasik, bertanggal)

Bekerja dengan agen, pola yang sama di setiap modul. Kerjakan dulu tugas kecil tanpa AI agar kamu tahu jawaban yang benar. Lalu minta agen menulis kode dengan instruksi yang menyebut kontrak, contoh teks yang sulit, dan tes yang harus gagal pada kode naif. Kesalahan agen di NLP jarang memunculkan galat: normalisasi yang beda antara latih dan produksi, kosakata yang dibangun dari data uji, F1 yang dihitung per token, \b yang memotong Rp15.000, atau metrik yang memakai tokenisasi berbeda. Yang menangkapnya adalah tes sifat, angka rujukan, dan contoh sulit yang sudah kamu kumpulkan sendiri.

Aturan isi:

• Tulis, ukur, bandingkan. Setiap teknik klasik ditulis sendiri dan dicocokkan dengan pustaka bila ada (scikit-learn, SciPy); setiap teknik modern dibandingkan dengan baseline di pemisahan yang sama.
• Angka dari kode, bukan dari ingatan. Akurasi, F1, WER, BLEU, kappa, dan laju OOV di prosa diambil dari contoh yang diperiksa mesin; angka rujukan ada di kontrak.
• Tes memeriksa perilaku pada teks sulit, bukan bentuk: Rp 15.000 dengan spasi tak-putus, klitik yang menempel pada entitas, negasi berlapis, pesan yang memang ambigu, kosakata baru. Kode awal yang naif harus gagal.
• Keacakan selalu berbenih (np.random.default_rng(0) atau random.Random(0)); hasil Gibbs sampling dan perceptron dibandingkan dengan toleransi yang disebut di perintah.
• Pustaka berat hanya di Lab, dengan versi dan tanggal cek; nama model, ukuran, dan lisensinya dicek di halaman resminya.
• Data sintetis. Semua pesan, produk, lokasi, dan nomor fiktif; tidak ada nama orang. Korpus publik hanya dipakai di Lab Colab sebagai pembanding, dengan lisensinya disebut.
• Studi kasus memakai skenario rekaan yang mewakili kejadian umum, ditandai rekaan.
• Sumber klasik bergantian: Jurafsky & Martin Speech and Language Processing (edisi ke-3, draf daring); Manning & Schütze Foundations of Statistical Natural Language Processing (1999); Manning, Raghavan & Schütze Introduction to Information Retrieval (2008); Eisenstein Introduction to Natural Language Processing (2019); makalah asli di setiap modul.
• Patokan CS2023: knowledge area Artificial Intelligence (Natural Language Processing, Machine Learning).

Batas cakupan

Disentuh sekilas atau di luar cakupan: pengenalan dan sintesis suara (ASR di C3 Multimodal), penerjemahan mesin sebagai sistem (metriknya dibahas di Modul 11), parsing sintaksis dan dependensi, model generatif besar dan pelatihannya (C9 dan C3), RAG (C3), serta pelatihan tokenizer berskala besar. Moderasi konten dibahas dari sisi pengukuran dan privasi, bukan sebagai sistem lengkap.

Hubungan dengan course lain

Sumber

Rujukan utama course; setiap modul mencantumkan sumbernya sendiri dengan tanggal cek.

• Jurafsky, D., & Martin, J. H. Speech and Language Processing, edisi ke-3 (draf daring).
• Manning, C. D., & Schütze, H. (1999). Foundations of Statistical Natural Language Processing. MIT Press.
• Manning, C. D., Raghavan, P., & Schütze, H. (2008). Introduction to Information Retrieval. Cambridge University Press.
• Eisenstein, J. (2019). Introduction to Natural Language Processing. MIT Press.
• Sennrich, R., Haddow, B., & Birch, A. (2016). Neural Machine Translation of Rare Words with Subword Units. ACL. Kudo, T. (2018). Subword Regularization. ACL.
• Adriani, M., dkk. (2007). Stemming Indonesian: A Confix-Stripping Approach. ACM TALIP.
• Ramshaw, L., & Marcus, M. (1995). Text Chunking using Transformation-Based Learning. Collins, M. (2002). Discriminative Training Methods for Hidden Markov Models. EMNLP.
• Blei, D., Ng, A., & Jordan, M. (2003). Latent Dirichlet Allocation. JMLR. Lee, D., & Seung, H. S. (2001). Algorithms for Non-negative Matrix Factorization. NIPS.
• Arora, S., Liang, Y., & Ma, T. (2017). A Simple but Tough-to-Beat Baseline for Sentence Embeddings. ICLR. Broder, A. (1997). On the Resemblance and Containment of Documents.
• Devlin, J., dkk. (2019). BERT. NAACL. Wilie, B., dkk. (2020). IndoNLU. AACL. Koto, F., dkk. (2020). IndoLEM and IndoBERT. COLING.
• Papineni, K., dkk. (2002). BLEU. ACL. Popović, M. (2015). chrF. WMT. Lin, C.-Y. (2004). ROUGE. Post, M. (2018). A Call for Clarity in Reporting BLEU Scores. WMT.
• Fleiss, J. L. (1971). Measuring Nominal Scale Agreement among Many Raters. Krippendorff, K. (2004). Content Analysis. Dawid, A. P., & Skene, A. M. (1979). Maximum Likelihood Estimation of Observer Error-Rates Using the EM Algorithm.
• Lipton, Z., Wang, Y.-X., & Smola, A. (2018). Detecting and Correcting for Label Shift with Black Box Predictors. ICML.
• Winata, G. I., dkk. (2023). NusaX: Multilingual Parallel Sentiment Dataset for 10 Indonesian Local Languages. EACL.