Lewati ke konten utama
Numekara
Konsultasi GratisKontak

C12 · Modul 01

Teks Indonesia apa adanya

45 langkah singkat, dari mudah sampai tantangan.

  1. Level 1

    Kenal

  2. Level 2

    Paham

  3. Level 3

    Terapkan

  4. Level 4

    Tantangan

  5. Level 5

    Pendalaman

Intinya

  • Teks pelanggan berbeda dari bentuk baku di sepertiga token (WER 0,3448): karakter Unicode tak terlihat, huruf kapital, huruf yang dipanjangkan, harga, slang, dan campur kode.
  • Bersihkan Unicode dulu (NFKC, spasi lebar-nol, spasi tak-putus), lalu huruf kecil, huruf berulang, harga, dan kamus: urutan langkah ikut menentukan hasil.
  • Kamus diterapkan per token utuh, bukan substring; harga diubah dengan pola, bukan dengan kamus.
  • Setiap aturan diukur dengan WER korpus terhadap bentuk baku: 0,3448 → 0,2041 (kamus saja) → 0,0684.
  • Normalisasi membuang informasi; rentang entitas, emoji, dan kata kasar dihitung di teks mentah.

Sebelum mulai

±6 jam.

Modul ini memakai materi di bawah. Belum yakin? Ulas dulu bagian yang disebut.

Hasil belajar:

  1. Memuat pesan.jsonl, memisah bagian baku (latih, validasi, uji, produksi), dan mengukur seberapa jauh teks pelanggan dari bentuk bakunya dengan WER korpus.
  2. Menjelaskan code point, NFC dan NFKC, spasi tak-putus, spasi lebar-nol, dan angka lebar, lalu membersihkannya tanpa merusak isi pesan.
  3. Menulis langkah normalisasi yang aman dalam urutan yang benar: huruf kecil, huruf berulang, harga rupiah, dan kamus slang per token utuh (bukan substring).
  4. Menyusun normalisasi(teks, kamus) dan membuktikan dengan angka bahwa WER uji turun dari 0,3448 (mentah) dan 0,2041 (kamus saja) ke 0,0684.
  5. Memutuskan kapan teks tidak boleh dinormalkan: rentang entitas, emoji sebagai sinyal, nama produk, dan kata kasar untuk moderasi.

Hasil lab: muat_pesan, bagian, normalisasi, dan wer_korpus di tutur.py, plus tabel WER uji: teks mentah 0,3448, kamus saja 0,2041, dan normalisasi kamu.

Istilah di modul ini (21)

Ketuk istilah untuk melihat penjelasannya. Di materi, istilah bergaris titik membuka kartu yang sama. Semua istilah course

Bahan modul

Semua kode, latihan, dan data modul ini dalam satu zip, untuk dijalankan di laptop atau Google Colab.

  • 26 contoh kode
  • 6 berkas latihan + tes
  • 2 berkas data
  • requirements.txt
Semua data course (data-c12.zip) Cara menjalankan di laptop
Lihat isi zip
  • BACA-DULU.txt
  • contoh_c12_01_48.py
  • contoh_c12_01_87.py
  • contoh_c12_01_249.py
  • contoh_c12_01_270.py
  • contoh_c12_01_295.py
  • contoh_c12_01_318.py
  • contoh_c12_01_343.py
  • contoh_c12_01_456.py
  • contoh_c12_01_472.py
  • contoh_c12_01_497.py
  • contoh_c12_01_545.py
  • contoh_c12_01_572.py
  • contoh_c12_01_599.py
  • contoh_c12_01_648.py
  • contoh_c12_01_671.py
  • contoh_c12_01_831.py
  • contoh_c12_01_856.py
  • contoh_c12_01_881.py
  • contoh_c12_01_923.py
  • contoh_c12_01_1059.py
  • contoh_c12_01_1110.py
  • contoh_c12_01_1135.py
  • contoh_c12_01_1161.py
  • contoh_c12_01_1531.py
  • contoh_c12_01_1658.py
  • contoh_c12_01_1753.py
  • test_c12_01_1.py
  • test_c12_01_2.py
  • test_c12_01_3.py
  • test_c12_01_4.py
  • test_c12_01_5.py
  • test_c12_01_6.py
  • kamus.csv
  • pesan.jsonl
  • requirements.txt