Lewati ke konten utama
Numekara
Konsultasi GratisKontak

C12 · Modul 02

Ejaan dan campur kode

36 langkah singkat, dari mudah sampai tantangan.

  1. Level 1

    Kenal

  2. Level 2

    Paham

  3. Level 3

    Terapkan

  4. Level 4

    Tantangan

  5. Level 5

    Pendalaman

Intinya

  • Jarak edit dengan operasi tukar (OSA) menangkap tidka → tidak dalam satu langkah; Levenshtein butuh dua.
  • Korektor noisy channel: kandidat terdekat dari leksikon latih, lalu yang paling sering. WER validasi turun dari 0,0554 ke 0,0452, tetapi tanpa perlindungan 26 dari 45 koreksinya salah.
  • Salah ketik jarang berulang, slang berulang: token asing yang muncul ≥ 3 kali di latih dilindungi, dan semua koreksi validasi menjadi benar.
  • Bahasa per token dari n-gram karakter + Naive Bayes: akurasi 0,979 di uji, tetapi tidak satu pun token Sunda dikenali; selalu baca per bahasa.
  • CMI mengukur seberapa campur sebuah pesan: pesan berdialek Jawa dan Sunda lima kali lebih campur daripada dialek umum.

Sebelum mulai

±6 jam.

Modul ini memakai materi di bawah. Belum yakin? Ulas dulu bagian yang disebut.

Hasil belajar:

  1. Menulis jarak edit Levenshtein dan Damerau terbatas (OSA) dengan pemrograman dinamis, dan menjelaskan mengapa salah ketik "tukar huruf" butuh operasi tukar.
  2. Membangun korektor ejaan noisy channel sederhana dari leksikon latih (kandidat jarak 1 lalu 2, frekuensi, seri ke abjad), lalu mengukur WER dan presisi koreksinya.
  3. Melindungi token yang tidak boleh "dibetulkan" (angka kata, slang, sapaan daerah) dengan daftar yang diturunkan dari data latih.
  4. Melatih deteksi bahasa per token dengan n-gram karakter dan Naive Bayes yang hasilnya sama dengan scikit-learn, lalu membaca akurasinya per bahasa.
  5. Menghitung indeks campur kode (CMI) per pesan, per kanal, dan per dialek.

Hasil lab: jarak_edit, Korektor, perbaiki_ejaan, bahasa_token, dan cmi di tutur.py; WER validasi dan uji sesudah koreksi ejaan, presisi koreksi, dan akurasi label bahasa per bahasa di 100 baris uji campur_kode.jsonl.

Istilah di modul ini (20)

Ketuk istilah untuk melihat penjelasannya. Di materi, istilah bergaris titik membuka kartu yang sama. Semua istilah course

Bahan modul

Semua kode, latihan, dan data modul ini dalam satu zip, untuk dijalankan di laptop atau Google Colab.

  • 18 contoh kode
  • 5 berkas latihan + tes
  • 3 berkas data
  • requirements.txt
Semua data course (data-c12.zip) Cara menjalankan di laptop
Lihat isi zip
  • BACA-DULU.txt
  • normal.py
  • contoh_c12_02_130.py
  • contoh_c12_02_183.py
  • contoh_c12_02_247.py
  • contoh_c12_02_275.py
  • contoh_c12_02_409.py
  • contoh_c12_02_495.py
  • contoh_c12_02_656.py
  • contoh_c12_02_729.py
  • contoh_c12_02_998.py
  • contoh_c12_02_1025.py
  • contoh_c12_02_1049.py
  • contoh_c12_02_1073.py
  • contoh_c12_02_1305.py
  • contoh_c12_02_1342.py
  • contoh_c12_02_1376.py
  • contoh_c12_02_1545.py
  • contoh_c12_02_1628.py
  • contoh_c12_02_1682.py
  • test_c12_02_1.py
  • test_c12_02_2.py
  • test_c12_02_3.py
  • test_c12_02_4.py
  • test_c12_02_5.py
  • campur_kode.jsonl
  • kamus.csv
  • pesan.jsonl
  • requirements.txt