Lewati ke konten utama

C2 · Modul 02

Data, fitur, dan pemisahan yang jujur

41 langkah singkat, dari mudah sampai tantangan.

  1. Level 1

    Kenal

  2. Level 2

    Paham

  3. Level 3

    Terapkan

  4. Level 4

    Tantangan

  5. Level 5

    Pendalaman

Intinya

  • Pisahkan latih, validasi, dan uji menurut waktu dan saat label diketahui; label churn butuh embargo satu bulan.
  • Kebocoran target adalah fitur yang baru diketahui sesudah kejadian (poin_hangus). Tangkap dengan AUC satu fitur dua arah dan kolom yang kosong di produksi.
  • Kontaminasi: unit yang sama di dua sisi, duplikat, dan praproses yang di-fit pada seluruh data.
  • Fitur lag dan jendela bergulir memakai shift(1); gabungan dari tabel kejadian memakai syarat waktu (point-in-time); target encoding memakai cross-fitting.
  • Praproses ditaruh di ColumnTransformer/Pipeline agar statistiknya hanya dari data latih.

Sebelum mulai

±6 jam.

Modul ini memakai materi di bawah. Belum yakin? Ulas dulu bagian yang disebut.

Hasil belajar: memisahkan data menjadi latih, validasi, dan uji menurut waktu dan saat label diketahui, lalu menjelaskan dengan simulasi mengapa pemisahan acak terlalu optimis untuk panel dan deret waktu; mengenali tiga bentuk kebocoran (fitur yang baru diketahui sesudah kejadian, kontaminasi latih–uji, kebocoran di dalam rekayasa fitur) dan mendeteksinya dengan AUC satu fitur dan pemeriksaan data produksi; menulis bagi_waktu dan periksa_bocor sesuai kontrak; membangun fitur lag, jendela bergulir, gabungan point-in-time, dan target encoding yang tidak bocor, lalu praproses ColumnTransformer yang di-fit hanya pada data latih; menulis datasheet singkat.

Hasil lab: model.py berisi bagi_waktu dan periksa_bocor; laporan bocor yang membuang poin_hangus dengan alasan tertulis; baseline churn dan permintaan di atas pemisahan baku; DATASHEET.md. Data dan aturannya di kontrak proyek; contoh diuji dengan Python 3.12 dan 3.13, numpy 2.4.6, pandas 3.0.2, scikit-learn 1.8.0.

Istilah di modul ini (28)

Ketuk istilah untuk melihat penjelasannya. Di materi, istilah bergaris titik membuka kartu yang sama. Semua istilah course

Bahan modul

Semua kode, latihan, dan data modul ini dalam satu zip, untuk dijalankan di laptop atau Google Colab.

  • 17 contoh kode
  • 7 berkas latihan + tes
  • 2 berkas data
  • requirements.txt
Lihat isi zip
  • BACA-DULU.txt
  • contoh_c2_02_41.py
  • contoh_c2_02_100.py
  • contoh_c2_02_160.py
  • contoh_c2_02_211.py
  • contoh_c2_02_348.py
  • contoh_c2_02_393.py
  • contoh_c2_02_499.py
  • contoh_c2_02_536.py
  • contoh_c2_02_564.py
  • contoh_c2_02_719.py
  • contoh_c2_02_789.py
  • contoh_c2_02_849.py
  • contoh_c2_02_892.py
  • contoh_c2_02_1017.py
  • contoh_c2_02_1153.py
  • contoh_c2_02_1322.py
  • contoh_c2_02_1598.py
  • test_c2_02_1.py
  • test_c2_02_2.py
  • test_c2_02_3.py
  • test_c2_02_4.py
  • test_c2_02_7.py
  • test_c2_02_6.py
  • test_c2_02_5.py
  • pelanggan_bulanan.csv
  • permintaan_harian.csv
  • requirements.txt