C10 · Kamus istilah
Istilah C10 · MLOps dan Platform ML
Penjelasan singkat untuk istilah, fungsi, dan rumus yang dipakai di course ini. Di dalam modul, istilah bergaris titik bisa diketuk untuk melihat kartu yang sama.
Kembali ke daftar modul C10100 dari 100 istilah
alias
Nama yang menunjuk satu versi model dan bisa dipindah, misalnya
champion→ versi 1. Layanan memuat model lewat alias, jadi rilis dan rollback cukup memindahkan alias.Dipelajari di Modul 05 · Registry model dan siklus rilis
anggaran galatjuga: error budget
Bagian permintaan yang boleh gagal menurut SLO: 1 − SLO. Selama anggaran masih ada, tim boleh mengambil risiko; bila habis, rilis berisiko ditahan.
Contoh: SLO 99,5% memberi anggaran 0,5%; 18 galat dari 5.083 permintaan memakai 70,8% anggaran.
Dipelajari di Modul 13 · Insiden dan keandalan
artefak
Berkas yang dihasilkan atau dipakai sistem ML dan perlu diberi versi: data, model terlatih, laporan evaluasi. Artefak tidak diubah sesudah dibuat; versi baru berarti artefak baru dengan hash baru.
Contoh: model churn disimpan sebagai JSON parameter logistik sebesar 850 byte, dikenali dari SHA-256 isinya.
Dipelajari di Modul 03 · Versi data dan artefak
AUCjuga: ROC-AUC
Peluang model memberi skor lebih tinggi kepada pelanggan yang churn daripada kepada pelanggan yang tetap, bila keduanya diambil acak. 0,5 berarti setara tebakan acak, 1 berarti urutannya sempurna.
Contoh: AUC
churn-v1Juli 0,7424, November anjlok ke 0,6008.Dipelajari di C2 · Modul 05 · Evaluasi klasifikasi dan keputusan
batching dinamisjuga: batching
Mengumpulkan permintaan yang sedang menunggu menjadi satu panggilan model. Saat sepi batch berisi satu; saat ramai batch membesar, sehingga ongkos tetap per panggilan dibagi banyak permintaan dan kapasitas naik.
Dipelajari di Modul 10 · Penyajian model
benihjuga: seed
Angka awal untuk pembangkit bilangan acak. Benih yang sama memberi deret acak yang sama, sehingga hasil yang memakai keacakan bisa diulang.
Dipelajari di C1 · Modul 01 · Peran data scientist dan siklus analisis
bootstrapjuga: sampel ulang
Cara memperkirakan ketidakpastian sebuah angka dengan mengambil ulang baris secara acak (dengan pengembalian) berkali-kali dan menghitung angka itu di setiap sampel ulang.
Contoh: AUC Juli 0,7424 punya galat baku bootstrap 0,0276 dari 200 sampel ulang.
Dipelajari di C1 · Modul 07 · Sampling dan estimasi
bootstrap berpasangan
Bootstrap yang memakai satu set indeks sampel ulang yang sama untuk kedua model, lalu menghitung selisih metriknya per sampel. Karena kedua model sering salah pada pelanggan yang sama, selisihnya jauh kurang berderau daripada bila tiap model di-bootstrap terpisah.
Dipelajari di Modul 09 · CI/CD untuk model
cache
Simpanan hasil yang sudah pernah dihitung supaya tidak dihitung lagi. Hasil boleh dipakai ulang hanya bila kuncinya memuat semua yang mengubah hasil: isi masukan, parameter, versi kode, dan lingkungan.
Contoh: lupa memasukkan versi kode ke kunci membuat rumus
latihyang sudah diubah tetap memakai hasil lama.Dipelajari di Modul 07 · Pipeline pelatihan dan pelatihan berkelanjutan
canaryjuga: kanari, rilis canary, analisis canary
Rilis bertahap: sebagian kecil lalu lintas (misalnya 10%) dikirim ke versi baru, dibandingkan dengan versi lama pada jendela waktu yang sama, lalu dinaikkan atau di-rollback. Canary menjawab "apakah versi baru rusak?", bukan "apakah lebih baik?".
Contoh: v2 melayani 764 permintaan dengan 12 galat, v1 1.968 dengan 4 galat: rollback.
Dipelajari di Modul 11 · Rilis aman
challengerjuga: penantang
Model kandidat yang dibandingkan dengan champion pada data yang sama, misalnya hasil latih ulang bulan terakhir. Ia dipromosikan hanya bila lolos gerbang.
Dipelajari di Modul 05 · Registry model dan siklus rilis
championjuga: juara
Model yang sedang dipakai di produksi. Model baru harus terbukti lebih baik daripada champion sebelum menggantikannya.
Dipelajari di Modul 05 · Registry model dan siklus rilis
checkpoint
Simpanan keadaan pekerjaan yang sedang berjalan, misalnya bobot model di tengah pelatihan, supaya pekerjaan bisa dilanjutkan dari titik itu sesudah gangguan.
Dipelajari di Modul 14 · Infrastruktur dan biaya
CI/CDjuga: CI, CD
Otomasi yang menjalankan tes dan gerbang setiap ada perubahan (continuous integration), lalu merilis artefak yang lolos (continuous delivery). Untuk model, gerbangnya ikut memeriksa metrik dan uji statistik.
Dipelajari di Modul 09 · CI/CD untuk model
cold startjuga: boot dingin
Waktu tambahan yang dibayar permintaan pertama sesudah mesin tidur: menyalakan mesin, mengimpor Python, memuat artefak, dan membuka koneksi.
Contoh: boot dingin ilustrasi course ini 3 detik, padahal latensi biasa (p50) hanya 32,8 ms.
Dipelajari di Modul 10 · Penyajian model
CUSUM
Detektor perubahan (Page 1954) yang menjumlahkan simpangan kecil searah: S = max(0, S sebelumnya + x − k), alarm bila S > h, lalu diatur ulang. Perubahan kecil yang menetap tertangkap walau tiap titik di bawah ambang.
Contoh: pada deret z kalibrasi mulai Juli 2026 dengan k = 0,5 dan h = 4, alarm pertama berbunyi September, saat S mencapai 8,53.
Dipelajari di Modul 12 · Pemantauan dan *drift*
degradasi bertahapjuga: graceful degradation
Layanan menurunkan mutu jawabannya secara terkendali, alih-alih gagal total atau salah diam-diam.
Contoh: November, cadangan dari dua kolom yang tidak tersentuh insiden (
recency_haridankeluhan_90h) memberi untung Rp848.000, model yang membaca data rusak hanya Rp636.000.Dipelajari di Modul 13 · Insiden dan keandalan
deterministikjuga: determinisme
Selalu memberi keluaran yang sama untuk masukan yang sama. Keacakan berbenih, urutan baris, urutan penjumlahan bilangan pecahan, dan jumlah thread bisa membuat program yang tampak sama menjadi tidak deterministik.
Contoh: hutan acak tanpa
random_statememberi AUC berbeda di setiap jalan; denganrandom_state=0hasilnya selalu 0,6852.Dipelajari di Modul 02 · Reproduktibilitas
drift
Perubahan pada data produksi dibandingkan data latih: sebaran fiturnya berubah, hubungan fitur dengan label berubah, atau keduanya. Tidak semua drift merusak model, jadi drift adalah tanda untuk diperiksa, bukan perintah latih ulang.
Dipelajari di Modul 12 · Pemantauan dan *drift*
FastAPI
Kerangka web Python untuk membuat API. Bersama Pydantic, ia memeriksa masukan sesuai skema dan menolak yang tidak sah dengan status 422 sebelum model dipanggil.
Dipelajari di C2 · Modul 15 · Penyajian dan pemantauan model
feature store
Tempat terpusat untuk definisi dan nilai fitur. Bagian offline menyimpan riwayat untuk membangun set latih dengan join titik waktu; bagian online menyimpan nilai terbaru per entitas untuk layanan yang perlu jawaban cepat.
Dipelajari di Modul 06 · Fitur dan feature store
fetchoneMetode hasil kueri SQLite yang mengembalikan satu baris berikutnya sebagai tuple, atau
Nonebila tidak ada baris lagi.Contoh:
db.execute("SELECT COUNT(*) FROM peristiwa").fetchone()[0]mengambil angka hitungan dari baris pertama.Dipelajari di Modul 04 · Pelacakan eksperimen
FieldFungsi Pydantic untuk memberi aturan pada satu kolom skema, misalnya
Field(ge=0, le=1)untuk rentang inklusif atauField(min_length=1, max_length=1000)untuk panjang list. Masukan yang melanggar ditolak sebelum model dipanggil. Di Lab Feast,Fieldadalah kelas Feast untuk skema fitur.Dipelajari di C2 · Modul 15 · Penyajian dan pemantauan model
gagal tertutup
Aturan gerbang: bila pemeriksaan tidak bisa memberi jawaban yang sah, misalnya metrik
NaNatau data kurang, keputusannya tolak, bukan lolos.Dipelajari di Modul 09 · CI/CD untuk model
gerbang
Pemeriksaan otomatis yang harus lulus sebelum langkah berikutnya boleh berjalan. Gerbang data menolak batch yang rusak; gerbang model menolak kandidat yang tidak terbukti lebih baik.
Contoh: gerbang data menolak snapshot November karena 1.073 dari 1.171 baris punya
porsi_qrisdi atas 1.Dipelajari di Modul 07 · Pipeline pelatihan dan pelatihan berkelanjutan
guardrail
Pemeriksaan sebelum atau sesudah model bahasa dipanggil, misalnya menolak permintaan di luar cakupan atau jawaban yang skor risikonya melewati ambang, lalu menggantinya dengan jawaban cadangan.
Dipelajari di Modul 15 · LLMOps
hashjuga: SHA-256, digest
Sidik pendek yang dihitung dari byte sepanjang apa pun. SHA-256 memberi 64 digit heksadesimal: byte yang sama selalu memberi hash yang sama, satu bit berubah membuat hash berubah total, dan dua isi berbeda praktis tidak mungkin ber-hash sama. Karena itu hash bisa menjadi nama isi.
Contoh:
panel_churn.csvyang dibaca lalu ditulis ulang pandas punya hash lain, karena0berubah menjadi0.0.Dipelajari di Modul 02 · Reproduktibilitas
hashlib.sha256Fungsi pustaka standar yang membuat objek hash SHA-256. Byte dimasukkan lewat argumen atau
update, laluhexdigest()memberi hasilnya sebagai teks.Contoh:
hashlib.sha256(teks.encode("utf-8")).hexdigest().Dipelajari di Modul 02 · Reproduktibilitas
hexdigestMetode objek hash yang mengembalikan hash sebagai teks heksadesimal huruf kecil; untuk SHA-256 panjangnya 64 karakter.
Dipelajari di Modul 02 · Reproduktibilitas
hukum Littlejuga: Little
Hubungan untuk sistem antrean yang stabil: rata-rata jumlah permintaan di dalam sistem L = laju kedatangan λ × rata-rata waktu di sistem W. Berlaku untuk rata-rata, bukan batas atas.
Contoh: 80 permintaan per detik dengan W = 50 ms berarti rata-rata ada 80 × 0,050 = 4 permintaan di dalam sistem.
Dipelajari di Modul 10 · Penyajian model
idempoten
Sifat langkah yang boleh dijalankan berkali-kali dengan hasil sama seperti dijalankan sekali. Penting karena pekerjaan otomatis sering diulang setelah gagal di tengah jalan.
Contoh: menyimpan berkas yang sama dua kali ke gudang beralamat isi tidak menambah objek baru.
Dipelajari di Modul 03 · Versi data dan artefak
irisanjuga: irisan data
Sebagian data yang dipilih menurut satu ciri, misalnya satu RT, satu bulan, atau satu kelompok usia. Model bisa baik secara rata-rata tetapi buruk di satu irisan, jadi kinerjanya juga diukur per irisan.
Contoh: September, model menebak 9,6% churn di RT03/RT04 padahal 26,3% benar-benar churn.
Dipelajari di Modul 01 · Dari notebook ke produksi
join titik waktujuga: titik waktu, point-in-time join
Cara menempelkan fitur ke setiap baris prediksi: untuk kunci k dan waktu t, ambil nilai fitur terakhir yang berlaku pada atau sebelum t. Dengan begitu model hanya melihat apa yang sudah diketahui saat itu.
Contoh: menempel
lama_bulandari tabel terkini menaikkan AUC dari 0,7187 ke 0,7674, karena memakai informasi masa depan.Dipelajari di Modul 06 · Fitur dan feature store
JSON kanonik
Cara menulis objek sebagai teks JSON yang selalu sama untuk isi yang sama: kunci diurutkan, tanpa spasi, dan
NaNditolak. Teks itulah yang di-hash untuk memberi identitas konfigurasi, parameter, atau laporan.Contoh:
{"model": "logistik", "C": 1.0}dan{"C": 1.0, "model": "logistik"}memberi hash yang sama.Dipelajari di Modul 02 · Reproduktibilitas
json.dumpsFungsi yang mengubah objek Python menjadi teks JSON.
sort_keys=Truemengurutkan kunci,separators=(",", ":")membuang spasi, danallow_nan=FalsemembuatNaNmemunculkanValueError.Dipelajari di Modul 02 · Reproduktibilitas
kalibrasijuga: terkalibrasi
Kecocokan angka peluang dengan kenyataan: model terkalibrasi bila, dari pelanggan yang diberi peluang 0,2, sekitar 20% benar-benar churn.
Contoh: Juli, rata-rata peluang 0,0923 dan churn aktual 0,0934.
Dipelajari di C2 · Modul 05 · Evaluasi klasifikasi dan keputusan
kartu modeljuga: model card
Dokumen singkat yang menyertai model: tujuan, data latih, angka evaluasi per irisan, batasan, dan penggunaan yang tidak dianjurkan (Mitchell dkk. 2019).
Dipelajari di Modul 05 · Registry model dan siklus rilis
kebocoran datajuga: kebocoran, kebocoran label
Keadaan ketika model memakai informasi yang tidak akan tersedia saat prediksi sungguhan, misalnya nilai dari masa depan. Nilainya tampak bagus saat diuji tetapi gagal di dunia nyata.
Dipelajari di C2 · Modul 02 · Data, fitur, dan pemisahan yang jujur
Kolmogorov–Smirnovjuga: Kolmogorov-Smirnov, KS, uji KS
Ukuran jarak dua sampel tanpa bin: D = jarak terbesar antara dua fungsi sebaran kumulatifnya, antara 0 dan 1. D adalah ukuran efek; p-value KS dengan ribuan baris menjadi kecil bahkan untuk perbedaan yang tidak penting, jadi buruk sebagai alarm.
Contoh:
frekuensi_90hJuli D = 0,050, p < 0,05, padahal Juli normal.Dipelajari di Modul 12 · Pemantauan dan *drift*
ks_2sampFungsi SciPy untuk uji Kolmogorov–Smirnov dua sampel. Hasilnya punya
statistic(jarak D) danpvalue.Dipelajari di Modul 12 · Pemantauan dan *drift*
label terlambatjuga: label yang datang terlambat
Label yang baru diketahui lama sesudah prediksi dibuat. Pemantauan dan pelatihan hanya boleh memakai label yang sudah datang pada tanggal itu.
Contoh: churn snapshot bulan M baru diketahui akhir bulan M + 1, jadi label Februari 2027 belum ada.
Dipelajari di Modul 07 · Pipeline pelatihan dan pelatihan berkelanjutan
laju pembakaranjuga: burn rate
Seberapa cepat anggaran galat terpakai: rasio galat dibagi anggaran. Laju 1 menghabiskan anggaran tepat di akhir jendela SLO; laju 14,4 selama 1 jam menghabiskan 2% anggaran 30 hari.
Dipelajari di Modul 13 · Insiden dan keandalan
latensijuga: latency
Waktu dari permintaan masuk sampai jawaban keluar, termasuk waktu menunggu di antrean. Yang dijanjikan kepada pengguna biasanya persentil latensi, misalnya p95, bukan rata-ratanya.
Dipelajari di Modul 10 · Penyajian model
latih ulang
Melatih model lagi dengan data yang lebih baru. Sebaiknya dipicu aturan yang punya dasar statistik, bukan jadwal buta atau ambang tetap pada metrik yang berderau.
Dipelajari di Modul 07 · Pipeline pelatihan dan pelatihan berkelanjutan
lineagejuga: asal-usul
Catatan dari mana setiap artefak berasal: data, kode, dan konfigurasi apa yang dipakai untuk membuatnya. Ditelusuri ke hulu untuk menjawab "dibuat dari apa?" dan ke hilir untuk menjawab "apa saja yang terdampak?".
Contoh: sesudah
porsi_qrisNovember ketahuan rusak, lineage ke hilir menunjukkan model dan laporan mana yang memakainya.Dipelajari di Modul 03 · Versi data dan artefak
LLMOps
MLOps untuk sistem berbasis model bahasa besar: prompt dan model diperlakukan sebagai artefak berversi, dievaluasi di CI, dirilis dan di-rollback lewat alias, lalu dipantau kualitas, biaya token, dan drift-nya.
Dipelajari di Modul 15 · LLMOps
lock filejuga: lockfile
Berkas yang mencatat versi persis setiap paket beserta hash-nya, sehingga lingkungan bisa dipasang ulang sama persis di mesin lain. Untuk pelatihan, lock file ikut menjadi bagian resep yang di-hash.
Dipelajari di F5 · Modul 01 · Proyek rapi dan dependensi terkunci
log append-onlyjuga: append-only
Catatan yang hanya boleh bertambah: baris lama tidak pernah diubah atau dihapus. Koreksi juga ditambahkan sebagai baris baru, sehingga riwayat lengkap tetap bisa dibaca dan keadaan pada waktu mana pun bisa dihitung ulang.
Contoh: tabel
metrikmenolakUPDATEdenganIntegrityError: metrik append-only: UPDATE dilarang.Dipelajari di Modul 04 · Pelacakan eksperimen
loop umpan balikjuga: feedback loop
Keadaan ketika keputusan model mengubah data yang nanti dipakai untuk melatih model itu sendiri. Bila tidak disadari, model baru belajar dari akibat keputusannya, bukan dari perilaku asli.
Contoh: kupon menahan sebagian pelanggan yang akan churn, sehingga label mereka tercatat 0 dan model naif menurunkan risiko kelompok yang justru paling berisiko.
Dipelajari di Modul 01 · Dari notebook ke produksi
M/M/1juga: antrean M/M/1
Model antrean paling sederhana: kedatangan acak (Poisson), waktu layan acak eksponensial, satu pelayan. Rumusnya, misalnya W = 1/(μ − λ), hanya berlaku bila utilisasi di bawah 1.
Dipelajari di Modul 10 · Penyajian model
manifest
Daftar kecil
{jalur: hash}yang menggambarkan isi satu folder pada satu saat. Dua manifest dibandingkan untuk tahu berkas mana yang berubah, tanpa membaca isi berkasnya.Contoh: manifest panel dengan November yang rusak dan manifest sesudah perbaikan hanya berbeda di baris
2026/11.csv.Dipelajari di Modul 03 · Versi data dan artefak
math.combjuga: combFungsi pustaka standar untuk banyaknya cara memilih k dari n benda, C(n, k). Bilangan bulat Python tidak meluap, jadi hasilnya tepat walau sangat besar.
Contoh:
math.comb(4, 2)memberi 6.Dipelajari di Modul 11 · Rilis aman
McNemarjuga: uji McNemar
Uji berpasangan untuk keputusan atau jawaban benar/salah dua model pada butir yang sama. Hanya pasangan yang berbeda (benar di satu model, salah di yang lain) yang dihitung; di bawah hipotesis "setara", kedua arah sama mungkin.
Contoh: keputusan kupon Desember: 26 pelanggan diputuskan benar oleh juara tetapi salah oleh penantang, sebaliknya hanya 3.
Dipelajari di Modul 09 · CI/CD untuk model
mengintip berulangjuga: mengintip, intip
Menjalankan uji yang sama berkali-kali selagi data masih bertambah, lalu berhenti begitu p < α. Setiap intip memberi peluang baru untuk alarm palsu, sehingga peluang alarm palsu keseluruhan jauh di atas α.
Dipelajari di Modul 11 · Rilis aman
merge_asofjuga: pd.merge_asofFungsi pandas untuk join titik waktu: setiap baris kiri mendapat baris kanan terakhir yang waktunya ≤ waktunya sendiri (
direction="backward"), per kunciby. Kedua tabel harus terurut menurut kolomon.Dipelajari di Modul 06 · Fitur dan feature store
ML Test Score
Rubrik 28 uji kesiapan produksi (Breck dkk. 2017) dalam empat bagian: data, model, infrastruktur, dan pemantauan. Uji manual bernilai 0,5, otomatis 1; nilai dijumlahkan per bagian, dan skor akhirnya minimum dari empat jumlah itu, bukan rata-ratanya.
Contoh:
churn-v1kuat di data (3,0) tetapi pemantauannya 0,5, jadi skornya 0,5.Dipelajari di Modul 01 · Dari notebook ke produksi
MLflow
Perangkat sumber terbuka untuk pelacakan eksperimen (run, parameter, metrik, artefak) dan registry model, lengkap dengan antarmuka web. Course ini memakainya di Lab setelah kamu menulis versi kecilnya sendiri.
Dipelajari di Modul 04 · Pelacakan eksperimen
MLOps
Disiplin rekayasa untuk menjalankan model di produksi: data, konfigurasi, pelatihan, penyajian, dan pemantauan di sekeliling model dibuat bisa diulang, berversi, teruji, dan teramati. Kode modelnya sendiri hanya bagian kecil dari sistem.
Contoh: model churn Warung Makmur sudah bagus di notebook; MLOps memastikan model yang sama bisa dilatih ulang, dirilis aman, dan dipantau selama delapan bulan.
Dipelajari di Modul 01 · Dari notebook ke produksi
norm.sfFungsi SciPy untuk peluang ekor kanan normal baku, 1 − CDF. p-value dua sisi uji z adalah
2 * norm.sf(abs(z)).Contoh:
2 * norm.sf(3.0)memberi sekitar 0,0027.Dipelajari di Modul 07 · Pipeline pelatihan dan pelatihan berkelanjutan
np.bincountjuga: bincountFungsi NumPy yang menghitung kemunculan setiap bilangan bulat 0, 1, 2, …;
minlengthmemastikan bin yang kosong tetap muncul dengan hitungan 0.Dipelajari di Modul 12 · Pemantauan dan *drift*
np.percentilejuga: percentileFungsi NumPy yang menghitung persentil, misalnya
np.percentile(latensi, 95)untuk p95. Bawaannya menginterpolasi linear di antara dua nilai terdekat.Dipelajari di Modul 10 · Penyajian model
np.random.default_rngjuga: default_rngFungsi NumPy yang membuat pembangkit bilangan acak. Dengan benih yang sama, misalnya
default_rng(0), deret acaknya selalu sama.Dipelajari di C1 · Modul 01 · Peran data scientist dan siklus analisis
np.searchsortedjuga: searchsortedFungsi NumPy yang mencari posisi sisip setiap nilai di larik terurut lewat cari biner.
side="right"meletakkan nilai yang sama dengan batas di sebelah kanannya.Contoh:
np.searchsorted(np.array([31, 59, 59, 90]), 59, side="right")memberi 3, posisi sesudah kedua angka 59.Dipelajari di Modul 06 · Fitur dan feature store
p-valuejuga: nilai p
Peluang mendapat hasil sejauh yang teramati, atau lebih jauh, bila sebenarnya tidak ada perbedaan. p kecil berarti hasil itu jarang terjadi karena kebetulan saja, tetapi tidak mengatakan seberapa besar perbedaannya.
Dipelajari di C1 · Modul 08 · Uji hipotesis
pelacakan eksperimenjuga: tracker, pelacak, pelacak eksperimen
Pencatatan otomatis setiap run beserta parameter, metrik, dan asal-usulnya, sehingga run bisa dibandingkan dan diulang. Angkanya dihitung kode, bukan diketik tangan.
Dipelajari di Modul 04 · Pelacakan eksperimen
penyimpanan beralamat isijuga: beralamat isi, gudang beralamat isi
Cara menyimpan berkas dengan hash isinya sebagai nama atau alamat. Isi yang sama hanya tersimpan sekali, isi yang berbeda tidak pernah saling menimpa, dan isi bisa diperiksa ulang saat diambil.
Contoh: versi rusak
2026/11.csvdan perbaikannya tersimpan sebagai dua objek berbeda, jadi versi lama tidak hilang.Dipelajari di Modul 03 · Versi data dan artefak
pergeseran konsepjuga: concept drift
Drift ketika hubungan fitur dengan label berubah, walau sebaran fiturnya tampak sama. Tidak terlihat dari fitur; baru terlihat dari label, misalnya lewat kalibrasi.
Contoh: minimarket baru di RT03/RT04 pada September menaikkan churn tanpa mengubah fitur pelanggan.
Dipelajari di Modul 12 · Pemantauan dan *drift*
pergeseran kovariatjuga: data drift, covariate shift
Drift ketika sebaran fitur berubah, sedangkan hubungan fitur dengan label tetap. Terlihat dari fitur, misalnya lewat PSI.
Contoh:
porsi_aplikasinaik terus sejak Oktober: PSI-nya dari 0,101 pada Oktober ke 1,474 pada Februari.Dipelajari di Modul 12 · Pemantauan dan *drift*
persentiljuga: p50, p95, p99
Nilai yang tidak dilampaui sekian persen data. p95 latensi 100 ms berarti 95% permintaan selesai dalam 100 ms dan 5% lebih lambat; p50 adalah median.
Contoh: log layanan Desember tanpa boot dingin: p50 32,8 ms dan p99 81,0 ms.
Dipelajari di Modul 10 · Penyajian model
pipelinejuga: pipeline pelatihan
Rangkaian langkah otomatis dengan urutan tetap, misalnya muat data → validasi → latih → evaluasi → daftarkan. Setiap langkah menerima keluaran langkah sebelumnya, sehingga seluruh proses bisa dijalankan ulang tanpa klik manual.
Dipelajari di Modul 07 · Pipeline pelatihan dan pelatihan berkelanjutan
pohon Merklejuga: Merkle, akar Merkle
Susunan hash bertingkat: hash folder dihitung dari hash isi di dalamnya, terus naik sampai satu hash akar. Akar menjadi sidik seluruh isi; satu berkas berubah, maka folder induknya dan akarnya ikut berubah, sedangkan cabang lain tetap.
Dipelajari di Modul 03 · Versi data dan artefak
postmortemjuga: postmortem tanpa menyalahkan
Laporan sesudah insiden: kronologi, dampak, penyebab, dan tindakan supaya tidak terulang. "Tanpa menyalahkan" berarti mencari celah sistem, bukan orang yang keliru.
Contoh: postmortem November mencari mengapa
porsi_qris×100 lolos lebih dari empat minggu tanpa ada yang tahu.Dipelajari di Modul 13 · Insiden dan keandalan
predict_probaMetode model scikit-learn yang mengembalikan peluang setiap kelas, satu baris per data.
[:, 1]mengambil kolom peluang kelas 1, di sini peluang churn.Dipelajari di C2 · Modul 04 · Regresi logistik dan klasifikasi
promosijuga: promosi model
Keputusan memindahkan versi model ke tahap atau alias yang dipakai produksi. Yang dipromosikan adalah artefak yang sama persis dengan yang diuji (hash sama), bukan model yang dilatih ulang.
Dipelajari di Modul 05 · Registry model dan siklus rilis
PSIjuga: Population Stability Index
Ukuran pergeseran sebaran satu fitur: nilai dibagi ke bin dari kuantil data acuan, lalu proporsi acuan p dan proporsi baru q dibandingkan dengan Σ (q − p)·ln(q/p). Patokan: di bawah 0,1 stabil, 0,1–0,25 waspada, di atas 0,25 bergeser.
Contoh:
porsi_qrisNovember 6,760 karena tercatat ×100.Dipelajari di Modul 12 · Pemantauan dan *drift*
PYTHONHASHSEEDVariabel lingkungan yang mengatur benih
hash()bawaan Python untuk teks. Tanpa diatur,hash()dan urutansetberisi teks bisa berbeda di setiap proses, jadi jangan dipakai untuk identitas atau urutan yang harus tetap.Dipelajari di Modul 02 · Reproduktibilitas
registry modeljuga: registry, model registry
Daftar resmi model: setiap versi terikat ke satu hash artefak, punya tahap siklus hidup, alias, dan catatan siapa menyetujui apa. Registry menjawab "model mana yang dipakai layanan pada tanggal ini?".
Dipelajari di Modul 05 · Registry model dan siklus rilis
reproduktibilitas
Kemampuan mengulang pelatihan dan mendapat hasil yang sama dari kode, data, konfigurasi, dan lingkungan yang sama. Ada tingkatannya: sama persis sampai bit terakhir, sama dalam toleransi angka kecil, atau hanya sama secara statistik.
Dipelajari di Modul 02 · Reproduktibilitas
roc_auc_scoreFungsi scikit-learn yang menghitung AUC dari label benar dan skor model:
roc_auc_score(y, p). Label harus lengkap;NaNmemunculkan galat.Dipelajari di C2 · Modul 05 · Evaluasi klasifikasi dan keputusan
rollback
Kembali ke versi sebelumnya yang diketahui sehat. Rollback yang baik sudah direncanakan sebelum rilis: pemicunya ditulis, dan caranya cukup satu langkah, misalnya memindahkan alias.
Dipelajari di Modul 11 · Rilis aman
run
Satu kali menjalankan pelatihan atau evaluasi, dicatat lengkap: parameter, metrik, artefak, versi data dan kode, waktu mulai, dan status. Run yang gagal juga dicatat.
Contoh: sapuan empat nilai
C× sepuluh benih menghasilkan 40 run.Dipelajari di Modul 04 · Pelacakan eksperimen
runbook
Panduan tertulis untuk menangani satu jenis alarm: cara memastikan masalahnya, langkah mitigasi yang aman, dan kapan harus memanggil orang lain. Ditulis sebelum insiden supaya keputusan tidak dibuat sambil panik.
Dipelajari di Modul 13 · Insiden dan keandalan
scale-to-zero
Mematikan semua mesin layanan saat tidak ada permintaan supaya tidak membayar mesin menganggur. Harganya boot dingin untuk permintaan pertama sesudah mesin tidur.
Contoh: tidur sesudah 5 menit menganggur menghemat sekitar seperempat waktu mesin, tetapi 358 permintaan seminggu mendarat di mesin yang sedang menyala.
Dipelajari di Modul 14 · Infrastruktur dan biaya
shadowjuga: bayangan, mode bayangan, rilis bayangan
Pola rilis ketika versi baru menerima salinan setiap permintaan, tetapi jawabannya hanya dicatat, tidak dikirim. Hasilnya bisa dibandingkan berpasangan dengan versi lama tanpa risiko bagi pengguna.
Contoh: dalam mode bayangan,
churn-v2akan menambah 25 kupon Desember dan mencabut 2.Dipelajari di Modul 11 · Rilis aman
SLIjuga: service level indicator
Ukuran mutu layanan yang dihitung dari data, biasanya bagian permintaan yang "baik", misalnya respons tanpa galat 500 atau latensi ≤ 100 ms.
Dipelajari di Modul 13 · Insiden dan keandalan
SLOjuga: service level objective
Target untuk sebuah SLI dalam jendela waktu tertentu, misalnya "99,5% permintaan berhasil dalam 30 hari". SLO menentukan berapa banyak kegagalan yang masih bisa diterima.
Dipelajari di Modul 13 · Insiden dan keandalan
spotjuga: instans spot, mesin spot
Mesin cloud berdiskon besar yang bisa diambil kembali penyedia kapan saja. Diskonnya hanya nyata bila pekerjaan menyimpan checkpoint, sehingga gangguan tidak mengulang semuanya dari awal.
Dipelajari di Modul 14 · Infrastruktur dan biaya
sqlite3.connectFungsi pustaka standar yang membuka basis data SQLite dan mengembalikan objek koneksi.
":memory:"membuat basis data sementara di memori; nama berkas membuat atau membuka berkas basis data.Dipelajari di Modul 04 · Pelacakan eksperimen
tahapjuga: tahap model
Status siklus hidup sebuah versi model di registry, misalnya
kandidat,produksi, atauarsip. Tahap hanya berubah lewat transisi yang diizinkan, dan setiap nama model punya paling banyak satu versiproduksi.Dipelajari di Modul 05 · Registry model dan siklus rilis
tes arah
Tes perilaku model: mengubah satu fitur ke arah tertentu harus menggerakkan peluang ke arah yang diharapkan, baris demi baris.
Contoh: menaikkan
frekuensi_90htidak boleh menaikkan peluang churn.Dipelajari di Modul 08 · Pengujian sistem ML
tes fungsi minimumjuga: MFT, minimum functionality test
Tes dengan kasus sederhana yang pasti harus dijawab benar oleh model mana pun yang layak.
Contoh: pelanggan yang 60 hari tidak datang, jarang belanja, dan sering mengeluh harus mendapat peluang churn minimal 0,6.
Dipelajari di Modul 08 · Pengujian sistem ML
tes invarian
Tes perilaku model: mengubah hal yang seharusnya tidak berpengaruh tidak boleh mengubah peluang lebih dari toleransi. Diperiksa per baris, bukan lewat rata-rata.
Dipelajari di Modul 08 · Pengujian sistem ML
TestClientKelas FastAPI untuk mengirim permintaan HTTP ke aplikasi langsung di dalam proses, tanpa server dan jaringan. Dipakai di tes:
TestClient(app).post("/prediksi", json=...).Dipelajari di C2 · Modul 15 · Penyajian dan pemantauan model
training–serving skewjuga: training-serving skew, skew
Perbedaan antara fitur yang dihitung saat pelatihan dan fitur yang dihitung saat penyajian untuk baris yang sama. Penyebab tersering: kode fitur ditulis dua kali, misalnya sekali dengan pandas dan sekali lagi per baris untuk API.
Contoh: pelatihan memakai
recency_hari > 30, API memakai>= 30; pelanggan dengan recency tepat 30 hari mendapat fitur berbeda.Dipelajari di Modul 01 · Dari notebook ke produksi
TTLjuga: time to live
Batas umur nilai fitur. Nilai yang lebih tua dari TTL dianggap basi dan tidak dipakai, sehingga layanan tidak diam-diam memakai data lama.
Contoh: TTL 35 hari untuk fitur bulanan: snapshot bulan lalu masih boleh dipakai, snapshot dua bulan lalu tidak.
Dipelajari di Modul 06 · Fitur dan feature store
uji berpasangan
Uji statistik yang membandingkan dua model pada butir yang sama (benih, pelanggan, atau soal yang sama) lewat selisih per butir. Derau yang dialami kedua model bersamaan saling hapus, sehingga perbedaan kecil lebih mudah terlihat.
Contoh: C = 0,1 lawan C = 1 per benih memberi p = 8,42·10⁻⁶; uji tak berpasangan memberi 0,221.
Dipelajari di Modul 04 · Pelacakan eksperimen
uji Fisher eksakjuga: Fisher eksak, uji Fisher
Uji untuk membandingkan dua proporsi, misalnya laju galat dua versi, yang tetap sah untuk hitungan kecil. Peluangnya dihitung tepat dari sebaran hipergeometrik, bukan dari pendekatan normal.
Contoh: 12 galat dari 764 lawan 4 dari 1.968 memberi p = 0,000121.
Dipelajari di Modul 11 · Rilis aman
utilisasi
Bagian waktu pelayan sibuk, ρ = laju kedatangan / laju layan. Makin dekat ke 1, waktu menunggu tumbuh sangat cepat, jadi layanan direncanakan pada utilisasi 50–70%.
Dipelajari di Modul 10 · Penyajian model
validasi rentang
Pemeriksaan bahwa setiap nilai berada dalam rentang yang mungkin menurut arti kolomnya, sebelum dipakai model. Nilai kosong (
NaN) juga harus ditolak secara tegas.Contoh:
porsi_qrisadalah porsi, jadi harus di antara 0 dan 1; nilai 33 pasti rusak.Dipelajari di Modul 13 · Insiden dan keandalan
z kalibrasi
Statistik yang membandingkan jumlah churn teramati dengan jumlah yang diharapkan model: z = (Σy − Σp) / √Σp(1 − p). Bila model terkalibrasi, z kira-kira normal baku, jadi |z| ≥ 3 jarang terjadi karena kebetulan.
Contoh: September z = 8,07, tanda pergeseran konsep.
Dipelajari di Modul 07 · Pipeline pelatihan dan pelatihan berkelanjutan