C13 · CV Terapan

Mengolah citra menjadi keputusan yang bisa diperiksa: citra sebagai larik, filter dan tepi, ambang dan morfologi, transformasi dan augmentasi, klasifikasi, evaluasi dan kalibrasi, deteksi dengan IoU, NMS, dan mAP yang dihitung sendiri, segmentasi, OCR struk, pelacakan sederhana, mutu label, dan deploy ringan, lalu dibandingkan jujur dengan model pralatih yang di-fine-tune di GPU gratis.

Course pilihan jalur Data & AI sesudah C9, untuk ML Engineer yang bekerja dengan kamera, foto produk, atau dokumen pindaian. Versi ini berupa Markdown yang bisa dibaca langsung di GitHub; latihannya diperiksa otomatis dan berjalan di peramban.

---

Posisi course

Kenapa course ini ada

C9 menurunkan konvolusi sampai ke gradiennya, melatih CNN untuk digit 8×8, dan memperkenalkan transfer learning sekilas (Konvolusi). C3 membaca nota dan dokumen pindaian lewat OCR dan model vision, lalu mengukurnya dengan CER/WER (Multimodal). Di antara keduanya ada pekerjaan yang paling sering dilakukan ML Engineer visi: menyiapkan citra yang berantakan (cahaya, warna kamera, kemiringan), memilih metrik yang tepat, menghitung mAP dengan benar, memisahkan objek yang berdempet, menemukan label yang keliru, dan memastikan model yang diekspor menghasilkan angka yang sama dengan model yang dilatih.

Kesalahan visi komputer jarang muncul sebagai galat. uint8 yang meluap diam- diam, citra BGR yang dikira RGB, praproses yang berbeda saat inferensi, kotak xywh yang dikira xyxy, AP yang dihitung tanpa NMS, salinan hampir kembar yang bocor ke data uji, atau model kuantisasi yang bergeser beberapa persen. C13 mengajarkan cara menangkap semua itu dengan kode yang diperiksa.

Cara klasik dan cara modern

Cara klasik di course ini: larik uint8, ruang warna dan histogram, ekualisasi, konvolusi dengan mode tepi, Gaussian terpisah, median, Sobel dan Canny, Otsu dan ambang adaptif, morfologi, koordinat homogen, interpolasi bilinear, homografi, HOG sederhana, matriks konfusi multikelas, ECE dan temperature scaling, hash persepsi, IoU, NMS, AP/mAP, RLE dan Dice, komponen terhubung dengan union-find, transformasi jarak, profil proyeksi dan pencocokan templat untuk OCR, latar median, penugasan Hungaria, kuantisasi afin. Semuanya ditulis sendiri dengan NumPy, lalu dicocokkan dengan scipy.ndimage atau scikit-learn bila ada.

Cara modern: model pralatih (keluarga ResNet, ConvNeXt, ViT) dengan transfer learning, detektor dan segmenter pralatih di torchvision atau Hugging Face, OCR siap pakai (Tesseract, PaddleOCR, TrOCR) atau model vision lewat API (C3), ekspor ONNX dan ONNX Runtime, kuantisasi pascapelatihan, alat anotasi, dan agen AI yang menulis pipeline. Semuanya di Google Colab atau Kaggle, lalu dibandingkan dengan baseline klasik di data dan pemisahan yang sama.

Polanya sama di setiap modul: tulis versi klasik dengan NumPy dan ukur, jalankan versi modern di Lab, lalu bandingkan dengan jujur.

Pemilik materi

C13 memiliki: pemrosesan citra klasik, augmentasi yang menjaga label, metrik deteksi dan segmentasi, kalibrasi multikelas dengan suhu, hash persepsi, pipeline OCR dari piksel, pelacakan sederhana, mutu label citra, dan kuantisasi afin untuk deploy. C13 menautkan, tidak mengajarkan ulang:

Untuk siapa dan prasyarat

• Wajib: C2 Machine Learning (regresi logistik, evaluasi, validasi) dan C9 Deep Learning (konvolusi, CNN, PyTorch di Colab, transfer learning, kuantisasi).
• Dianjurkan: C3 AI Engineering, khususnya Multimodal untuk Modul 10 (pipeline OCR) dan Privasi, etika, dan kepatuhan untuk Modul 14. Tanpa C3, setiap modul memberi ringkasan satu layar dan tautannya.
• F1 Python dan F5 Rilis untuk repo proyek dan Lab Tayang.
• Matematika: Aljabar Linear (matriks transformasi, koordinat homogen, sistem linear untuk homografi) dan Statistika dan Probabilitas (histogram, kalibrasi, interval).
• Sapaan "kamu", sama dengan course lain.

Lingkungan lab

Citra latihan berukuran kecil (24×24 sampai 140×112) dan disimpan sebagai larik uint8 mentah (citra.bin + meta.json), sehingga cukup dibaca dengan np.fromfile(...).reshape(...), tanpa pustaka citra. PyTorch, torchvision, OpenCV, scikit-image, dan ONNX Runtime tidak dipakai di latihan terperiksa: sebagian tidak ada di peramban, sebagian tidak ada di pemeriksa. Kode Lab ditulis terhadap versi yang dicek penulis modul (tanggal dan versi dicatat di modulnya, sama seperti C9). Nama model pralatih, ukurannya, dan lisensinya dicek di halaman resminya saat modul ditulis dan ditandai perlu dicek ulang. Untuk Lab Colab, pembangkit data membuat versi etalase yang lebih besar (python data/buat_data.py --besar 96).

Satu kali menjalankan kode dibatasi 15 detik (citra kecil dan kode tervektorisasi; batas=N sampai 120 detik hanya bila tidak bisa dihindari).

Waktu: ±6 jam per modul (Modul 14 ±5 jam, Modul 15 ±8 jam), total ±90 jam; bagian pendalaman, Lab Colab yang ditandai opsional, dan Lab Tayang di luar hitungan itu.

Silabus (15 modul)

Proyek: Netra Makmur

Peserta membangun netra, pustaka visi komputer mini dengan NumPy untuk Warung Makmur yang memasang kamera rak dan mulai memotret struk. netra mengenali produk di etalase, mendeteksi barang di rak dan memeriksa planogram (slot kosong, barang salah tempat), menghitung telur di tray, membaca struk dari piksel sampai total, menghitung kardus di konveyor gudang, menilai mutu label, dan menyiapkan model kecil untuk dijalankan di CPU. Semua citra digambar prosedural dari bentuk sederhana (data/buat_data.py): tidak ada foto, tidak ada orang, tidak ada wajah. Kontrak: proyek-netra.md.

Lencana Tayang (bukan syarat lulus): demo "Netra Makmur" di Streamlit Community Cloud yang menjalankan inferensi netra dengan NumPy di CPU, dengan kartu model, GitHub Actions hijau, dan README portofolio. Daftar periksa lengkap ada di Modul 15.

Kerangka setiap modul

Modul ditulis langsung dalam mode langkah (satu layar satu ide, setiap layar berakhir dengan interaksi), dengan bagian:

# Modul NN · Judul

> **Hasil belajar:** 3–5 kemampuan yang bisa diamati
> **Prasyarat:** modul sebelumnya dan modul course lain (bertaut, dengan judul topiknya)
> **Waktu:** ± X jam
> **Hasil lab:** apa yang ditambahkan ke `netra`

## Intinya                          (3–5 butir)
## 1..N. Bagian per konsep           (contoh dulu, lalu penjelasan singkat; cek, animasi, playground, latihan)
##       Di balik layar              (mekanisme di bawah pustaka; dipakai latihan)
## N+1. Proyek: Netra Makmur         (lab; "Selesai bila:"; Lab Colab untuk cara modern)
## N+2. Belajar bersama AI           (tugas tanpa AI, tugas dengan AI, bandingkan)
## N+3. Pendalaman (opsional)        (studi kasus rekaan, di skala enterprise)
## Rangkuman                         (3–7 butir)
## Sumber                            (dokumentasi resmi + rujukan klasik, bertanggal)

Bekerja dengan agen, pola yang sama di setiap modul. Kerjakan dulu tugas kecil tanpa AI agar kamu tahu jawaban yang benar. Lalu minta agen menulis kode dengan instruksi yang menyebut bentuk larik, dtype, format kotak, dan tes yang harus gagal pada kode naif. Kesalahan agen di visi komputer hampir tidak pernah memunculkan galat: penjumlahan uint8 yang meluap, sumbu x dan y yang tertukar, kotak inklusif vs eksklusif, AP tanpa pencocokan satu-satu, atau praproses inferensi yang berbeda dari pelatihan. Yang menangkapnya adalah tes sifat, angka rujukan, dan citra sulit yang sudah kamu kumpulkan sendiri.

Aturan isi:

• Tulis, ukur, bandingkan. Setiap operasi citra ditulis sendiri dengan NumPy dan dicocokkan dengan scipy.ndimage atau scikit-learn bila ada; setiap model modern dibandingkan dengan baseline di pemisahan yang sama.
• Angka dari kode, bukan dari ingatan. Akurasi, ECE, IoU, AP, Dice, CER, dan latensi di prosa diambil dari contoh yang diperiksa mesin; angka rujukan ada di kontrak.
• Tes memeriksa perilaku, bukan bentuk: penjumlahan yang tidak meluap, rotasi 360° yang kembali ke citra semula (dalam toleransi), NMS yang tidak menghapus kelas lain, AP yang tidak menghitung satu kebenaran dua kali, komponen terhubung yang sama dengan scipy.ndimage.label. Kode awal yang naif harus gagal.
• Keacakan selalu berbenih (np.random.default_rng(0)).
• Pustaka berat hanya di Lab, dengan versi dan tanggal cek; lisensi model dan dataset disebut (beberapa detektor populer berlisensi AGPL, beberapa dataset hanya untuk riset).
• Tanpa wajah dan tanpa orang di data, contoh, dan Lab. Keamanan dan privasi hanya dari sisi defensif.
• Studi kasus memakai skenario rekaan yang mewakili kejadian umum, ditandai rekaan.
• Sumber klasik bergantian: Szeliski Computer Vision: Algorithms and Applications (edisi ke-2, 2022); Gonzalez & Woods Digital Image Processing (edisi ke-4, 2018); Hartley & Zisserman Multiple View Geometry (2004); makalah asli di setiap modul.
• Patokan CS2023: knowledge area Artificial Intelligence (Perception and Computer Vision, Machine Learning) dan Graphics and Interactive Techniques (citra digital).

Batas cakupan

Disentuh sekilas atau di luar cakupan: geometri multi-kamera dan rekonstruksi 3D, aliran optik, model generatif citra (difusi), pelatihan detektor besar dari nol, video berskala besar, dan perangkat keras kamera. Pengenalan wajah, pengenalan identitas, pelacakan orang, dan analisis biometrik tidak diajarkan sebagai fitur; Modul 14 membahas mengapa, dan cara mengukur serta membatasi risiko sistem kamera dari sisi defensif.

Hubungan dengan course lain

Sumber

Rujukan utama course; setiap modul mencantumkan sumbernya sendiri dengan tanggal cek.

• Szeliski, R. (2022). Computer Vision: Algorithms and Applications, edisi ke-2. Springer.
• Gonzalez, R. C., & Woods, R. E. (2018). Digital Image Processing, edisi ke-4. Pearson.
• Hartley, R., & Zisserman, A. (2004). Multiple View Geometry in Computer Vision, edisi ke-2. Cambridge University Press.
• Canny, J. (1986). A Computational Approach to Edge Detection. IEEE PAMI. Otsu, N. (1979). A Threshold Selection Method from Gray-Level Histograms. IEEE SMC.
• Dalal, N., & Triggs, B. (2005). Histograms of Oriented Gradients for Human Detection. CVPR (dipakai untuk fitur HOG; course ini tidak mendeteksi manusia).
• He, K., dkk. (2016). Deep Residual Learning for Image Recognition. CVPR. Dosovitskiy, A., dkk. (2021). An Image is Worth 16x16 Words. ICLR.
• Everingham, M., dkk. (2010). The PASCAL Visual Object Classes (VOC) Challenge. IJCV. Lin, T.-Y., dkk. (2014). Microsoft COCO. ECCV.
• Neubeck, A., & Van Gool, L. (2006). Efficient Non-Maximum Suppression. Bodla, N., dkk. (2017). Soft-NMS. ICCV.
• Ronneberger, O., Fischer, P., & Brox, T. (2015). U-Net. MICCAI. Dice, L. R. (1945). Measures of the Amount of Ecologic Association Between Species.
• Guo, C., dkk. (2017). On Calibration of Modern Neural Networks. ICML.
• Smith, R. (2007). An Overview of the Tesseract OCR Engine. ICDAR.
• Kuhn, H. W. (1955). The Hungarian Method for the Assignment Problem. Bewley, A., dkk. (2016). Simple Online and Realtime Tracking. ICIP. Bernardin, K., & Stiefelhagen, R. (2008). Evaluating Multiple Object Tracking Performance: The CLEAR MOT Metrics.
• Jacob, B., dkk. (2018). Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference. CVPR.
• Hendrycks, D., & Dietterich, T. (2019). Benchmarking Neural Network Robustness to Common Corruptions and Perturbations. ICLR.
• Northcutt, C., Jiang, L., & Chuang, I. (2021). Confident Learning: Estimating Uncertainty in Dataset Labels. JAIR.
• Gebru, T., dkk. (2021). Datasheets for Datasets. CACM. Mitchell, M., dkk. (2019). Model Cards for Model Reporting. FAT*.