C3 · AI Engineering

Membangun aplikasi LLM yang benar, aman, terukur, dan hemat.

Course jalur Data & AI untuk calon AI Engineer: model bahasa dipakai lewat API sebagai inti produk, lalu dibuktikan benar dengan evaluasi, dijaga dengan guardrail, diukur biayanya, dan ditayangkan di URL publik.

Versi ini berupa Markdown yang bisa dibaca langsung di GitHub; latihannya diperiksa otomatis di peramban.

---

Posisi course

Apa yang dipelajari

C3 menjadikan AI sebagai inti produk, bukan fitur tempelan: cara kerja model dari sisi API, pencarian semantik, RAG, evaluasi yang serius, agen dan alat (termasuk membangun agen dari nol), MCP, keamanan khusus LLM, privasi, observabilitas, biaya, pemilihan model, multimodal, dan rilis.

Mekanisme di dalam model (tokenisasi BPE, sampling, attention, KV cache, LoRA) diajarkan di C9 Deep Learning; C3 memakai akibatnya bagi biaya, latensi, dan mutu, lalu menautkan ke modul C9 yang tepat.

Pendekatan

Agentic engineering. Agen koding menulis sebagian besar kode, manusia menulis spesifikasi dan golden set lebih dulu, lalu memeriksa lewat tes, evaluasi, dan review. Sepertiga isi adalah literasi yang wajib untuk menilai kerja agen dan kerja model: token, embedding, metrik, dan pola serangan.

Tingkat yang dicapai

Tanpa GPU

Model dipanggil lewat API bertier gratis dengan kunci milikmu, atau model lokal kecil lewat Ollama. Tes dan CI memakai FakeLlm dan embedding palsu yang deterministik, sehingga tidak ada biaya dan tidak ada jaringan. Data di tier gratis hanya data sintetis atau publik.

Jalur bawaan (dapat diganti):

Batas tier gratis dan tarif berubah. Satu-satunya tabel tarif course ini ada di Modul 01, bertanggal dan bertanda perlu dicek ulang; modul lain merujuk ke sana.

Tumpukan teknologi

FastAPI + Pydantic, PostgreSQL + pgvector + Alembic, Docker, uv, pytest, GitHub Actions, dan Streamlit untuk antarmuka. Semuanya diperkenalkan seperlunya di modul yang memakainya; kerangka awal repo dijelaskan di Modul 02 dan kontrak capstone-tanyadok.md §0. Pola yang dipakai berulang: LlmClient + FakeLlm, outbox dan worker (Modul 06), Problem Details, ai_generations, ai_usage. Antarmuka web TypeScript (misalnya Next.js) boleh dipakai di capstone, tetapi tidak diajarkan di sini.

Prasyarat: F1 Python, F2 SQL, dan F5 Rilis (uv, Docker, GitHub Actions, tayang). C9 Deep Learning dianjurkan untuk memahami mekanisme di dalam model; C1 Data Science membantu di bagian statistik evaluasi (Modul 08 dan 18).

---

Silabus (18 modul)

Setiap modul ±4–7,5 jam (lihat baris Waktu tiap modul), total ±105 jam: ringkasan "Intinya", konsep dengan "Di balik layar", latihan terperiksa, kerja dengan agen, lab yang memajukan proyek terpandu tanyadok, daftar periksa review, studi kasus, dan kuis.

Bagian A · Fondasi LLM

Bagian B · Pengetahuan: retrieval dan RAG

Bagian C · Agen dan alat

Bagian D · Produksi

Bagian E · Multimodal dan rilis

---

Proyek terpandu: tanyadok

Asisten tanya-jawab dokumen untuk organisasi. Setiap organisasi (tenant) mengunggah SOP, kebijakan, dan panduan internal, lalu memilih regulasi publik yang relevan dari JDIH. Anggota bertanya dengan bahasa sehari-hari dan mendapat jawaban bersitasi (dokumen, pasal atau bagian, halaman), atau "tidak ditemukan di dokumen" bila sumber tidak memuatnya.

Dipilih karena memaksa semua topik penting muncul secara alami: dokumen nyata yang berantakan, struktur hukum Indonesia (bab, pasal, ayat, perubahan), isolasi data antar-tenant di pencarian vektor, injeksi lewat dokumen yang diunggah, evaluasi yang bisa diperiksa, dan biaya yang naik bersama jumlah pertanyaan. Regulasi Indonesia bebas dipakai sebagai korpus (UU Hak Cipta tidak melindungi peraturan perundang-undangan; diverifikasi di Modul 14).

Peran: pemilik, admin (kelola dokumen dan anggota), editor (unggah), anggota (bertanya).

Fitur inti (dibangun bertahap):

1. Ingest dokumen dengan potongan sadar struktur dan versi.
2. Pencarian hibrida per tenant dengan rerank.
3. Jawaban bersitasi dengan streaming, riwayat percakapan, dan "tidak ditemukan".
4. Kerangka evaluasi dengan gerbang CI.
5. Agen yang membandingkan versi dokumen dan membuat draf, dengan persetujuan.
6. Server MCP berlingkup tenant.
7. Suite red team dan guardrail.
8. Tracing, biaya per tenant, cache, routing model.
9. Tanya dari dokumen pindaian.
10. Umpan balik pengguna yang masuk ke golden set.

Kriteria lulus Production Readiness Review (Modul 18; berlaku juga untuk capstone pilihan). Templat lengkapnya di Modul 18. Ringkasnya:

• Dasar aplikasi: tes alur inti di CI pada setiap PR, tidak ada akses lintas tenant, migrasi otomatis yang bisa dibatalkan, rahasia tidak ada di repo, latihan backup dan pulih sekali, runbook dan SLO. Kriteria webhook dan pembayaran hanya bila produk memuatnya (tulis "tidak berlaku" beserta alasannya).
• Fitur AI: alur utama tetap jalan saat AI mati atau kuota habis, tidak ada data pribadi yang tidak perlu ke penyedia, keluaran berdampak lewat persetujuan manusia atau validasi deterministik, kuota atomik dan alert biaya harian.
• Khas C3:
  • Laporan evaluasi tersimpan: recall@k retrieval dan kesetiaan jawaban di atas ambang tertulis, dengan baseline; regresi memblokir rilis.
  • Setiap jawaban punya sitasi yang mengarah ke potongan sumber; tanpa sumber memadai, jawabannya "tidak ditemukan".
  • Isolasi tenant di retrieval dibuktikan dengan dokumen kanari.
  • Suite red team minimal 30 kasus, termasuk injeksi lewat dokumen yang diunggah, lulus di CI.
  • Biaya per pertanyaan dan p95 latensi terukur dan di bawah anggaran tertulis.
  • Setiap permintaan AI punya trace (retrieval, versi prompt, model, token) tanpa data pribadi mentah.

Tayang (lencana, bukan syarat lulus). Edisi demo tanyadok di URL publik: API dalam container di Render Free dan antarmuka di Streamlit Community Cloud (dicek 22 Oktober 2026, perlu dicek ulang), satu tenant dengan korpus publik atau sintetis, GET /health yang sehat, mode terdegradasi bila kunci API kosong, plafon biaya, CI hijau (tes, evaluasi, red team, pemindai rahasia), dan README portofolio dengan angka evaluasi, biaya, dan p95 latensi. Rinciannya di Modul 18 dan kontrak §9.

Kontrak teknis ada di capstone-tanyadok.md.

---

Capstone: tujuh pilihan

Syarat dasar: fullstack (API, basis data, antarmuka) dan ada penggunaan AI. Di C3, AI adalah inti produk, sehingga setiap capstone juga wajib memuat retrieval atau agen dengan alat, evaluasi di CI, guardrail, dan observabilitas, lalu boleh mengejar lencana Tayang seperti tanyadok. Rincian di capstone-pilihan.md.

---

Konvensi penulisan modul

Berkas NN-slug.md; bahasa Indonesia, istilah teknis Inggris apa adanya; kalimat pendek; sapa pembaca dengan "kamu"; kode di blok berlabel; Mermaid boleh.

# Modul NN · Judul

> **Hasil belajar:** 3–5 kemampuan yang bisa diamati
> **Prasyarat:** modul sebelumnya / pengetahuan
> **Waktu:** ± X jam
> **Hasil lab:** apa yang berubah di repo tanyadok

## Intinya                    (3–5 butir)
## 1. Masalah nyata
## 2. Konsep inti
### 2.N Di balik layar: …    (wajib, minimal satu: cara kerja retrieval, evaluasi,
                              atau biaya di bawah pustaka — BM25, metrik IR,
                              hitungan biaya; mekanisme model ditautkan ke C9)
## 3. Bekerja dengan agen
### Tugas tanpa AI (cara klasik)
### Tugas dengan AI (cara modern)
### Bandingkan
## 4. Lab
### Latihan terperiksa        (≥ 3, label **Tingkat:**)
   lalu lab tanyadok, diakhiri "Selesai bila:" yang bisa diuji dengan perintah
## 5. Daftar periksa review
## 6. Red flag kode agen dan jebakan umum
## 7. Studi kasus
## 8. Di skala enterprise
## 9. Kuis (8–10 soal pilihan ganda, kunci dan alasan di akhir)
## Sumber (dokumentasi resmi + minimal satu rujukan klasik, tanggal dicek)

Retrieval klasik (BM25, TF-IDF, metrik IR) ditulis sendiri sebelum memakai pustaka. Latihan terperiksa (metrik retrieval, chunking, validator sitasi, perhitungan biaya, anggaran konteks, loop agen) memakai Python pustaka standar tanpa panggilan API. Satu konsep punya satu rumah: modul lain menautkan, tidak mengulang.

Jalur berkas milik repo proyek ditulis dengan awalan tanyadok/ (misalnya tanyadok/docs/ai/eval.md). Potongan kode tanyadok yang butuh pustaka luar ditandai python statis.

Aturan isi:

• Benar lebih penting dari lengkap. Harga, tier gratis, nama model, versi, dan spesifikasi (mis. MCP) diverifikasi dari sumber resmi, diberi tanggal, dan ditandai "perlu dicek ulang" bila mudah berubah.
• Contoh kode harus benar dan berjalan; tes memakai FakeLlm dan embedding palsu, tanpa panggilan API berbayar.
• Keamanan dan evaluasi bukan bab tambahan. Setiap modul menyebut risiko dan cara mengukurnya.
• Netral penyedia. Contoh memakai API kompatibel OpenAI; sebut padanannya.
• Studi kasus berupa skenario rekaan yang ditandai rekaan, atau kejadian publik dengan sumber yang bisa dibuka pembaca. Tidak ada rahasia, data pribadi, atau rujukan ke repositori yang tidak bisa diakses pembaca.