Lewati ke konten utama
Numekara
Konsultasi GratisKontak

C3 · Modul 01

Cara kerja LLM dari sisi API

52 langkah singkat, dari mudah sampai tantangan.

  1. Level 1

    Kenal

  2. Level 2

    Paham

  3. Level 3

    Terapkan

  4. Level 5

    Pendalaman

Intinya

  • Model membaca token, bukan huruf. Teks Indonesia butuh 1,3–2 kali token padanan Inggrisnya; hitung dengan tokenizer model atau usage, bukan len(teks) // 4.
  • Jendela konteks mencakup masukan dan keluaran, dan semua yang dikirim (prompt sistem, riwayat, potongan dokumen) dibayar di setiap panggilan. Tulis anggarannya dan pangkas sendiri.
  • temperature, top_k, top_p, dan seed mengubah cara memilih token, bukan pengetahuan model. temperature 0 pun tidak menjamin keluaran sama, jadi tes memakai model tiruan dan evaluasi mengukur sifat.
  • Baca finish_reason sebelum memakai keluaran: length dan content kosong adalah kegagalan, dan field penalaran bukan jawaban.
  • Biaya = token × tarif, dalam integer mikro-USD dengan Decimal. Tarif bertanggal dan bersumber; model yang tidak dikenal tidak pernah dihitung nol.

Sebelum mulai

±5 jam.

Modul ini memakai materi di bawah. Belum yakin? Ulas dulu bagian yang disebut.

  • F1 Python (dict, fungsi, `try`/`except`). Tidak perlu course lain

Hasil belajar: menghitung token dengan tokenizer yang benar dan menjelaskan mengapa teks Indonesia memakan 1,3–2 kali token padanan Inggrisnya; menulis anggaran konteks dan memangkasnya sendiri; memilih temperature, top_k, top_p, dan seed dengan sadar, lalu merancang tes yang tidak runtuh karena nondeterminisme, termasuk di temperature 0; membaca finish_reason dan usage (token masuk, keluar, ter-cache, penalaran) dan menghitung biaya dalam integer mikro-USD tanpa float; mengukur latensi sebagai waktu ke token pertama dan laju keluaran; mengenali keluarga model beserta konsekuensinya, dan memperlakukan halusinasi sebagai sifat yang dirancang, bukan bug.

Proyek: tiga latihan terperiksa (anggaran konteks, finish_reason, biaya); repo tanyadok dengan ukur_token.py, tarif_model.json, dan probe_model.py beserta tesnya di tanyadok/scripts/, serta sampel teks dan catatan-model.md berisi pengukuranmu sendiri di tanyadok/docs/ai/.

Istilah di modul ini (29)

Ketuk istilah untuk melihat penjelasannya. Di materi, istilah bergaris titik membuka kartu yang sama. Semua istilah course

Bahan modul

Semua kode, latihan, dan data modul ini dalam satu zip, untuk dijalankan di laptop atau Google Colab.

  • 26 contoh kode
  • 3 berkas latihan + tes
Cara menjalankan di laptop
Lihat isi zip
  • BACA-DULU.txt
  • contoh_c3_01_41.py
  • contoh_c3_01_62.py
  • contoh_c3_01_86.py
  • contoh_c3_01_104.py
  • contoh_c3_01_147.py
  • contoh_c3_01_166.py
  • contoh_c3_01_192.py
  • contoh_c3_01_224.py
  • contoh_c3_01_374.py
  • contoh_c3_01_441.py
  • contoh_c3_01_528.py
  • contoh_c3_01_574.py
  • contoh_c3_01_628.py
  • contoh_c3_01_647.py
  • contoh_c3_01_674.py
  • contoh_c3_01_810.py
  • contoh_c3_01_833.py
  • contoh_c3_01_890.py
  • contoh_c3_01_915.py
  • contoh_c3_01_936.py
  • contoh_c3_01_959.py
  • contoh_c3_01_986.py
  • contoh_c3_01_1126.py
  • contoh_c3_01_1182.py
  • contoh_c3_01_1216.py
  • contoh_c3_01_1376.py
  • test_c3_01_7.py
  • test_c3_01_6.py
  • test_c3_01_2.py