Lewati ke konten utama
Numekara
Konsultasi GratisKontak

C4 · Modul 01

Peran data engineer dan siklus hidup data

39 langkah singkat, dari mudah sampai tantangan.

  1. Level 1

    Kenal

  2. Level 2

    Paham

  3. Level 3

    Terapkan

  4. Level 4

    Tantangan

  5. Level 5

    Pendalaman

Intinya

  • Data engineer membuat angka bisa dipercaya setiap pagi: data diambil, disimpan, diubah, dan disajikan dengan aturan tertulis yang bisa diulang.
  • Nyatakan grain setiap tabel ("satu baris adalah …") dan periksa kunci alaminya dengan kode.
  • Tanggal laporan diambil dari waktu kejadian, bukan nama berkas atau waktu muat; batch harian punya janji kesegaran yang harus ditulis.
  • Setiap langkah idempoten: dijalankan dua kali hasilnya sama (upsert per kunci alami, bukan INSERT buta).
  • Setiap tahap punya total kontrol yang dicocokkan dengan kontrak (1.529 → 1.516 item, 816 transaksi, Rp14.128.200).

Sebelum mulai

±5 jam.

Modul ini memakai materi di bawah. Belum yakin? Ulas dulu bagian yang disebut.

Hasil belajar: menjelaskan pekerjaan data engineer, bedanya dengan peran data lain, dan tempatnya di siklus hidup data Reis & Housley (2022); memetakan sumber data Warung Makmur dan memeriksa grain dengan kode, bukan dugaan; membedakan OLTP dan OLAP serta batch dan streaming, lalu mengukur keterlambatan ekspor harian; membuat langkah muat yang idempoten dan mengujinya dengan menjalankannya dua kali; merekonsiliasi angka laporan dengan data mentah lewat total kontrol.

Hasil lab: repositori gudang-makmur berisi SUMBER.md (peta lima sumber data: pemilik, format, frekuensi, volume, grain, jebakan, pertanyaan analis) dan profil.py yang mencetak total kontrol setiap sumber. Contoh diuji dengan Python 3.12 dan 3.13 (_kerangka/requirements.txt). Data ada di data/ course ini (kontrak: proyek-gudang.md); folder pos_harian/ dan berkas lain yang dibutuhkan contoh sudah tersedia di folder kerja.

Istilah di modul ini (40)

Ketuk istilah untuk melihat penjelasannya. Di materi, istilah bergaris titik membuka kartu yang sama. Semua istilah course

Bahan modul

Semua kode, latihan, dan data modul ini dalam satu zip, untuk dijalankan di laptop atau Google Colab.

  • 13 contoh kode
  • 7 berkas latihan + tes
  • 70 berkas data
  • requirements.txt
Semua data course (data-c4.zip) Cara menjalankan di laptop
Lihat isi zip
  • BACA-DULU.txt
  • contoh_c4_01_26.py
  • contoh_c4_01_217.py
  • contoh_c4_01_361.py
  • contoh_c4_01_392.py
  • contoh_c4_01_546.py
  • contoh_c4_01_708.py
  • contoh_c4_01_794.py
  • contoh_c4_01_827.py
  • contoh_c4_01_904.py
  • contoh_c4_01_1097.py
  • contoh_c4_01_1323.py
  • contoh_c4_01_1531.py
  • contoh_c4_01_1584.py
  • test_c4_01_2.py
  • test_c4_01_1.py
  • test_c4_01_4.py
  • test_c4_01_6.py
  • test_c4_01_5.py
  • test_c4_01_3.py
  • test_c4_01_7.py
  • cdc_pelanggan.jsonl
  • event_aplikasi.jsonl
  • pemasok_api/halaman_001.json
  • pemasok_api/halaman_002.json
  • pemasok_api/halaman_003.json
  • pemasok_api/halaman_004.json
  • pemasok_api/halaman_005.json
  • pos_harian/mesin_a_2026-09-01.csv
  • pos_harian/mesin_a_2026-09-02.csv
  • pos_harian/mesin_a_2026-09-03.csv
  • pos_harian/mesin_a_2026-09-04.csv
  • pos_harian/mesin_a_2026-09-05.csv
  • pos_harian/mesin_a_2026-09-06.csv
  • pos_harian/mesin_a_2026-09-07.csv
  • pos_harian/mesin_a_2026-09-08.csv
  • pos_harian/mesin_a_2026-09-09.csv
  • pos_harian/mesin_a_2026-09-10.csv
  • pos_harian/mesin_a_2026-09-11.csv
  • pos_harian/mesin_a_2026-09-12.csv
  • pos_harian/mesin_a_2026-09-13.csv
  • pos_harian/mesin_a_2026-09-14.csv
  • pos_harian/mesin_a_2026-09-15.csv
  • pos_harian/mesin_a_2026-09-16.csv
  • pos_harian/mesin_a_2026-09-17.csv
  • pos_harian/mesin_a_2026-09-18.csv
  • pos_harian/mesin_a_2026-09-19.csv
  • pos_harian/mesin_a_2026-09-20.csv
  • pos_harian/mesin_a_2026-09-21.csv
  • pos_harian/mesin_a_2026-09-22.csv
  • pos_harian/mesin_a_2026-09-23.csv
  • pos_harian/mesin_a_2026-09-24.csv
  • pos_harian/mesin_a_2026-09-25.csv
  • pos_harian/mesin_a_2026-09-26.csv
  • pos_harian/mesin_a_2026-09-27.csv
  • pos_harian/mesin_a_2026-09-28.csv
  • pos_harian/mesin_a_2026-09-29.csv
  • pos_harian/mesin_a_2026-09-30.csv
  • pos_harian/mesin_b_2026-09-01.csv
  • pos_harian/mesin_b_2026-09-02.csv
  • pos_harian/mesin_b_2026-09-03.csv
  • pos_harian/mesin_b_2026-09-04.csv
  • pos_harian/mesin_b_2026-09-05.csv
  • pos_harian/mesin_b_2026-09-06.csv
  • pos_harian/mesin_b_2026-09-07.csv
  • pos_harian/mesin_b_2026-09-08.csv
  • pos_harian/mesin_b_2026-09-09.csv
  • pos_harian/mesin_b_2026-09-10.csv
  • pos_harian/mesin_b_2026-09-10_ulang.csv
  • pos_harian/mesin_b_2026-09-11.csv
  • pos_harian/mesin_b_2026-09-12.csv
  • pos_harian/mesin_b_2026-09-13.csv
  • pos_harian/mesin_b_2026-09-14.csv
  • pos_harian/mesin_b_2026-09-15.csv
  • pos_harian/mesin_b_2026-09-16.csv
  • pos_harian/mesin_b_2026-09-17.csv
  • pos_harian/mesin_b_2026-09-18.csv
  • pos_harian/mesin_b_2026-09-19.csv
  • pos_harian/mesin_b_2026-09-20.csv
  • pos_harian/mesin_b_2026-09-21.csv
  • pos_harian/mesin_b_2026-09-22.csv
  • pos_harian/mesin_b_2026-09-23.csv
  • pos_harian/mesin_b_2026-09-24.csv
  • pos_harian/mesin_b_2026-09-25.csv
  • pos_harian/mesin_b_2026-09-26.csv
  • pos_harian/mesin_b_2026-09-27.csv
  • pos_harian/mesin_b_2026-09-28.csv
  • pos_harian/mesin_b_2026-09-29.csv
  • pos_harian/mesin_b_2026-09-30.csv
  • pos_harian/mesin_b_2026-10-01.csv
  • produk_riwayat.csv
  • requirements.txt