LexRAGLab
LexRAGLab mengukur setting chunking dan retrieval untuk satu keluarga dokumen hukum Indonesia, lalu mengeluarkan profil setting berversi yang bisa dipasang ke pipeline RAG mana pun. Saya membangunnya sendirian untuk Meta Global AI Developer Hackathon (track Indie, tema “Build for Your World”), 26 Oktober sampai 4 November 2026, dengan Muse Spark lewat Meta Model API.
Masalah yang ingin dijawab sederhana. Ukuran chunk biasanya diambil dari tutorial. Pada peraturan perundang-undangan, tebakan itu bisa memotong ayat di tengah, model lalu mengutip separuh norma, dan tidak ada angka yang bisa dipakai untuk membela pilihan tersebut.
Cara kerjanya: operator menetapkan gold span, yaitu rentang karakter di dokumen sumber yang memuat jawaban. Grid setting (chunker, ukuran dan overlap, dense/BM25/hybrid, context header hidup atau mati) dinilai pada anggaran token yang tetap, bukan pada K yang tetap. Setting dipilih di split tune dan dilaporkan di split held-out. Muse Spark mengusulkan skema struktur dokumen, menulis context header, menjawab dengan sitasi yang diperiksa verifier deterministik, dan mengusulkan butir evaluasi. Semua usulan model saya review dulu; yang belum disetujui tidak dipakai. Pencarian grid sendiri tidak memakai LLM.
Hasilnya, dengan n kecil dan hitungan mentah tanpa klaim signifikansi:
- UU 40/2007 tentang Perseroan Terbatas (konsolidasi tidak resmi per 30 Desember 2022, 46.583 token): setting terpilih (chunker skema struktur, dense, header mati, anggaran 2.000 token) mencakup penuh 6 dari 8 butir held-out yang punya gold span, dengan rata-rata span recall 0,75.
- Akta notaris (lima akta sintetis, keluarga dokumen tanpa parser): dengan retrieval dense, skema struktur usulan Muse Spark yang saya koreksi mencakup penuh 69 dari 69 butir. Fixed-size 512/64 mencakup 64, satu chunk per akta mencakup 0.
Backend Python 3.12 + FastAPI, frontend React + TypeScript, penyimpanan berkas saja tanpa database maupun vector database. Profil yang diekspor di-hash dan ditolak bila korpusnya berbeda. Replay statis di GitHub Pages bisa dicoba tanpa API key. Proyek sudah disubmit pada 1 November 2026, berlisensi Apache-2.0.
Ini demo riset, bukan nasihat hukum.