Back to Blog
Bank

AI On-Premise untuk Bank: Arsitektur, Server GPU, dan API

AI on-premise menjaga dokumen nasabah tetap di data center bank. Pelajari arsitektur, spesifikasi server GPU, dan integrasi API ke LOS.

Nov 21, 20266 min read

AI on-premise adalah model AI yang dijalankan di server milik bank sendiri, sehingga dokumen dan data nasabah tidak pernah keluar dari jaringan bank. Untuk pemrosesan dokumen kredit, kebutuhannya bisa dimulai dari satu server ber-GPU, antrean pekerjaan, dan integrasi API asinkron ke LOS.

Banyak bank tertarik memakai AI untuk membaca dokumen, tetapi ragu mengirim data nasabah ke layanan cloud publik. Kekhawatiran itu wajar. Dokumen kredit berisi NIK, alamat, nominal penghasilan, dan nomor rekening.

Artikel ini membahas arsitektur, spesifikasi server, dan contoh perhitungan kapasitas. Contohnya diambil dari rancangan BacaDoku AI, platform analisis dokumen kredit pensiun yang dikembangkan Zegen untuk dipasang di data center bank.

Mengapa bank memilih AI on-premise?

Ada tiga alasan utama, dan semuanya berkaitan dengan kepatuhan serta kendali.

  • Lokasi data. Pasal 35 POJK 11/POJK.03/2022 tentang Penyelenggaraan Teknologi Informasi oleh Bank Umum mewajibkan sistem elektronik bank ditempatkan di pusat data dan pusat pemulihan bencana di Indonesia. Penempatan di luar negeri memerlukan izin OJK.
  • Pelindungan data pribadi. UU PDP mewajibkan bank menjaga keamanan data nasabah selama diproses. Dengan AI on-premise, dokumen tidak berpindah ke pihak ketiga.
  • Kendali penuh. Bank menentukan versi model, jadwal pembaruan, dan kebijakan retensi. Server juga tidak memerlukan akses internet.

Arsitektur integrasi AI on-premise dengan LOS

Integrasi memakai pola asinkron berbasis REST/JSON. LOS tidak perlu menunggu proses AI selesai, sehingga pekerjaan petugas tidak terhambat.

  1. Kirim. LOS memanggil endpoint seperti POST /api/v1/extractions, berisi ID pengajuan dan berkas dokumen. Sistem membalas job_id dengan status accepted.
  2. Proses. Permintaan masuk antrean. Worker GPU menjalankan pipeline: baca dokumen, ekstraksi data, validasi silang, lalu skor kelayakan.
  3. Simpan. Hasil terstruktur, skor, penanda validasi, dan jejak audit disimpan di basis data.
  4. Kembalikan. Sistem memanggil callback LOS dengan hasil JSON. Alternatifnya, LOS melakukan polling ke endpoint status.

Seluruh lalu lintas berada di jaringan internal bank. Autentikasi antar sistem memakai mutual TLS ditambah OAuth2 client credentials atau API key. Callback dilengkapi idempotency key, retry bertahap, dan antrean dead-letter agar tidak ada hasil yang hilang.

Komponen perangkat lunak yang dibutuhkan

Semua komponen AI on-premise berjalan di dalam lingkungan bank. Berikut stack yang kami gunakan.

  • Model AI: vision-language model open-weight, misalnya Qwen3-VL, yang membaca teks, tabel, stempel, dan isian tangan dalam satu model.
  • Inference server: vLLM untuk menjalankan model di GPU secara efisien.
  • Antrean: Redis dengan BullMQ untuk mengatur pekerjaan.
  • Basis data: PostgreSQL untuk hasil, konfigurasi, dan jejak audit.
  • Penyimpanan dokumen: MinIO yang kompatibel dengan S3.
  • Gateway: Nginx dengan TLS, mutual TLS, dan rate limiting.
  • Aplikasi: Next.js untuk antarmuka, NestJS untuk backend, dikemas dalam container bertanda tangan.
  • Sistem operasi: Ubuntu Server LTS atau RHEL.

Spesifikasi server GPU untuk AI on-premise

Untuk beban menengah, konfigurasi minimum cukup satu server all-in-one. Aplikasi, basis data, dan inference AI berjalan di satu node, tanpa high availability.

  • Server: rackmount 2U ber-GPU, misalnya Dell PowerEdge R760xa, HPE ProLiant DL380a Gen11, atau Lenovo ThinkSystem SR675 V3.
  • CPU: 32 core, untuk API, antrean, serta pra dan pasca-proses dokumen.
  • RAM: 256 GB DDR5 ECC, dengan batas minimum 128 GB.
  • GPU: 1× NVIDIA L40S 48 GB untuk menjalankan model visi kelas 30B dalam presisi FP8.
  • Storage: NVMe RAID-1 untuk sistem dan basis data, ditambah NVMe RAID-1 terpisah untuk dokumen dan audit.
  • Jaringan: 2× 10 GbE dengan bonding, ditambah port manajemen terpisah.
  • Catu daya: PSU redundan.

GPU bersifat wajib. Vision-language model membutuhkan GPU untuk mencapai kecepatan target, dan CPU saja tidak memadai.

Contoh perhitungan kapasitas

Ukuran server AI on-premise ditentukan oleh volume dokumen dan jam sibuk. Perhitungan berikut adalah estimasi konservatif dari rancangan kami. Angka final tetap divalidasi melalui uji performa di perangkat bank.

Skenario 1, satu GPU L40S:

  • Beban: 500 debitur per hari × 30 dokumen = 15.000 dokumen per hari.
  • Kecepatan target: 30 dokumen per menit, atau 1.800 dokumen per jam.
  • Kapasitas 8 jam kerja: 14.400 dokumen, sehingga kebutuhan harian tuntas sekitar 8,3 jam.
  • Jam sibuk pukul 15.00–17.00 diserap antrean, tanpa perlu menambah GPU.

Skenario 2, satu GPU NVIDIA H200 NVL:

  • Target: minimal 60 dokumen per menit.
  • Gelombang puncak: 35 pengajuan serentak × 13 dokumen = 455 dokumen, tuntas sekitar 7,6 menit.
  • Satu pengajuan pada antrean normal selesai sekitar 30–60 detik.
  • Kapasitas 8 jam kerja: sekitar 28.800 dokumen, setara kurang lebih 2.200 pengajuan.

Antrean dibuat adil per pengajuan. Dengan begitu, puluhan pengajuan maju bersamaan dan hasilnya muncul bertahap setiap kali satu dokumen selesai.

Segmentasi keamanan AI on-premise dalam satu server

Prinsip segmentasi perbankan tetap bisa diterapkan walau hanya ada satu server. Caranya, aplikasi dipisah menjadi tiga mesin virtual dengan VLAN dan firewall.

  • VM web dan gateway: Nginx dan aplikasi web.
  • VM aplikasi dan AI: API, worker, antrean, dan inference. Hanya VM ini yang mendapat akses GPU melalui passthrough.
  • VM data: PostgreSQL dan penyimpanan dokumen.

Segmentasi ini bukan high availability. Opsi node ganda dan DRC bisa ditambahkan pada fase berikutnya.

Penyimpanan dan retensi dokumen

Kapasitas penyimpanan sering diremehkan saat merancang AI on-premise. Satu pengajuan berisi 13 dokumen hasil pindai 200–300 dpi, potongan bukti, dan hasil JSON. Ukurannya sekitar 20 MB. Dengan SSD data 960 GB, kapasitas efektifnya kurang lebih 35.000 pengajuan.

Untuk retensi jangka panjang, ada tiga pilihan: arsip berkala ke storage bank, penambahan SSD, atau mengarahkan penyimpanan ke storage S3-compatible milik bank. LOS tetap menjadi system of record.

Hal teknis yang sering terlewat

Proyek AI on-premise sering tertunda bukan karena modelnya, tetapi karena hal-hal berikut.

  • Pengadaan GPU. GPU kelas data center umumnya memerlukan formulir end-user dan kepatuhan ekspor. Waktu tunggunya bisa 8–12 minggu.
  • Konfigurasi server. Pastikan riser GPU, pendingin, kabel daya, dan PSU sesuai. Cek juga batas daya GPU pada model server yang dipilih.
  • Rilis offline. Server tidak terhubung internet, sehingga pembaruan dikirim sebagai paket container bertanda tangan dengan checksum.
  • Rollback cepat. Siapkan prosedur kembali ke versi sebelumnya dalam waktu kurang dari 30 menit.
  • Pembaruan model. Model baru hanya dirilis bila akurasinya pada dataset uji bank tidak menurun.
  • Pemantauan. Pantau throughput, panjang antrean, suhu dan memori GPU, serta kapasitas disk. Kirim log dan audit ke SIEM bank.

Jalur peningkatan kapasitas AI on-premise

Arsitektur yang baik bisa tumbuh tanpa dibongkar. Bila volume naik, bank cukup menambah GPU kedua untuk throughput sekitar dua kali lipat. Basis data juga bisa dipindah ke server terpisah. Karena worker bersifat stateless, node GPU baru bisa ditambahkan kapan saja, termasuk konfigurasi HA dan DRC.

Pertanyaan yang sering diajukan

Apakah AI on-premise bisa berjalan tanpa GPU?

Untuk vision-language model, tidak disarankan. Tanpa GPU, waktu proses per dokumen terlalu lama untuk kebutuhan operasional bank.

Apakah model AI membutuhkan koneksi internet?

Tidak. Model dan aplikasi berjalan sepenuhnya di jaringan internal. Pembaruan dikirim sebagai paket offline.

Apakah server ini hanya untuk kredit pensiun?

Tidak. Mesin yang sama bisa dipakai untuk dokumen KYC, berkas kredit lain, hingga dokumen operasional. Contoh penerapannya ada di panduan analisa kelayakan kredit pensiunan dan pencocokan data lintas dokumen.

Bagaimana hasilnya masuk ke sistem bank?

Melalui API asinkron dengan callback ke LOS atau sistem inti. Untuk konteks alur kredit, baca juga pengertian loan origination system.

Langkah berikutnya

Mulailah dengan menghitung volume dokumen harian dan jam sibuk bank Anda. Dari situ, ukuran server dan GPU bisa ditentukan dengan tepat. Hubungi tim Zegen untuk sizing infrastruktur dan proof of concept BacaDoku AI di lingkungan bank Anda.

Comments

Comments

Leave a quick thought about this article.