Kalau setiap beberapa hari kita perlu top-up untuk memakai AI, cukup wajar kalau mulai mencari model lain yang lebih murah. Apalagi apabila pekerjaan kita sebagian besar berulang. Membaca file yang formatnya mirip, mengambil informasi yang sama, lalu membuat laporan dengan struktur yang sama.
Ada anggapan bahwa kalau kita cukup pintar membuat instruksi dan skill, model yang lebih murah seharusnya sudah cukup. Menurut saya ini menarik untuk dibahas, karena membuat instruksi yang bagus juga membutuhkan waktu. Kita perlu mencari contoh, mencoba hasilnya, memperbaiki bagian yang salah, lalu mencoba lagi.
Sehingga kita perlu menghitung biaya pemakaian AI dan waktu kerja yang dibutuhkan agar hasilnya bisa dipakai.
Di artikel ini kita coba membahas biaya untuk menyelesaikan 1 jenis pekerjaan. Semua nominal dan waktu pengerjaan dalam contoh adalah asumsi untuk mempermudah perhitungan, bukan harga model tertentu atau data operasional perusahaan.
Bagian Mana yang Bisa Dibantu Skill?
Anggap saja setiap minggu tim kita menerima laporan penjualan dari beberapa cabang. AI diminta membaca file tersebut, menghitung penjualan bersih, lalu menjelaskan cabang mana yang hasilnya berbeda jauh dari minggu sebelumnya.
Pekerjaan ini membutuhkan penjelasan yang cukup spesifik. Apakah transaksi yang dibatalkan masih ada di file? Apakah diskon sudah mengurangi nominal penjualan? Kalau nama cabang ditulis dengan cara yang berbeda, apakah datanya perlu digabung? Refund dicatat pada minggu transaksi awal atau minggu uang dikembalikan?
Orang yang biasa membuat laporan tersebut kemungkinan sudah tahu jawabannya. Agar AI bisa mengikuti cara kerja yang sama, kita bisa membuat skill yang berisi aturan, contoh file, dan script untuk perhitungan yang berulang.
Skill di sini adalah paket instruksi dan bahan pendukung yang bisa dipakai AI saat mengerjakan tugas tertentu. Membuat skill tidak otomatis mengubah model dasarnya seperti pada proses training.*
Dengan skill tersebut, AI tidak perlu mencari cara dari awal setiap kali menerima file. Misalnya untuk menghitung total, AI menjalankan script yang sudah kita cek, lalu memakai hasilnya untuk membuat penjelasan. Model yang lebih murah mungkin sudah bisa mengerjakan bagian ini dengan baik.
Riset SkillsBench membandingkan agent yang memakai skill yang telah disiapkan dengan agent tanpa skill. Hasilnya menunjukkan bahwa skill bisa membantu agent menyelesaikan lebih banyak tugas dengan benar, dan pada konfigurasi tertentu model yang lebih kecil dengan skill bisa mengimbangi model yang lebih besar tanpa skill. Akan tetapi manfaatnya berbeda antarjenis pekerjaan. Skill yang dibuat sendiri oleh model juga tidak otomatis memberi peningkatan. Paper SkillsBench.
Dengan hasil seperti ini, menurut saya model murah dengan skill yang sesuai layak dicoba. Untuk laporan penjualan kita, tetap perlu dicek apakah angka penjualan, perlakuan refund, dan penjelasannya benar. Skor benchmark saja belum menjawab berapa banyak waktu yang dibutuhkan tim kita untuk mendapatkan hasil tersebut.
Berapa Biaya Menyiapkannya?
Sekarang anggap saja kita mencoba 2 pilihan pada laporan yang sama. Pilihan A memakai model yang lebih mahal. Pilihan B memakai model yang lebih murah dengan tambahan skill dan script khusus.
Keduanya tetap membutuhkan aturan bisnis, akses data, dan pemeriksaan hasil. Untuk mempermudah, kita tidak memasukkan biaya yang sama pada kedua pilihan. Kita hanya menghitung biaya tambahan yang berbeda di antara keduanya.
Katakanlah pilihan A membutuhkan 4 jam untuk disiapkan dan diuji. Pilihan B membutuhkan 20 jam, karena kita perlu membuat script tambahan, memilih contoh, dan memperbaiki instruksinya agar hasilnya memenuhi kebutuhan yang sama.
Anggap saja biaya waktu orang yang mengerjakan ini Rp 150.000 per jam. Berarti persiapan A sebesar 4 dikali Rp 150.000 = Rp 600.000. Persiapan B sebesar 20 dikali Rp 150.000 = Rp 3 juta.
Pilihan B membutuhkan tambahan biaya persiapan Rp 2,4 juta. Kalau orangnya kita sendiri, uang sebesar itu memang tidak keluar sebagai invoice baru. Akan tetapi kita tetap menggunakan 16 jam tambahan yang sebenarnya bisa dipakai untuk pekerjaan lain.
Tentunya jumlah jam ini bisa berbeda. Model mahal mungkin membutuhkan banyak perbaikan juga, atau skill yang kita perlukan ternyata sudah tersedia. Angka 4 jam dan 20 jam hanya asumsi pada contoh ini. Dalam pekerjaan sendiri, sebaiknya kita mencatat waktu yang benar-benar dipakai pada kedua pilihan.
Berapa Kali Perlu Dipakai agar Lebih Murah?
Setelah diuji, anggap saja biaya pemakaian AI untuk menyelesaikan 1 laporan adalah Rp 5.000 pada pilihan A dan Rp 1.000 pada pilihan B. Angka ini mencakup seluruh pemanggilan model dan percobaan ulang yang dibutuhkan, dengan asumsi biaya rata-ratanya tetap selama periode perbandingan.
Untuk sementara, anggap juga waktu pemeriksaan dan kualitas hasil akhirnya sama. Berarti setiap laporan yang dikerjakan dengan B menghemat Rp 4.000.
Tambahan biaya persiapannya Rp 2,4 juta. Kita membaginya dengan penghematan Rp 4.000 per laporan, sehingga perlu 600 laporan untuk menutup tambahan biaya tersebut. Setelah 600 laporan, total biaya kedua pilihan sama. Setelah itu B mulai lebih murah, selama asumsi tadi masih berlaku.
Kalau baru dipakai untuk 100 laporan, total A adalah Rp 600.000 ditambah Rp 500.000 = Rp 1,1 juta. Total B adalah Rp 3 juta ditambah Rp 100.000 = Rp 3,1 juta. Biaya pemakaian AI pada B memang 80% lebih murah, tetapi totalnya masih Rp 2 juta lebih besar.
Kalau dipakai untuk 1.000 laporan, A menjadi Rp 5,6 juta dan B menjadi Rp 4 juta. Sekarang penghematan biaya pemakaian AI sudah menutup tambahan biaya membuat skill.
Ini biasa disebut break-even, yaitu jumlah pemakaian ketika total biaya kedua pilihan sama. Kalau kita hanya membutuhkan 20 laporan per bulan, 600 laporan baru tercapai setelah 30 bulan. Kalau ada 1.000 laporan per bulan, jumlah tersebut tercapai dalam bulan pertama.
Perhitungan 30 bulan tadi membutuhkan asumsi bahwa skill masih bisa dipakai selama itu tanpa perubahan biaya tambahan. Padahal format file, aturan bisnis, atau model yang dipakai bisa berubah. Sehingga frekuensi pemakaian ikut memengaruhi apakah investasi membuat skill masuk akal.
Bagaimana Kalau Pemeriksaannya Lebih Lama?
Kita ubah 1 asumsi saja. Ternyata pilihan B membutuhkan tambahan 2 menit pemeriksaan per laporan, karena tim harus lebih sering mengecek penjelasan dan memperbaiki angka yang salah dikutip dari hasil script.
Dengan biaya waktu Rp 150.000 per jam, 1 menit bernilai Rp 2.500. Tambahan 2 menit berarti Rp 5.000 per laporan. Penghematan pemakaian AI tadi hanya Rp 4.000, sehingga total biaya B sekarang Rp 1.000 lebih besar untuk setiap laporan, bahkan sebelum menghitung tambahan persiapan.
Kalau kondisi ini berlanjut, menambah jumlah laporan tidak akan membuat B lebih ekonomis. Setiap laporan tambahan juga menambah selisih biayanya.
Akan tetapi tambahan 2 menit ini perlu diukur. Kita tidak bisa langsung beranggapan bahwa model murah pasti lebih sering salah. Bisa saja script di pilihan B membuat perhitungannya lebih konsisten, sehingga pemeriksaannya malah lebih cepat. Model A juga tetap bisa salah mengutip angka atau melewatkan refund.
Cara membandingkannya adalah dengan memakai kumpulan laporan yang sama dan syarat hasil yang sama. Misalnya seluruh transaksi harus masuk, penjualan bersih harus sesuai perhitungan yang sudah dicek, dan penjelasan harus merujuk ke cabang serta periode yang benar.
Catat biaya dan waktu sampai laporan tersebut memenuhi syarat. Percobaan yang gagal tetap masuk biaya, termasuk apabila akhirnya orang perlu menyelesaikan laporan secara manual. Kalau 100 laporan diminta tetapi hanya 80 selesai, 20 sisanya tetap perlu dicatat sebagai pekerjaan yang belum selesai. Jangan sampai pilihan terlihat murah karena pekerjaan yang belum selesai dikeluarkan dari hitungan.
Oya, biaya waktu ini berbeda dengan uang yang bisa langsung dihemat perusahaan. Apabila gaji tim tetap sama, pengurangan waktu review belum tentu mengurangi pengeluaran bulan itu. Manfaatnya bisa berupa tambahan waktu untuk mengerjakan laporan lain, atau mengurangi kebutuhan lembur dan penambahan orang di kemudian hari.
Apakah Skill-nya Bisa Dipakai Terus?
Kembali ke contoh awal, ketika waktu review kedua pilihan masih sama. Anggap saja B membutuhkan tambahan 4 jam perawatan setiap bulan dibandingkan A. Misalnya ada perubahan file dari cabang dan script perlu diadjust.
Biaya tambahannya 4 dikali Rp 150.000 = Rp 600.000 per bulan. Dengan penghematan Rp 4.000 per laporan, kita membutuhkan 150 laporan per bulan hanya untuk menutup tambahan perawatan tersebut.
Kalau pemakaiannya 100 laporan per bulan, penghematan AI hanya Rp 400.000, sedangkan perawatannya Rp 600.000. Berarti B masih lebih mahal Rp 200.000 per bulan, dan tambahan persiapan Rp 2,4 juta di awal juga belum tertutup.
Kalau pemakaiannya 1.000 laporan per bulan, penghematan AI Rp 4 juta dikurangi perawatan Rp 600.000 = Rp 3,4 juta per bulan. Dengan kondisi tersebut, tambahan persiapan Rp 2,4 juta bisa tertutup dalam bulan pertama (dengan biaya perawatan 1 bulan penuh sudah ikut dihitung).
Sebagian skill mungkin bisa dipakai oleh beberapa tim. Biaya awalnya jadi bisa dibagi ke lebih banyak pekerjaan. Akan tetapi pekerjaan yang dihitung sebaiknya memang memakai aturan dan script yang sama. Kalau tiap tim memerlukan penyesuaian sendiri, waktu penyesuaian itu perlu masuk dalam perhitungan juga.
Lalu Sebaiknya Mulai dari Model yang Mana?
Menurut saya, kita bisa mulai dengan mencoba kedua pilihan pada pekerjaan yang cukup mewakili kebutuhan sehari-hari. Sertakan juga file yang pernah bermasalah. Dari situ baru terlihat bagian mana yang membutuhkan model yang lebih mampu, dan bagian mana yang terbantu oleh instruksi atau script yang jelas.
Ada kemungkinan skill yang dibuat untuk B ternyata membantu A juga. Dalam kondisi itu, pilihan berikutnya adalah membandingkan kedua model dengan skill tersebut. Kita tidak perlu mempertahankan perbandingan model mahal tanpa skill hanya karena contoh awalnya seperti itu.
Untuk pekerjaan yang baru akan dilakukan beberapa kali, waktu membuat dan merawat skill mungkin lebih besar daripada penghematan pemakaiannya. Membayar model lebih mahal bisa masuk akal apabila hasil yang dibutuhkan bisa didapat lebih cepat dengan total biaya lebih kecil.
Untuk pekerjaan berulang dengan aturan yang sudah cukup stabil, kita mempunyai lebih banyak kesempatan memakai kembali hasil persiapannya. Di sini model murah dengan skill bisa menjadi pilihan yang menarik, selama hasilnya memenuhi syarat dan total biaya termasuk pemeriksaannya masih lebih kecil.
Keduanya juga bisa dipakai dalam 1 proses. Laporan dengan format yang sudah dikenal dikerjakan model murah, sedangkan file yang gagal memenuhi pemeriksaan diteruskan ke model lain atau orang. Biaya membuat sistem pemeriksaan dan menangani laporan yang diteruskan itu tetap perlu dihitung. Kita juga perlu mengecek kesalahan yang lolos dari pemeriksaan, karena model mahal belum tentu memperbaikinya dengan sendirinya.
Untuk mulai mencoba, kita bisa mengambil 30 laporan lama sebagai contoh, memisahkan sebagian untuk memperbaiki skill dan sebagian lagi untuk pengujian akhir. Catat waktu persiapan, biaya AI, waktu review, dan jumlah laporan yang selesai pada kedua pilihan. Pengujian ini hanya langkah awal untuk melihat pola masalah, belum cukup untuk menyimpulkan bahwa kesalahan yang jarang terjadi sudah tertangani. Setelah angkanya ada, kita bisa membandingkannya dengan jumlah laporan yang benar-benar akan dikerjakan bulan depan.