AI Jadul, AI Zaman Now

Bayangkan sebuah channel eskalasi internal. Setiap isu yang masuk disalurkan tim operasional ke channel itu lewat template setengah terstruktur. Ada dua pihak yang bertemu di sana: tim engineering yang memelihara sistemnya, yang di contoh-contoh nanti menyebut dirinya “kami”, dan tim yang berhadapan langsung dengan customer, yang disapa “Anda”.

Ada dua AI assistant yang tinggal di channel itu. Keduanya dibangun dengan niat baik oleh orang yang sedang menyelesaikan masalah yang sama, dan tidak satu pun sepenuhnya otonom. Bedanya cuma satu: bagian mana dari pekerjaan itu yang diserahkan ke mesin.

• AI Jadul adalah auto-investigator yang dibangun khusus. Dia membalas sendiri setiap postingan baru, menjalankan urutan investigasi yang sudah dipatok (tarik log, tebak penyebab, susun draf perbaikan), lalu mempublikasikan temuannya. Otonominya ada di bagian menerbitkan. Semua langkah penting sesudah itu tetap harus dikerjakan manusia: memeriksa apakah temuannya benar, memutuskan tindakannya, lalu mengerjakannya.
• AI Zaman Now juga tidak menunggu diminta. Dia terus menjalankan loop-nya dan menggarap antrean sebelum ada yang meminta: kumpulkan konteks, jalankan pemeriksaan, siapkan opsi yang benar-benar bisa dipilih. Manusia baru dia sapa di satu titik: pilih salah satu opsi, atau beri arahan lain. Setelah keputusannya diambil, dia yang menjalankan seluruh tindak lanjutnya sampai selesai. Otonominya ada di bagian menuntaskan. Manusia tinggal menyumbang pertimbangan dan memikul tanggung jawab di titik keputusan. Beban kerjanya kecil, bobot keputusannya tetap besar.

Sebelum lanjut, satu hal yang perlu diluruskan. Jadul di sini bukan soal modelnya. Dua-duanya jalan di atas LLM yang sama, dirilis di tahun yang sama, dipanggil lewat API yang sama. Yang jadul cara merakitnya.

Kalau yang satu chatbot rule-based tahun 2019, tidak ada yang perlu ditulis. Keduanya AI zaman sekarang. Cuma satu di antaranya dirakit dengan kebiasaan dua tahun lalu.

Yang menyebalkan, di channel itu justru AI Jadul yang kelihatan paling rajin. Terus bergerak, terus memposting. Tapi pekerjaannya berhenti di situ. Setiap postingannya meninggalkan satu tugas untuk orang: memeriksa, memutuskan, lalu mengerjakan. AI Zaman Now bisa memposting sama seringnya, dan di pagi tertentu malah lebih sering. Bedanya, tiap postingannya mengangkat pekerjaan dari meja orang.

Tidak satu pun dari keduanya berupa agent otonom penuh, yaitu AI yang bekerja dari awal sampai akhir tanpa persetujuan manusia, dan memang belum saatnya. Kepercayaan pada sistem seperti ini dibangun bertahap: porsi yang lebih besar baru diserahkan tim setelah sistemnya terbukti sanggup memikul porsi yang sudah dipegangnya. Keduanya berada di tahap yang dilewati setiap sistem dalam perjalanan menuju otonomi: pekerjaan nyata dikerjakan mesin, keputusannya masih dipegang orang. Perbedaannya ada di empat keputusan yang diambil di sekeliling model pada tahap itu. Bagian berikutnya menyandingkan kedua desainnya, lalu empat bagian setelahnya membahas keputusan itu satu per satu.

Dari luar keduanya kelihatan sama persis. Kotak chat, orang mengetik, bot membalas. Itu yang bikin perbandingannya susah, dan bikin banyak orang menyimpulkan sudahlah, dua-duanya AI, sama saja.

Cara paling gampang melihat bedanya: bandingkan keduanya dengan orang yang biasa mengerjakan pekerjaan itu. Orang yang cakap tidak langsung menjawab. Dia baca dulu percakapannya, bikin dugaan, cek datanya satu per satu, buang dugaan yang tidak cocok, baru menyimpulkan. AI Zaman Now melewati langkah yang sama. AI Jadul melompat dari kata kunci langsung ke template.

Jadi kolom kiri di tabel ini bukan daftar fitur. Itu daftar hal yang orang cakap kerjakan sebelum dia buka mulut. Empat baris yang saya tandai paling menentukan, dan empat bagian setelah ini membahasnya bergantian.

Satu hal yang perlu ditegaskan, karena ini yang paling sering meleset: memakai LLM tidak otomatis menaikkan kualitas. Dirakit dengan cara yang keliru, LLM justru menurunkannya sampai di bawah titik nol.

AI Jadul bukan sekadar kurang berguna. Dia menambah pekerjaan yang tadinya tidak ada: tiket yang harus ditutup orang, penanggung jawab yang salah tunjuk dan harus dibetulkan, follow-up untuk membatalkan aksinya sendiri. Yang paling mahal, dia menghabiskan kepercayaan. Setelah beberapa kali menerima laporan yang isinya kosong, orang berhenti membaca laporannya. Termasuk yang kebetulan benar.

Kalau tim itu tidak pernah memasang AI Jadul sama sekali, keadaan mereka akan lebih baik.

AI Jadul dipicu oleh kecocokan kata kunci. Postingan apa pun yang memuat namanya, dan pada hari-hari buruk postingan apa pun di channel itu, menjalankan urutan yang sama, dimulai dari kalimat pembuka yang sama:

Beberapa detik kemudian pemicunya menembak dua kali, dan pesan yang sama persis masuk sekali lagi. Beberapa menit setelahnya, muncul root-cause analysis lengkap tentang apa pun yang dia kira sedang dibahas.

Contoh paling jelas muncul ketika seseorang di channel itu sama sekali tidak sedang melaporkan insiden. Dia sedang mengeluhkan bot-nya: ini assistant-nya bisa di-kick atau dimatikan tidak, dia error terus. Kalimat itu memuat namanya, jadi urutannya jalan. AI Jadul lalu:

1. Memposting notifikasi “sedang diinvestigasi”.
2. Menjalankan investigasi penuh.
3. Mengeluarkan penjelasan formal bahwa “berdasarkan thread ini, yang dibahas bukan laporan insiden melainkan permintaan internal untuk menonaktifkan assistant, sehingga tidak ada root cause yang perlu diinvestigasi”.
4. Membuka tiket baru untuk permintaan mematikan dirinya sendiri, lengkap dengan nomor tiket dan penanggung jawab.

Langkah 3 dan 4 saling bertentangan. Di langkah 3 dia sudah paham betul bahwa yang diminta adalah mematikan dirinya sendiri. Di langkah 4 dia tetap memperlakukan permintaan itu sebagai pekerjaan baru, lalu menugaskannya ke orang. Tidak ada bagian dari dirinya yang menimbang keduanya. Ada kata yang cocok, jadi urutannya jalan sampai habis.

Orang tidak akan pernah melakukan itu. Dia tahu kalimat mana yang bukan pekerjaannya.

Balasan engineer di thread itu cuma satu kata: removed. Hari itu juga bot-nya keluar dari channel. Saya tidak menyalahkan engineer-nya.

AI Zaman Now tidak akan tersentuh kalimat itu. Kata memang bukan pemicunya. Yang menarik terjadi sebelumnya: keluhan tadi berbunyi “dia error terus”, padahal AI Zaman Now memantau error-nya sendiri. Kalau ada yang gagal berulang, dia sudah posting duluan, sebelum ada yang sempat mengeluh.

Dunia medis sudah mengenal kegagalan ini puluhan tahun lalu dengan nama alarm fatigue: monitor yang berbunyi berdasarkan ambang angka, bukan berdasarkan kejadian, menghasilkan alert yang mayoritas tidak perlu ditindaklanjuti, tenaga klinisnya berhenti bereaksi, dan sekarang hal itu tercatat sebagai risiko keselamatan pasien.^[5] Riset di dunia security operations menemukan efek yang sama: analis di pusat pemantauan keamanan (SOC) melewatkan serangan yang nyata karena alert pentingnya terkubur di antara ribuan alert rutin.^[6] Mekanisme yang sama berlaku di channel chat. Kalau pemicunya tidak bisa membedakan kejadian dari yang bukan kejadian, pembacanya juga tidak bisa, jadi dia berhenti memercayai semuanya.

Di atas biaya perhatian itu, ada biaya produktivitas. Studi Gloria Mark dkk. pada 2008 menemukan bahwa interupsi, termasuk yang masih relevan dengan pekerjaan dan biasanya dianggap membantu, terbukti menambah stres, frustrasi, dan beban kerja secara terukur, dan orang mengompensasinya dengan bekerja lebih cepat di bawah tekanan yang lebih besar.^[7] Pemicu yang berbunyi untuk hal yang bukan kejadian menguras perhatian semua rekan kerja di channel itu dan tidak mengembalikan apa pun.

AI Zaman Now sama sekali tidak dipicu oleh disebut namanya. Dia dipicu oleh keadaan yang berubah: tingkat error yang bergerak, antrean yang menumpuk, permintaan customer yang gagal dengan cara yang belum pernah terjadi. Dia bisa memposting beberapa kali dalam satu pagi, dan memang sering.

Beberapa hari kemudian, seorang operator bertanya ke AI Jadul di dalam thread yang sudah berisi empat belas pesan sebelumnya: kesimpulannya apa, ini memang expected behavior?

Thread tempat dia membalas berisi kesimpulan itu. Persis kalimatnya. Dua pesan di atasnya.

Orang yang ditanya begitu akan menggulir ke atas dulu.

Rekan lain mencoba lagi di thread terpisah: tolong TL;DR thread ini.

Riset evaluasi agent membuat hal ini konkret. Letta, perusahaan yang menjalankan AI agent di produksi dalam skala besar, mengaitkan sekitar 90% kegagalan agent yang mereka temui dengan masalah konteks, bukan dengan keterbatasan model: agent-nya memang tidak pernah diberi apa yang dia butuhkan.^[8][9] Satu tulisan dari praktik produksi merumuskannya begini: ingatan kerja model, yang disebut context window, itu papan tulis, bukan lemari arsip. Begitu percakapan baru dimulai, papannya terhapus, dan apa pun yang tidak ditulis ulang hilang. Itulah kenapa assistant tadi menyapa thread berisi empat belas pesan sebagai awal percakapan.^[10]

Tanyakan hal yang sama ke AI Zaman Now dan jawabannya keluar saat itu juga, karena dia membaca keempat belas pesan itu ketika pesannya ditulis. Ringkasan thread tidak dia tawarkan, semua orang di situ sudah tahu isinya. Dia menambah yang belum ada: pola yang sama ternyata muncul di tempat lain, dan ada yang berubah tepat sebelum semuanya mulai.

Output AI Jadul diformat seolah keluar dari sistem diagnostik yang matang. Header tebal, bagian TL;DR, blok bukti, “root cause (bahasa awam)”, usulan perbaikan, sampai lokasi kode yang harus diubah. Sekilas terlihat meyakinkan.

Baca sampai bawah, dan sinyal sebenarnya ada di sini:

Pipeline-nya tidak menghasilkan apa pun yang bisa dipakai, dan empat ratus kata di atas baris itu tetap dipublikasikan.

Balasan lain ditutup dengan laporan tingkat keyakinannya sendiri:

“Tidak memakai tool, dijawab dari ingatan” artinya dia tidak melihat apa pun. Tidak ada log yang dibuka. Seluruh jawabannya pattern matching dari training data, didandani persis seperti jawaban yang dibangun di atas bukti.

Riset kalibrasi sudah mendokumentasikan hal ini. Xiong dkk. menguji GPT-4, LLaMA-2 Chat, dan model lain, lalu menemukan bahwa model yang diminta menyebutkan tingkat keyakinannya sendiri cenderung terlalu percaya diri secara sistematis, kemungkinan meniru kebiasaan manusia untuk terdengar yakin.^[11] Sebuah survei tahun 2024 tentang estimasi keyakinan pada LLM sampai pada kesimpulan yang sama: tanpa kalibrasi yang disengaja, keyakinan yang dinyatakan dan tingkat kebenaran yang sesungguhnya melenceng jauh.^[12]

Di sisi manusia, kerusakannya berbentuk skeptisisme yang selektif. Studi kualitatif dengan 192 partisipan menemukan bahwa orang yang berkali-kali menerima jawaban karangan yang disajikan seolah fakta, yang di dunia AI disebut halusinasi, tidak lantas kehilangan kepercayaan sepenuhnya. Mereka justru paling meragukan jawaban AI di situasi yang risikonya paling besar.^[13] Jawaban yang benar ikut dicurigai. Hilangnya kepercayaan itu jarang terlihat di metrik produk.

Diberi pertanyaan yang sama dengan bukti setipis itu, AI Zaman Now mengirim satu baris: apa yang belum dia punya, dan apa yang dia butuhkan untuk menjawabnya dengan benar. Kalau buktinya tipis, satu baris. Panjang pesannya sendiri sudah jadi ukuran seberapa jauh Anda boleh percaya.

Sampai sini AI Jadul terus yang kena. Sekarang bagian yang layak ditiru. Baca ketiga pesan berikut lalu cari selisihnya dengan tulisan senior engineer. Selisihnya tipis. Tiga pesan berikut dihasilkan AI Zaman Now di channel yang sama, ditulis AI, dikirim atas nama manusia, dan tidak satu pun butuh model yang lebih kuat. Resepnya itu-itu saja: konteks sudah di tangan sebelum menulis, output yang meminta keputusan, dan orang yang menaruh namanya di bawah keputusan itu.

Konteksnya: perusahaan ini juga punya assistant terpisah yang melayani customer memesan dan membatalkan pesanan. Assistant itu bukan AI Jadul maupun AI Zaman Now, dan dialah yang dipantau di cerita ini.

Tim customer service sebentar lagi mulai menerima komplain. Sebelum komplain pertamanya masuk, AI Zaman Now sudah melihat sesuatu yang seharusnya tidak pernah muncul: gudang menolak permintaan pembatalan. Selusin dalam satu pagi. Pagi normal, nol. Dia menelusuri penyebabnya lalu menaruh draf ini di depan orang yang memegang channel tersebut. Draf itu dikirim apa adanya:

Kenapa pesan ini bisa menggantikan kerja manusia:

• Proaktif. Didiagnosis sebelum laporannya masuk.
• Menyebut mekanismenya secara spesifik, dengan kalimat yang bisa ditindaklanjuti engineer tapi masih bisa diikuti account manager.
• Memisahkan yang jalan dari yang rusak, sehingga tidak ada reaksi berlebihan.
• Dua audiens dalam satu pesan: satu paragraf yang bisa tim Anda kirim apa adanya ke 14 customer itu, dan satu paragraf untuk yang memperbaiki kodenya.
• Berkomitmen untuk mengabari lagi. “Rilis hari ini, saya kabari di thread ini” memperlakukan ini sebagai tugas yang dia pegang, bukan tanya jawab.

Sebuah deploy yang dirilis tim malam itu menghentikan pengiriman refund semalaman, dan tidak ada yang menyadarinya sampai pagi. Teori pertama tim support pagi itu adalah lonjakan permintaan refund dari customer. Draf AI Zaman Now untuk mereka, selengkapnya:

Kenapa pesan ini berhasil, sementara AI Jadul pasti gagal di kasus yang sama:

• Mengakui kesalahan dengan bahasa lugas, di baris pertama. Tanpa berkelit, tanpa “sistem mengalami anomali”.
• Memakai angka alih-alih kata sifat di semua tempat yang ada angkanya. 320, bukan “cukup banyak”. Pukul 07:00, bukan “pagi tadi”.
• Disusun berdasarkan apa yang harus dilakukan pembaca: ini yang masuk satu jam ke depan, ini yang akan ditanyakan customer, ini yang kami perbaiki. Bukan tumpukan data yang disusun secara kronologis.
• Menyebut kelalaian lain di balik bug utamanya. Sinyalnya sebenarnya ada, tapi tidak pernah dijadikan alarm. Itu yang biasanya ditandai senior engineer, dan mayoritas output AI berhenti di bug utamanya saja.
• Ditutup permintaan maaf yang sungguhan, bukan “kami mohon maaf atas ketidaknyamanannya”.

Sebuah layanan pihak ketiga yang perusahaan andalkan, yaitu penyedia pembayarannya, mengalami gangguan singkat. AI Zaman Now menyusun post-incident report lengkapnya dalam hitungan jam. Laporan seperti ini biasanya baru selesai beberapa hari setelah insiden, itu pun kalau sempat ditulis. Saya lebih sering ada di kubu yang tidak sempat:

Yang membuat hasil ini setara dengan pekerjaan senior engineer:

• Struktur buktinya: kesimpulan dulu, lalu empat sinyal pendukung yang independen satu sama lain. Bukan “percaya saja sama saya”.
• Memisahkan yang butuh tindakan dari yang tidak. Angka 47 dipecah jadi 31, 12, 3, dan 1, sehingga pembaca melihat pekerjaan sebenarnya dalam satu baris.
• Menyebut sisanya secara jujur. Tiga customer telanjur beli di tempat lain, dan itu tidak bisa dipulihkan perbaikan teknis apa pun. Alih-alih dihilangkan, bagian itu diserahkan ke tim yang masih bisa menindaklanjutinya.
• Perbaikan struktural, bukan tambalan. Monitor baru untuk kelas kegagalannya, bukan cuma untuk insiden ini. Dia sudah memikirkan insiden berikutnya.

1. Picu dengan kejadian, bukan dengan kata. Kecocokan kata kunci tidak bisa membedakan insiden dari pertanyaan tentang insiden, jadi assistant yang disambungkan ke kata kunci akan menghasilkan output yang sama untuk keduanya dan menyisakan pemilahannya untuk manusia. Assistant yang disambungkan ke keadaan sistem baru bergerak ketika keadaannya memang berubah. Dia boleh sering memposting dan tetap diterima, karena setiap postingannya lahir dari sesuatu yang terjadi. Literatur alarm fatigue dan biaya interupsi ada justru karena sistem yang berbunyi untuk hal yang bukan kejadian terbukti menurunkan performa manusia yang seharusnya dia bantu.^[6][7]
2. Kalau AI Anda tidak bisa melihat thread tempatnya berada, jangan taruh dia di thread. Assistant yang buta thread di dalam chat lebih buruk daripada sekadar link ke sebuah form, karena form setidaknya tidak berpura-pura memahami Anda. Data produksi Letta menempatkan sekitar 90% kegagalan agent pada konteks, bukan pada penalaran: modelnya mampu; sistem di sekelilingnya yang tidak pernah menyodorkan isi thread-nya.^[8] Minimal, baca dua puluh pesan terakhir. Lebih baik lagi, baca seluruh thread beserta konteks yang ditautkan di dalamnya.
3. Template yang rapi bisa menyamarkan kosongnya analisis. AI Jadul punya struktur, tapi tidak punya temuan, dan itu persis pola workslop: konten yang tampak seperti hasil kerja bagus tapi tidak membantu menuntaskan tugasnya.^[1] AI Zaman Now menulis dalam bentuk prosa dan mengambil alih sebagian pekerjaan senior engineer. Format tampilan menyumbang sedikit sekali. Hampir seluruh kualitasnya ditentukan penalaran di dalamnya. Mengoptimalkan template lebih dulu adalah tanda bahwa isinya memang belum ada, dan penerimanya sadar: penilaian mereka terhadap kompetensi si pengirim ikut turun sekalipun tidak ada yang mengumumkan bahwa itu buatan AI.^[2]
4. Tingkat keyakinan harus terlihat sebelum isinya. Jawaban panjang dengan “confidence: rendah” di bagian bawah itu tipuan, bukan peringatan. Kalau modelnya tidak yakin, pilihannya hanya dua: tidak menjawab, atau mengakui keraguannya di baris pertama. Benchmark Xiong dan survei kalibrasi NAACL sama-sama mendokumentasikan kegagalan yang sama, yaitu model menyatakan keyakinan tinggi pada tugas yang akurasinya tidak mendukung.^[11][12] Setelah berulang kali menerima jawaban semacam itu, lama-lama pengguna berhenti memercayai assistant tersebut tanpa pernah mengatakannya, dan pada titik itu deployment-nya sudah telanjur gagal.^[13]
5. Untuk output berisiko tinggi, human-in-the-loop masih menang dari yang sepenuhnya otonom. AI Zaman Now bekerja lebih dulu, menyiapkan opsi, lalu menjalankan opsi yang dipilih. Manusia tinggal menyumbang pertimbangan dan memikul tanggung jawabnya. Nilai AI enterprise saat ini terletak pada eksekusi yang otonom dengan manusia tetap memegang kendali di titik keputusan, Dibalik, AI yang bicara dan memutuskan sementara manusia mengerjakan sisanya, hasilnya AI Jadul. IBM merumuskan tujuannya sebagai efisiensi otomasi “tanpa mengorbankan ketelitian, nuansa, dan penalaran etis dari pengawasan manusia”,^[14] dan untuk sistem berisiko tinggi, EU AI Act kini mewajibkan pengawasan itu secara hukum.^[17] Klarna adalah contoh paling gamblang tentang akibat menghilangkan kendali manusia dari loop itu.^[3][4]
6. Ukur apakah manusia benar-benar memakai balasan AI itu, bukan sekadar apakah AI menghasilkan balasan. Pesan AI Zaman Now dikirim apa adanya. Pesan AI Jadul diikuti pertanyaan “ini bisa dimatikan tidak?”. Ukur berapa persen output AI yang dipakai tanpa diedit. Kalau output-nya perlu diedit banyak sebelum dipakai, Anda tidak menghemat waktu siapa pun, Anda menambah satu lapis review. Itulah wujud konkret pajak workslop, hampir dua jam waktu penerima per kejadian, dan tim pengirimnya nyaris tidak pernah melihat tagihannya.^[1][15]
7. Cara AI menyatakan tanggung jawab itu penting. AI Zaman Now berkata “ini kesalahan di pihak kami” dan “yang sudah kami lakukan X, berikutnya kami akan Y”. AI Jadul berkata “root cause teridentifikasi, tidak ada tindakan yang diperlukan dari sisi kami”, bahkan ketika root cause-nya adalah dirinya sendiri. AI yang akhirnya dipercaya adalah AI yang berbicara seperti rekan kerja yang bertanggung jawab atas hasil pekerjaannya, bukan alat diagnostik yang memuntahkan laporan. Peneliti workslop menamai dua sikap ini: pilot mengarahkan AI dengan pertimbangan yang matang, framing yang jelas, dan penyuntingan, sedangkan penumpang membiarkan AI membawanya lalu mengirim output yang langsung terasa kosong bagi rekan kerjanya.^[1][16]

Dalam perbandingan ini, pemilihan model nyaris tidak relevan. Kedua assistant berjalan di model yang sama. Perbedaannya sepenuhnya ditentukan oleh keputusan produk di sekeliling model:

• Apa yang memicunya, kata yang cocok atau keadaan yang berubah.
• Konteks apa yang dia terima sebelum bicara.
• Bagaimana dia menunjukkan keraguan.
• Siapa yang memutuskan tindak lanjut dari hasilnya.

Di balik keempatnya ada satu pertanyaan yang lebih sederhana: menurut AI itu sendiri, pekerjaan apa yang sedang dia lakukan? Mesin penjawab, bot tiket, atau rekan kerja yang menyusun draf atas nama orang lain.

Peneliti BetterUp dan Stanford menempatkan workslop sebagai kegagalan manajemen. Workslop muncul ketika mandat “pokoknya pakai AI” diturunkan ke tim yang sudah kewalahan, tanpa pelatihan, tanpa wewenang untuk memutuskan, dan tanpa norma yang jelas soal kapan dan bagaimana.^[15] AI Jadul adalah hasil dari mandat semacam itu ketika tidak ada yang diminta merancang loop-nya.

Ada ukuran yang lebih berguna daripada sudah pakai AI atau belum: kalau AI itu dicabut besok, tim Anda jadi lebih ringan atau lebih berat.

“Kami sudah pakai AI” bukan klaim kualitas. Dua tim dengan model yang sama bisa menghasilkan satu tool yang berakhir dimatikan dan satu tool yang mengerjakan tugas senior engineer, di channel yang sama, di minggu yang sama. Yang beda cuma mutu pertimbangan orang yang merancang loop-nya: kapan AI-nya jalan, apa yang dia lihat, siapa yang menyetujui hasilnya. Empat keputusan, dan keempatnya bisa ditiru.

Kalau Anda akan memasukkan sebuah assistant ke channel bersama kuartal ini, langkah paling ringan adalah berhenti memicunya dengan kata, dan mulai memicunya dengan kejadian. Semua hal lain di daftar pelajaran tadi jadi lebih mudah begitu AI-nya berhenti membalas segala hal yang bukan pekerjaannya.