Kenapa Orang Teknis dan Orang Non-Teknis Membicarakan AI yang Berbeda? (Membaca Tweet Karpathy dari Jakarta)

Apa Isi Tweet-nya?

Thread aslinya saya sertakan di bawah, supaya bisa dibaca sendiri sebelum membaca ringkasan saya. Kurang lebih ada 4 poin.

Pertama, soal kapan mencobanya dan versi mana yang dicoba. Banyak orang mencoba ChatGPT versi gratis tahun lalu, lalu menyimpulkan kemampuan AI dari pengalaman itu. Versi gratis biasanya memakai model yang lebih lama dan lebih kecil, sehingga tidak mencerminkan kemampuan model agentic tahun ini, terutama OpenAI Codex dan Claude Code.

Model agentic adalah model AI yang tidak hanya menjawab, tetapi bisa menjalankan pekerjaan berlangkah-langkah sendiri : membuka file, menjalankan program, membaca hasilnya, lalu memperbaiki, sampai pekerjaannya selesai.

Kedua, kemajuannya tidak sama di semua bidang. Bahkan untuk yang membayar $200 per bulan, kemajuan yang paling besar terjadi di bidang teknis. Pemakaian yang paling umum, yaitu mencari informasi, menulis, dan meminta saran, tidak mengalami kemajuan sebesar itu. Misalnya, model yang sekarang bisa menyelesaikan bug di kode dalam 1 jam belum tentu jauh lebih baik dari model tahun lalu dalam menulis email ke customer.

Ketiga, soal kelompok yang melihat kemajuan itu setiap hari. Orang yang membayar tier tertinggi dan memakainya untuk pekerjaan sehari-hari di programming, matematika, atau riset, melihat kemajuan yang menurut Karpathy luar biasa dalam setahun terakhir. Kelompok ini yang menurut dia paling rentan terkena "AI psychosis", istilahnya untuk orang yang menganggap AI jauh lebih penting dan lebih berbahaya dibanding anggapan orang lain, karena yang mereka lihat setiap hari memang seperti itu.

Keempat, kenapa tidak sama : ada 1 alasan teknis soal cara model dilatih, dan 1 alasan bisnis soal ke mana lab AI mengarahkan timnya. Kesimpulannya, dengan istilah dia sendiri, kedua kelompok ini "speaking past each other", berbicara tanpa saling mendengar karena yang dibicarakan memang berbeda.

Kelompok Pertama : Yang Mencoba ChatGPT Gratis Tahun Lalu

Kelompok ini jauh lebih besar. Mereka mencoba versi gratis, mendapat jawaban yang kadang benar dan kadang mengarang, melihat video viral AI yang gagal menjawab pertanyaan sederhana, dan menyimpulkan bahwa AI ini menarik tetapi belum bisa diandalkan.

Kesimpulan itu tidak salah untuk model yang mereka coba. Akan tetapi model itu sudah bukan model yang dipakai kelompok kedua. MIT Technology Review, yang membahas tweet ini beberapa hari kemudian, merangkumnya dengan baik : orang yang membayar untuk Claude Code sebenarnya memakai teknologi yang berbeda dengan orang yang mencoba versi gratis 6 bulan lalu untuk merencanakan pesta pernikahan.

Artikel yang sama mengutip Stanford AI Index : 73% pakar AI optimis soal dampak AI ke pekerjaan, dibanding hanya 23% masyarakat umum, selisih 50 poin. Menurut saya sebagian besar selisih itu adalah selisih pengalaman : pakarnya memakai model terbaru setiap hari, masyarakat umum terakhir mencoba versi gratis.

Di artikel saya sebelumnya, Sebenarnya AI Sudah Bisa Mengerjakan Apa?, saya membahas kenapa banyak orang mencoba lalu kecewa, dan jawabannya waktu itu soal cara memakainya : bahan, konteks, putaran kedua. Tweet Karpathy menambah 1 lapisan lagi yang belum saya bahas : model mana yang dicoba, dan kapan.

Kelompok Kedua : Yang Membayar Rp 3,5 Juta per Bulan

Tier tertinggi ChatGPT dan Claude sama-sama $200 per bulan. Dengan kurs sekitar Rp 17.800, itu kurang lebih Rp 3,5 juta per bulan, atau Rp 42 juta per tahun, untuk 1 orang. Ini bukan harga untuk coba-coba. Orang yang membayar sebesar itu biasanya sudah tahu persis apa yang dia dapat, dan pekerjaannya bergantung pada itu.

Yang mereka dapat, menurut Karpathy, adalah model yang bisa diberi akses ke terminal komputer (layar perintah tempat programmer menjalankan program), lalu menyelesaikan masalah programming yang normalnya butuh hitungan hari sampai minggu. Misalnya memindahkan 1 aplikasi lama ke framework yang baru, atau mencari penyebab bug yang sudah 2 minggu tidak ketemu, sambil menjalankan tes-nya sendiri sampai lulus.

Data pendukungnya juga ada. METR, lembaga riset yang mengukur berapa lama tugas software yang bisa diselesaikan AI secara mandiri, mencatat bahwa panjang tugas itu berlipat 2 kurang lebih setiap 7 bulan sejak 2019, dan kemungkinan lebih cepat lagi sejak 2024. Kalau kita mundur 2 tahun, berarti kemampuannya sudah berlipat 2 kurang lebih 3 sampai 4 kali. Orang yang melihat itu setiap hari wajar kalau kesimpulannya berbeda dengan orang yang terakhir mencoba tahun lalu.

Kenapa Kemajuannya Tidak Sama di Semua Bidang?

Anggap saja 1 engineer dan 1 orang marketing di kantor yang sama memakai langganan yang sama di bulan yang sama, dan dua-duanya sudah tahu cara memberi bahan dan konteks. Pengalaman mereka tetap akan berbeda jauh, karena penyebabnya ada di modelnya sendiri dan tidak bisa diperbaiki dengan cara memakai yang lebih baik. Karpathy menyebut 2 alasan, dan menurut saya dua-duanya perlu dimengerti sebelum kita memutuskan use case AI mana yang dikerjakan duluan.

Alasan pertama sifatnya teknis. Model-model terbaru dilatih dengan reinforcement learning, dan cara ini paling efektif di bidang yang jawabannya bisa dicek otomatis. Kode program bisa dicek dari unit test-nya lulus atau tidak, dan soal matematika bisa dicek dari jawabannya benar atau salah. Model bisa mencoba jutaan kali, dan setiap kali langsung tahu mana yang benar.

Sedangkan untuk tulisan, saran, atau balasan ke customer, tidak ada cara otomatis untuk menentukan jawabannya benar atau salah. Misalnya 1 balasan chat ke customer yang sedang komplain : 2 supervisor customer service bisa menilainya berbeda, yang satu bilang sudah cukup, yang satu bilang terlalu panjang dan kurang sopan.

Kalau manusianya saja tidak sepakat, tidak ada tes otomatis yang bisa dipakai untuk melatih model jutaan kali. Penilaiannya harus dari orang, yang jauh lebih lambat, lebih mahal, dan hasilnya tidak konsisten. Sehingga wajar apabila kemajuan di bidang yang bisa dicek otomatis jauh lebih cepat dibanding bidang yang harus dinilai orang.

Reinforcement learning (RL) adalah cara melatih model dengan memberi "hadiah" setiap kali jawabannya benar, dan model belajar mengulang yang menghasilkan hadiah. Varian yang dipakai di model-model terbaru sering disebut RL with verifiable rewards, karena hadiahnya ditentukan oleh tes otomatis, misalnya unit test, dan tidak bergantung pada penilaian manusia. DeepSeek-R1 (dipublikasikan di Nature, 2025) adalah contoh yang paling banyak dikutip.

Alasan kedua sifatnya bisnis. Bidang yang bisa dicek otomatis kebetulan juga bidang yang paling menghasilkan uang untuk lab AI. Menlo Ventures mencatat belanja perusahaan Amerika untuk AI coding tools mencapai $4 miliar di 2025, kategori terbesar.

Lab AI juga perusahaan : tim dan komputasinya diarahkan ke bidang yang pembelinya paling banyak dan paling mau membayar, dan saat ini itu coding. Sehingga sebagian besar tim di lab AI fokus ke sana, dan fokus itu yang menentukan bidang mana yang maju paling cepat.

Dua alasan ini juga menjelaskan angka di artikel saya sebelumnya : 25.000 pekerja di Denmark hanya menghemat 2,8% waktu kerja dengan AI, kurang lebih 1 jam per minggu. Pekerjaan kantor pada umumnya adalah pekerjaan yang tidak bisa dicek otomatis, sehingga kemajuannya memang lebih pelan. Angka itu dan cerita engineer yang pekerjaan seminggunya selesai dalam 1 jam sama-sama benar, karena keduanya mengukur bidang yang berbeda.

Dua Kelompok Ini Ada di Perusahaan yang Sama

Di perusahaan di Jakarta, pembagiannya biasanya cukup jelas. Direksi dan manajer pada umumnya ada di kelompok pertama : mencoba versi gratis atau tier $20, untuk pekerjaan yang tidak bisa dicek otomatis (email, ringkasan, saran), sehingga kesannya biasa saja. Engineer ada di kelompok kedua : memakai tool agentic berbayar, untuk pekerjaan yang bisa dicek otomatis, sehingga kesannya luar biasa.

Akan tetapi yang mengambil keputusan tentang anggaran AI, rencana rekrutmen, dan project mana yang jalan adalah kelompok pertama. Sehingga ada 2 risiko yang sering saya lihat.

Risiko pertama, keputusan diambil dengan gambaran AI setahun lalu. Anggaran untuk tool engineer dianggap mahal (Rp 3,5 juta per orang per bulan terdengar besar untuk langganan software), padahal hitungannya sederhana. Anggap saja gaji 1 engineer Rp 20 juta per bulan. Tool Rp 3,5 juta itu 17,5% dari gajinya, sehingga sudah kembali kalau engineer-nya menjadi kurang lebih 20% lebih cepat. Untuk pekerjaan yang bisa dicek otomatis, kenaikannya biasanya jauh di atas itu.

Risiko kedua, kebalikannya. Antusiasme engineer dipakai untuk memutuskan use case yang berhadapan dengan customer, misalnya AI untuk membalas chat customer service dalam bahasa Indonesia campur Inggris. Itu bidang yang tidak bisa dicek otomatis, sehingga kemajuan yang dilihat engineer di kode belum tentu terjadi di sana. Ini yang saya bahas lebih panjang di artikel tentang playbook AI dari San Francisco : evaluasinya harus dengan data kita sendiri.

Jadi Apa yang Sebaiknya Dilakukan?

Menurut saya ada 4 hal, dan semuanya murah dibanding salah mengambil keputusan.

Pertama, pengambil keputusan sebaiknya memakai sendiri tool frontier berbayar untuk pekerjaannya, paling tidak 2 minggu, dan tidak mengandalkan demo vendor ataupun cerita engineer. Rp 3,5 juta untuk 1 bulan adalah cara paling murah untuk memperbarui gambaran kita tentang apa yang sedang kita putuskan.

Kedua, waktu membahas use case, tanyakan dulu : hasilnya bisa dicek otomatis atau tidak? Kalau bisa (kode, migrasi data, dokumen yang formatnya tetap), kemajuannya cepat dan kemungkinan besar sudah lebih baik dari yang kita kira. Kalau tidak bisa (menulis, saran, percakapan dengan customer), kemajuannya bertahap, dan harus dites dengan data kita sendiri sebelum dipercaya.

Ketiga, waktu engineer bilang "ini sudah bisa", tanya : dicek dengan cara apa? Dan waktu direksi bilang "AI masih ngaco", tanya : model mana, tier apa, kapan terakhir dicoba? Dua pertanyaan itu biasanya cukup untuk membuat kedua kelompok membicarakan hal yang sama.

Keempat, perbarui gambaran itu setiap 6 bulan. Kalau panjang tugas yang bisa diselesaikan AI berlipat 2 setiap 7 bulan, pandangan yang dibentuk setahun lalu sudah ketinggalan 2 kali lipat.

Demikianlah pembacaan saya atas tweet Karpathy dari sudut pandang orang yang menjalankan perusahaan di Jakarta. Tentunya banyak hal di sini yang oversimplification, dan kondisi tiap perusahaan berbeda. Apabila artikel ini mendapatkan cukup banyak response, mungkin saya akan menulis lebih lanjut terkait cara membuat evaluasi untuk use case yang tidak bisa dicek otomatis, seperti chat customer service dalam bahasa Indonesia.