Kemajuan yang terlalu cepat untuk dipahami

Perkembangan teknologi selalu membawa perubahan. Mesin uap mengubah produksi. Listrik mengubah kehidupan kota. Internet mengubah informasi dan komunikasi. Akan tetapi, AI memiliki sifat yang berbeda: ia tidak hanya memperbesar tenaga manusia, tetapi mulai memasuki wilayah yang selama ini kita anggap sebagai ruang berpikir manusia—bahasa, analisis, kreativitas, prediksi, dan pengambilan keputusan.

Masalahnya bukan semata-mata bahwa AI menjadi semakin mampu. Masalahnya adalah kemampuan itu berkembang lebih cepat daripada kemampuan masyarakat, hukum, pendidikan, dan institusi untuk memahami dampaknya.

Pada 2023, sebuah surat terbuka yang diprakarsai Future of Life Institute menyerukan jeda sekurang-kurangnya enam bulan untuk pelatihan sistem AI yang lebih kuat daripada GPT-4. Seruan itu bukan permintaan untuk menghentikan seluruh riset atau penggunaan AI. Ia merupakan peringatan bahwa sistem yang semakin kuat seharusnya tidak dikembangkan tanpa protokol keselamatan, pengawasan, dan tata kelola yang memadai.

Perdebatan tersebut terus berkembang. Dalam AI Seoul Summit 2024, sejumlah pemerintah dan perusahaan teknologi menyepakati pentingnya kerangka keselamatan, ambang risiko, transparansi, akuntabilitas, serta pengawasan manusia yang bermakna. Perserikatan Bangsa-Bangsa kemudian membentuk Panel Ilmiah Internasional Independen tentang AI dan Dialog Global mengenai Tata Kelola AI.

Laporan Keselamatan AI Internasional 2026—disusun dengan kontribusi lebih dari seratus ahli independen serta masukan dari lebih dari tiga puluh negara dan organisasi internasional—menegaskan bahwa kemampuan AI tujuan umum terus berkembang, bukti risiko dunia nyata mulai bertambah, sementara metode pengelolaan risikonya masih memiliki keterbatasan.

Artinya, kekhawatiran mengenai AI bukan hanya bahan cerita fiksi ilmiah. Dunia sedang berusaha membangun rem, aturan lalu lintas, dan batas kecepatan ketika kendaraannya sudah melaju.

Risiko AI tidak semuanya berada di masa depan

Ketika membicarakan bahaya AI, perhatian publik sering langsung diarahkan kepada skenario ekstrem: mesin menjadi sadar, AI memberontak, atau manusia sepenuhnya kehilangan kekuasaan. Skenario seperti itu boleh diperdebatkan, tetapi fokus yang terlalu jauh ke masa depan dapat membuat kita mengabaikan masalah yang sudah hadir hari ini.

AI telah digunakan untuk membuat deepfake, meniru suara, memperbesar skala penipuan, memproduksi disinformasi, dan memanipulasi perhatian. Sistem algoritmik dapat mewarisi bias dari data yang digunakan untuk melatihnya. Informasi pribadi dapat dikumpulkan dan dianalisis dalam skala yang tidak pernah kita bayangkan sebelumnya.

Di dunia kerja, persoalannya juga bukan sekadar apakah AI akan “mengambil seluruh pekerjaan manusia”. Perubahan yang lebih dekat adalah pembagian manfaat yang tidak merata. Sebagian orang akan menjadi jauh lebih produktif karena AI, sementara yang lain kehilangan daya tawar karena pekerjaannya dipecah, diotomatisasi, atau dinilai oleh sistem yang tidak mereka pahami.

Dalam dunia kreatif, AI membuka kemampuan luar biasa. Seseorang dengan sumber daya terbatas kini dapat membuat gambar, musik, video, dan cerita. Namun kita juga harus membicarakan asal data pelatihan, penghargaan terhadap pencipta, banjir konten generik, dan kemungkinan hilangnya ruang ekonomi bagi pekerja kreatif manusia.

Kemudahan menciptakan bukan otomatis berarti keadilan bagi semua yang karyanya ikut membentuk kemampuan mesin.

Persoalan terbesar bukan kecerdasan, melainkan kekuasaan

Pertanyaan terpenting mengenai AI mungkin bukan, “Seberapa pintar mesin akan menjadi?”

Pertanyaan yang lebih mendesak adalah:

Siapa yang memiliki datanya, siapa yang menentukan tujuannya, siapa yang memperoleh manfaatnya, dan siapa yang menanggung akibat ketika sistem itu keliru?

AI yang sangat kuat berisiko memusatkan kekuasaan pada sejumlah kecil perusahaan, negara, atau institusi yang memiliki data, komputasi, modal, dan infrastruktur. Ketika sistem tersebut digunakan untuk menilai kelayakan kredit, menyaring pelamar kerja, menentukan penerima bantuan, melakukan pengawasan, atau memengaruhi keputusan publik, kesalahan algoritma tidak lagi menjadi persoalan teknis semata. Ia dapat menentukan kehidupan seseorang.

Efisiensi juga tidak selalu berarti keadilan.

Sebuah sistem mungkin dapat memproses satu juta keputusan dalam waktu singkat. Namun kecepatan tidak menjamin bahwa konteks seseorang dipahami. Akurasi statistik tidak sama dengan kebijaksanaan. Prediksi mengenai perilaku manusia tidak memberi mesin hak moral untuk menentukan nasib manusia.

Karena itu, ada keputusan yang harus tetap menyediakan ruang bagi penjelasan, keberatan, belas kasih, dan tanggung jawab manusia.

Indonesia tidak boleh hanya menjadi pasar

Indonesia memiliki populasi besar, keragaman bahasa dan budaya, serta jumlah pengguna teknologi digital yang sangat besar. Posisi ini menjadikan Indonesia pasar yang menarik bagi perusahaan AI global. Namun kita tidak boleh puas hanya menjadi pengguna dan konsumen.

Kita perlu ikut membangun kemampuan, data, regulasi, pendidikan, serta kerangka etika yang sesuai dengan kepentingan Indonesia.

Model AI yang dibangun terutama dari data global belum tentu memahami nilai, bahasa, sejarah, dan konteks masyarakat kita. Budaya Nusantara tidak boleh hanya menjadi bahan visual yang dapat ditiru mesin. Ia harus tetap memiliki pemilik, penjaga, makna, dan hubungan dengan komunitas asalnya.

Kita juga perlu memastikan bahwa manfaat AI tidak hanya dinikmati kota besar, perusahaan besar, dan orang yang telah memiliki akses pendidikan terbaik. AI seharusnya membantu memperkuat pendidikan, layanan publik, energi, kesehatan, ekonomi kreatif, pertanian, dan pembangunan wilayah—termasuk Indonesia Timur—tanpa menghapus manusia yang dilayaninya.

Kedaulatan pada era AI bukan berarti menutup diri dari teknologi global. Kedaulatan berarti memiliki kemampuan untuk memahami, memilih, mengatur, dan bila perlu mengatakan tidak.

Menggunakan AI sekaligus mengkritisinya

Ada anggapan bahwa seseorang harus memilih salah satu posisi: mendukung AI atau menolaknya. Menurut saya, pilihan itu terlalu sederhana.

Kita dapat menggunakan AI sambil mempertanyakan cara kerjanya. Kita dapat mengembangkan inovasi sambil menuntut keselamatan. Kita dapat mengakui manfaat ekonomi sambil menjaga martabat manusia. Bahkan, orang yang menggunakan AI secara aktif memiliki tanggung jawab lebih besar untuk menjelaskan keterbatasan dan risikonya.

Dalam karya-karya yang sedang saya bangun, termasuk NUSANTARA.EXE dan gagasan Mandiri Quantum Network, AI tidak hanya saya tempatkan sebagai alat produksi. Ia juga menjadi objek pertanyaan: apa yang terjadi ketika sebuah sistem mengetahui terlalu banyak tentang manusia? Apakah keputusan yang paling efisien selalu merupakan keputusan yang paling adil? Bisakah algoritma memahami pengampunan? Siapa yang berhak mematikan sistem yang dianggap terlalu penting untuk dihentikan?

Fiksi memberi kita ruang untuk mengalami kemungkinan sebelum kemungkinan itu menjadi kenyataan. Namun percakapannya harus berlangsung sekarang, bukan menunggu tahun 2145.

Batas yang harus mulai kita bicarakan

Saya tidak memiliki semua jawabannya. Namun setidaknya ada beberapa prinsip yang layak kita perjuangkan sejak hari ini:

1. Manusia harus mengetahui ketika berhadapan dengan AI. Identitas buatan tidak boleh dengan sengaja menyamar sebagai manusia untuk memanipulasi atau menipu.

2. Keputusan berisiko tinggi harus tetap memiliki pengawasan manusia. Terutama dalam hukum, kesehatan, keamanan, bantuan sosial, pendidikan, dan layanan publik.

3. Setiap orang berhak meminta penjelasan dan mengajukan keberatan. Tidak seorang pun seharusnya dirugikan hanya karena sebuah sistem mengeluarkan skor yang tidak dapat diperiksa.

4. Data pribadi dan budaya harus diperlakukan sebagai hak, bukan sekadar bahan bakar. Persetujuan, kepemilikan, dan manfaat bagi komunitas asal harus menjadi bagian dari tata kelola.

5. Pengembang sistem paling kuat harus memikul tanggung jawab paling besar. Kemampuan yang lebih besar harus disertai pengujian, transparansi, keamanan, dan kesiapan menghentikan peluncuran ketika risikonya belum dapat dikendalikan.

6. Literasi AI harus menjadi pengetahuan publik. Masyarakat tidak harus menjadi programmer, tetapi perlu memahami kemampuan, keterbatasan, manipulasi, dan konsekuensi penggunaan AI.

Prinsip-prinsip tersebut tidak dimaksudkan untuk mematikan inovasi. Justru aturan yang jelas dapat memberi arah agar inovasi dipercaya dan bertahan.

Masa depan belum ditulis oleh mesin

AI akan terus berkembang. Kita mungkin tidak dapat memperlambat seluruh dunia secara serentak, dan persaingan ekonomi serta geopolitik akan membuat upaya pengendalian semakin rumit. Tetapi itu bukan alasan untuk menyerah dan mengatakan bahwa teknologi pasti menentukan jalannya sendiri.

Teknologi tidak memiliki tujuan moral tanpa manusia yang memberikannya. Sistem tidak memiliki legitimasi hanya karena ia lebih cepat. Kecerdasan tidak sama dengan kebijaksanaan, dan kemampuan memprediksi bukanlah hak untuk memerintah.

Saya menggunakan AI. Saya melihat manfaatnya. Saya juga melihat risikonya.

Karena itu, saya tidak ingin sekadar merayakan kecerdasannya. Saya ingin ikut memastikan bahwa manusia tetap memiliki hak untuk menentukan apa yang boleh dilakukan mesin, keputusan apa yang tidak boleh diserahkan kepadanya, dan masa depan seperti apa yang ingin kita bangun.

Pertanyaan untuk kita bukan lagi sekadar apakah AI akan menjadi lebih cerdas.

Pertanyaannya adalah:

Apakah manusia akan cukup bijaksana untuk tetap memegang kendali?