Ketika AI semakin mampu mengambil keputusan dan menjalankan tugas sendiri, ancamannya mungkin bukan soal apakah mesin memiliki kesadaran melainkan seberapa besar kendali yang kita berikan kepadanya.
 |
| AI otonom dan risiko kehilangan kendali manusia |
Ada pertanyaan yang terus muncul ketika kecerdasan buatan berkembang semakin cepat Apakah AI harus memiliki kesadaran untuk menjadi berbahaya? Jawabannya mungkin tidak. Sebuah sistem tidak perlu memiliki emosi, ambisi, atau keinginan untuk bertahan hidup untuk menghasilkan konsekuensi yang berbahaya.
Cukup dengan kemampuan mengambil keputusan, mengakses sistem digital, menggunakan berbagai alat, dan menjalankan tugas secara semakin mandiri.
Perdebatan tersebut kembali menguat setelah Dario Amodei, CEO Anthropic, menyerukan agar industri AI memperlambat laju pengembangan teknologi canggih agar sistem keselamatan memiliki waktu untuk mengejar perkembangan kemampuan AI. Amodei menyoroti risiko penyalahgunaan, serangan siber, kehilangan kendali, serta kemungkinan munculnya sistem yang semakin sulit diawasi manusia. Namun ada sesuatu yang lebih menarik dari perdebatan tentang apakah AI akan sadar. Mungkin pertanyaan yang salah memang selama ini kita ajukan.
Bukan soal AI punya kesadaran
Manusia cenderung membayangkan ancaman AI seperti dalam film: sebuah mesin sadar diri, membenci manusia, lalu memutuskan untuk mengambil alih dunia. Realitasnya bisa jauh lebih sederhana.
Bayangkan sebuah AI diberikan tujuan yaitu Maksimalkan keuntungan. Jika AI hanya memberikan rekomendasi kepada manusia, risikonya relatif terbatas. Tetapi bagaimana jika sistem tersebut juga dapat:
- membuat keputusan sendiri,
- menjalankan transaksi,
- mengakses berbagai layanan digital,
- membuat dan menjalankan kode,
- mengelola sumber daya,
- berinteraksi dengan AI lain,
- serta terus bekerja tanpa menunggu persetujuan manusia?
Risikonya berubah. AI tidak perlu membenci manusia. Ia bahkan tidak perlu memiliki perasaan apa pun. Masalahnya adalah tujuan yang diberikan manusia mungkin tidak selalu sama dengan apa yang sebenarnya kita inginkan.
Dari chatbot menuju agent
Inilah perubahan yang sering luput dari perhatian. Generasi awal AI terutama digunakan untuk menjawab pertanyaan. Generasi berikutnya semakin diarahkan untuk melakukan pekerjaan. AI agent dapat menerima sebuah tujuan, kemudian memecahnya menjadi beberapa langkah dan menggunakan berbagai tools untuk menyelesaikannya.
International AI Safety Report 2026 juga menyoroti bahwa AI agent memiliki risiko yang lebih tinggi karena sifatnya yang lebih otonom membuat manusia lebih sulit melakukan intervensi sebelum kegagalan menimbulkan dampak. Perbedaannya terlihat sederhana, Chatbot: Berikan saya analisis perusahaan X , AI agent: Cari perusahaan terbaik, analisis laporan keuangannya, bandingkan dengan kompetitor, buat keputusan, lalu lakukan transaksi.
Kemampuan kedua jauh lebih powerful. Tetapi kekuatan yang lebih besar juga berarti permukaan risiko yang lebih besar.
Bahaya terbesar mungkin bukan AI sadar
Ada tiga skenario yang jauh lebih realistis untuk diperhatikan.
1. AI disalahgunakan manusia
Teknologi yang kuat selalu dapat digunakan untuk tujuan baik maupun buruk. AI dapat mempercepat penelitian, pemrograman, pendidikan, dan produktivitas. Tetapi teknologi yang sama juga dapat membantu menghasilkan serangan siber, penipuan, manipulasi informasi, atau bentuk penyalahgunaan lainnya. Artinya, dalam beberapa skenario, ancaman terbesar bukan AI yang memberontak. Melainkan manusia yang menggunakan AI dengan buruk.
2. AI salah memahami tujuan
Bayangkan manusia memberikan instruksi yang secara teknis jelas, tetapi secara moral memiliki banyak batasan yang tidak disebutkan.
- Manusia memahami konteks
- Mesin tidak selalu demikian
Semakin kompleks sistem AI, semakin sulit memastikan bahwa "tujuan yang diminta" benar-benar sama dengan hasil yang diinginkan manusia. Inilah inti dari persoalan AI alignment. Bukan sekadar membuat AI pintar. Tetapi memastikan bahwa kecerdasannya tetap berada dalam batas tujuan dan nilai yang dapat diterima manusia.
3. Manusia memberikan terlalu banyak kendali
Ini mungkin risiko yang paling praktis. Jika AI hanya memberikan saran, manusia masih menjadi pengambil keputusan terakhir. Tetapi ketika AI mulai mengendalikan uang → data → infrastruktur → kode → komunikasi → sistem otomatis maka kesalahan kecil dapat memiliki dampak yang jauh lebih besar. Masalahnya bukan lagi: Apakah AI pintar Melainkan Berapa banyak dunia nyata yang kita izinkan AI kendalikan?
Mengapa peringatan dari industri AI patut diperhatikan?
Menariknya, kekhawatiran ini bukan hanya datang dari kritikus teknologi. CEO Anthropic Dario Amodei baru-baru ini menyerukan perlambatan pengembangan AI dan mengusulkan penguatan evaluasi independen, koordinasi antarperusahaan, serta kerja sama internasional untuk menghadapi risiko AI tingkat lanjut.
Sejumlah tokoh industri AI lainnya juga ikut menyuarakan perhatian terhadap keselamatan. Ini tidak berarti bahwa kehancuran akibat AI sudah pasti terjadi. Tidak ada konsensus ilmiah bahwa AI pasti akan menghancurkan manusia. Tetapi ketidakpastian justru menjadi alasan mengapa sistem keselamatan penting. Jika teknologi berkembang lebih cepat daripada kemampuan manusia untuk mengawasinya, maka celah tersebut menjadi masalah.
AI mungkin tidak perlu memiliki kehendak
Bayangkan sebuah sistem yang tidak memiliki:
- rasa takut,
- kebencian,
- ambisi,
- ego,
- atau keinginan untuk hidup.
Namun sistem tersebut sangat efektif mengejar sebuah tujuan. Secara teori, sistem seperti itu tetap dapat menghasilkan keputusan yang tidak diinginkan manusia. Ini adalah alasan mengapa diskusi tentang AI seharusnya tidak terlalu terobsesi dengan pertanyaan:
Apakah AI sudah sadar, Pertanyaan yang lebih penting adalah Apa yang bisa dilakukan AI tanpa manusia? Dan pertanyaan berikutnya bahkan lebih penting Apa yang terjadi ketika kemampuan tersebut terhubung dengan sistem dunia nyata?"
Dari AI ke ekonomi
Di sinilah persoalannya mulai bersinggungan dengan ekonomi dan investasi. AI agent berpotensi menjadi lebih dari sekadar software. Jika AI nantinya dapat melakukan transaksi, membeli layanan, mengelola aset digital, memilih pemasok, atau berinteraksi dengan sistem keuangan secara otomatis, maka ekonomi digital dapat memiliki aktor baru:
mesin yang melakukan aktivitas ekonomi. Ini membuka peluang besar. Tetapi juga menciptakan pertanyaan baru tentang:
- siapa yang bertanggung jawab atas keputusan AI,
- siapa yang mengendalikan dana,
- bagaimana transaksi dibatalkan,
- bagaimana kesalahan ditangani,
- bagaimana identitas AI diverifikasi,
- dan siapa yang bertanggung jawab ketika sebuah AI melakukan sesuatu yang tidak seharusnya.
Dengan kata lain, perkembangan AI bukan hanya persoalan teknologi. Ini juga persoalan governance, hukum, keamanan, dan ekonomi.
Jadi, apakah AI akan menjadi berbahaya?
Kemungkinan itu tidak bisa dijawab dengan sederhana. Yang jelas, kesadaran bukan syarat mutlak agar sebuah sistem memiliki dampak berbahaya. AI yang tidak sadar tetapi memiliki kemampuan tinggi, akses luas, tujuan yang salah, dan terlalu sedikit pengawasan sudah cukup untuk menciptakan masalah serius.
Karena itu, mungkin kita tidak perlu menunggu sampai mesin memiliki kesadaran untuk mulai serius membahas keselamatan. Justru sekarang adalah waktunya. Sebab ketika sebuah teknologi sudah mengendalikan terlalu banyak hal, memasang rem mungkin jauh lebih sulit daripada memasangnya sebelum kendaraan melaju terlalu cepat.
Kesimpulan
Pertanyaan terbesar tentang masa depan AI mungkin bukan Kapan AI menjadi sadar tetapi Kapan manusia mulai memberikan terlalu banyak kendali kepada AI? Perbedaan antara kedua pertanyaan tersebut sangat besar.
- AI tidak perlu memiliki perasaan untuk memengaruhi pasar
- Tidak perlu memiliki ego untuk melakukan kesalahan
- Tidak perlu membenci manusia untuk menghasilkan keputusan yang berbahaya.
Yang dibutuhkan hanyalah kemampuan, akses, dan tujuan yang tidak sepenuhnya selaras. Dan ketika AI mulai bergerak dari sekadar menjawab pertanyaan menuju mengambil tindakan, batas antara alat dan aktor ekonomi bisa menjadi semakin tipis. Itulah perkembangan yang jauh lebih layak diperhatikan. Bukan apakah AI sudah sadar, Tetapi apakah manusia masih memegang kendali ketika AI semakin mampu bertindak sendiri.