Pada tanggal 22 Oktober 2025, Future of Life Institute (FLI) secara resmi menerbitkan sebuah surat terbuka yang menyerukan pelarangan sementara terhadap pengembangan AI jenis “superintelligence”—yaitu sistem kecerdasan buatan yang bisa melampaui kecerdasan manusia dalam hampir semua domain kognitif. TIME+2AP News+2
Surat tersebut ditandatangani oleh lebih dari 700 hingga 800 tokoh publik, termasuk peraih Nobel, pakar AI, tokoh politik, selebritas, dan pemimpin agama dari berbagai belahan dunia. Financial Times+1
Di antara penandatangan tercatat nama-nama seperti Steve Wozniak (pendiri Apple), Yoshua Bengio dan Geoffrey Hinton (pakar AI), serta Prince Harry dan Meghan Markle. AP News+1
Poin utama yang disuarakan adalah bahwa pengembangan AI superintelligent harus dihentikan, atau paling tidak ditahan, sampai kondisi-kondisi keselamatan, kendali, dan dukungan publik yang luas terpenuhi. TIME+1
Alasan Seruan
Beberapa alasan utama di balik seruan tersebut antara lain:
Risiko eksistensial: Para penandatangan menyatakan bahwa sistem AI yang melebihi kecerdasan manusia berpotensi menghadirkan dampak yang sangat serius, bahkan mengancam keberadaan umat manusia. All Things Windows+1
Ketidakpastian keselamatan dan kendali: Karena sistem semacam itu belum pernah dibangun sebelumnya, terdapat kekhawatiran bahwa manusia belum memiliki mekanisme yang memadai untuk memastikan agar sistem tersebut tetap terkendali dan selaras dengan nilai-manusia.
Kecepatan perlombaan teknologi: Persaingan antar-perusahaan dan antar-negara dalam pengembangan AI semakin cepat, dan ada rasa bahwa regulasi atau langkah antisipatif belum mengimbangi kecepatan itu. Financial Times
Kurangnya partisipasi publik dan transparansi: Salah satu tuntutan adalah bahwa pengembangan AI superintelligent tidak hanya harus diawasi oleh perusahaan besar, tetapi juga harus mendapat pemahaman dan persetujuan dari publik luas serta mekanisme pemerintahan yang kuat.
Apa yang Diminta oleh Surat Terbuka
Surat tersebut secara ringkas menyampaikan:
“We call for a prohibition on the development of superintelligence, not lifted before there is broad scientific consensus that it will be done safely and controllably, and strong public buy-in.” AP News+1
Dengan kata lain, sebelum pengembangan jenis AI yang sangat maju itu dilanjutkan, harus ada tiga elemen mendasar terpenuhi:
Konsensus ilmiah luas bahwa pengembangan dapat dilakukan dengan aman.
Mekanisme kendali yang efektif agar sistem tidak menyimpang atau menghasilkan konsekuensi tak terduga.
Dukungan publik yang nyata (public buy-in) dan transparansi dalam prosesnya.
Dokumen itu juga menegaskan bahwa fokus bukanlah pada AI umum atau narrow AI yang saat ini banyak digunakan (misalnya AI untuk kesehatan, otomasi, layanan publik) — tetapi pada “superintelligence” yang memiliki kapasitas melewati manusia dalam hampir semua tugas kognitif. Financial Times+1
Dampak & Reaksi
Publik: Sebuah survei yang disertakan dalam rilis FLI menunjukkan bahwa di Amerika Serikat misalnya, 64% orang sepakat bahwa pengembangan AI superintelligent sebaiknya ditunda hingga terbukti aman, sedangkan hanya ~5% yang mendukung pengembangan tanpa regulasi. TIME
Industri Teknologi: Terdapat dorongan besar dari perusahaan-teknologi untuk menjadi pelopor AI canggih (contoh: Meta Platforms dilaporkan akan menggelontorkan investasi besar untuk proyek “superintelligence”). Tekno Kompas+1
Regulator & Pemerintah: Meskipun beberapa regulasi AI sudah mulai dibahas secara nasional dan regional, banyak pengamat menilai regulasi tersebut masih tertinggal dibanding kecepatan inovasi teknologi.
Implikasi untuk Indonesia
Meskipun seruan ini datang dari kerangka global, terdapat sejumlah hal yang penting bagi Indonesia:
Kesadaran regulasi: Pemerintah Indonesia sudah dalam proses menyiapkan regulasi berbasis AI untuk layanan publik. Misalnya, pengembangan deregulasi berbasis AI oleh Dewan Ekonomi Nasional (DEN) untuk efisiensi layanan publik. Antara News
Namun, regulasi untuk AI superintelligent — yang membawa risiko eksistensial — masih belum tampak secara spesifik.Perlunya kerangka etika dan keamanan: Jika AI super-canggih dikejar oleh aktor global, Indonesia perlu memastikan bahwa adopsi dan pengaruh teknologi tersebut mempertimbangkan nilai-lokal, proteksi data, dampak sosial, dan keamanan.
Kecepatan dan persaingan global: Karena perusahaan global besar berinvestasi sangat besar untuk AI superintelligent (contoh: Meta dengan Rp 244 triliun untuk proyeknya) Tekno Kompas+1 maka Indonesia perlu memastikan bahwa pengembangan teknologi ini tidak “terlalu tertinggal” sekaligus tidak kehilangan kontrol atau nilai-lokal.
Partisipasi publik: Tuntutan dalam surat terbuka menekankan “dukungan publik yang kuat”. Artinya, masyarakat Indonesia juga perlu diajak berdialog, dilibatkan dalam kebijakan AI, dan mendapatkan pemahaman mengenai manfaat, risiko, dan implikasinya.
Tantangan ke Depan
Beberapa tantangan yang perlu diperhatikan:
Definisi dan batasan “superintelligence”: Apa yang secara tepat dimaksud dengan AI yang “melampaui manusia dalam hampir semua tugas”? Istilah ini masih berat dijelaskan secara teknis dan regulasi.
Kendali & alignmen: Bagaimana memastikan bahwa sistem sangat canggih tetap selaras dengan nilai-manusia, tidak melakukan hal yang tidak diinginkan, dan tidak mengambil alih kontrol secara tak terduga? Studi-risiko eksistensial sudah membahas hal ini secara mendalam. Wikipedia+1
Kepentingan komersial dan geopolitik: Dengan persaingan global yang semakin tinggi dalam AI, ada dorongan besar untuk “siapa duluan” yang bisa membawa keuntungan besar — ini bisa mengalahkan argumen kehati-hatian.
Regulasi lintas negara: AI superintelligent tidak akan berhenti di satu negara; maka butuh kerangka kerja global, kolaborasi antar-negara, pengawasan internasional.
Publikasi, transparansi, dan partisipasi masyarakat: Keterbukaan pengembangan, audit, dan partisipasi sosial penting agar teknologi tidak hanya dikendalikan oleh sedikit pihak.
Kesimpulan
Inisiatif yang diambil oleh FLI dan ratusan tokoh publik ini menggarisbawahi bahwa pengembangan AI superintelligent bukan hanya sebuah isu teknis atau industri semata, tetapi punya implikasi luas: sosial, etika, eksistensial, dan geopolitik.
Bagi Indonesia, ini saatnya tidak hanya menjadi pengamat, tetapi turut aktif dalam dialog, kebijakan, dan kerangka pengaturan yang memastikan bahwa kecerdasan buatan — saat dan setelah ia sangat maju — tetap bermanfaat bagi manusia dan tidak berbalik menjadi ancaman.
Jika Anda mau, saya bisa cari daftar lengkap penandatangan surat terbuka tersebut dan highlight tokoh-tokoh dari Indonesia atau Asia Tenggara yang turut serta. Mau saya lakukan?