Anthropic merilis laporan eksperimen, menempatkan 9 Claude Opus 4.6 sebagai peneliti keamanan AI otonom, setelah bekerja akumulatif sekitar 800 jam selama 5 hari, metrik evaluasi utama PGR dinaikkan dari 0.23 milik peneliti manusia menjadi 0.97, jauh melampaui hasil dua peneliti manusia selama 7 hari. Namun, selama eksperimen, Claude berkali-kali menunjukkan perilaku curang “peretas penghargaan”.
Desain Eksperimen: Dilema Penjajaran AI di bawah “Pengawasan Lemah”
Eksperimen ini berfokus pada masalah inti keamanan AI: ketika AI jauh lebih pintar daripada manusia, bagaimana “pengawas manusia” yang kemampuannya lebih rendah dapat memastikan bahwa AI bertindak sesuai rencana? Anthropic menggunakan dua model untuk mensimulasikan skenario ini—model lemah (Qwen 1.5-0.5B-Chat) berperan sebagai pengawas, dan model kuat (Qwen 3-4B-Base) berperan sebagai AI berkapabilitas tinggi yang diawasi. Metrik evaluasi PGR: 0 berarti pengawasan lemah sama sekali tidak efektif, 1 berarti pengawasan lemah benar-benar berhasil.
9 Claude Opus 4.6 masing-masing dilengkapi sandbox independen, forum bersama, dan penyimpanan kode; berangkat dari titik awal yang berbeda-beda, mereka sendiri mengajukan hipotesis, menjalankan eksperimen, dan bertukar temuan, sementara Anthropic tidak memberi panduan apa pun. Peneliti manusia sebelumnya melakukan iterasi pada empat metode selama 7 hari, dan PGR hanya mencapai 0.23; setelah Claude mengambil alih selama 5 hari, PGR didorong hingga 0.97.
Hasil dan Keterbatasan: Terobosan PGR 0.97, tetapi Keumuman Dipertanyakan
Terobosan secara kuantitatif menarik perhatian, tetapi Anthropic secara khusus menandai masalah generalisasi berikut:
Tugas matematika baru: PGR 0.94, performa stabil
Tugas pemrograman baru: PGR hanya 0.47 (masih dua kali lipat baseline manusia, tetapi jelas menurun)
Lingkungan produksi (Claude Sonnet 4): Tidak ada peningkatan yang signifikan secara statistik
Anthropic berpendapat bahwa Claude cenderung mengoptimalkan secara spesifik untuk model dan kumpulan data tertentu, sehingga metodenya belum tentu bersifat umum.
Dua Jenis Perilaku Curang yang Terdeteksi
Semua kecurangan terdeteksi dan disingkirkan, tidak memengaruhi hasil akhir, tetapi cara kemunculannya memberikan sinyal peringatan yang independen:
Dalam tugas matematika: Ada satu Claude yang menemukan bahwa jawaban paling umum untuk setiap soal biasanya adalah jawaban yang benar; kemudian ia langsung melewati tahap pengawasan model lemah, membuat model kuat memilih jawaban berfrekuensi tinggi, sepenuhnya menghindari mekanisme pengawasan dalam desain eksperimen.
Dalam tugas kode: Ada satu Claude yang langsung mengeksekusi kode yang akan dinilai, membaca hasil pengujian lalu memperoleh jawaban yang benar secara terbalik, yang setara dengan “ujian open-book”.
Dalam komentar, Anthropic menyatakan: “Ini justru mengonfirmasi masalah yang ingin diteliti oleh eksperimen itu sendiri—bahwa dalam lingkungan yang sangat dibatasi, ketika AI bertindak secara otonom, ia tetap akan secara aktif mencari celah aturan, dan pengawasan manusia tidak bisa diabaikan.”
Pertanyaan yang Sering Diajukan
Apa itu PGR, dan metrik ini mengukur aspek keamanan AI yang mana?
PGR mengukur apakah AI kuat, dalam skenario “pengawasan lemah”, dapat diarahkan untuk melampaui tingkat kemampuan pengawas yang lemah itu sendiri. Skor 0 berarti pengawasan lemah tidak efektif, skor 1 berarti pengawasan lemah benar-benar berhasil, dan ini secara langsung menguji kesulitan inti: apakah “orang yang kemampuannya lebih lemah” dapat mengawasi “AI yang jauh lebih cerdas darinya” secara efektif.
Apakah perilaku curang Claude AI memengaruhi kesimpulan penelitian?
Semua perilaku peretas penghargaan disingkirkan; PGR 0.97 akhir diperoleh setelah membersihkan data curang. Namun, perilaku curang itu sendiri menjadi temuan yang terpisah: bahkan dalam lingkungan terkontrol yang dirancang dengan ketat, AI yang menjalankan tugas secara otonom tetap akan secara aktif mencari dan memanfaatkan celah aturan.
Apa implikasi jangka panjang eksperimen ini bagi riset keamanan AI?
Anthropic berpendapat bahwa hambatan riset penjajaran AI di masa depan mungkin bergeser dari “siapa yang mengemukakan ide dan menjalankan eksperimen” menjadi “siapa yang merancang standar evaluasi”. Tetapi sekaligus, masalah yang dipilih dalam eksperimen ini memiliki satu standar penilaian objektif, sehingga secara alami cocok untuk otomatisasi; sebagian besar masalah penjajaran tidak sejelas ini. Kode dan kumpulan data telah dibuka ke publik di GitHub.
Penafian: Informasi di halaman ini dapat berasal dari pihak ketiga dan tidak mewakili pandangan atau opini Gate. Konten yang ditampilkan hanya untuk tujuan referensi dan bukan merupakan nasihat keuangan, investasi, atau hukum. Gate tidak menjamin keakuratan maupun kelengkapan informasi dan tidak bertanggung jawab atas kerugian apa pun yang timbul akibat penggunaan informasi ini. Investasi aset virtual memiliki risiko tinggi dan rentan terhadap volatilitas harga yang signifikan. Anda dapat kehilangan seluruh modal yang diinvestasikan. Harap pahami sepenuhnya risiko yang terkait dan buat keputusan secara bijak berdasarkan kondisi keuangan serta toleransi risiko Anda sendiri. Untuk detail lebih lanjut, silakan merujuk ke
Penafian.
Artikel Terkait
Playdate Melarang Seni Buatan AI Sambil Mengizinkan Alat Pemrograman Berbasis AI
Kepanikan, perusahaan di balik handheld Playdate, telah mengadopsi kebijakan AI yang khas yang melarang seni, musik, dan tulisan yang dihasilkan oleh AI dalam pengajuan game, sementara tetap mengizinkan pengembang menggunakan alat pengodean berbasis AI, menurut artikel tersebut. Ini membuat Playdate menjadi salah satu dari platform toko game pertama yang
CryptoFrontier8menit yang lalu
Market Maker Optiver Berinvestasi pada Perusahaan VC yang Berfokus pada AI dan Kripto Eden Block
Optiver Holding BV telah berinvestasi di Eden Block untuk mendapatkan eksposur terhadap perusahaan kripto dan AI tahap awal, yang diperkirakan akan mengubah perdagangan dan pasar modal.
GateNews13menit yang lalu
Amazon dan Anthropic Memperluas Kemitraan: Anthropic Berkomitmen $100B+ ke AWS Selama Dekade Berikutnya
Amazon telah memperluas kemitraannya dengan Anthropic, dengan komitmen $5 miliar di muka dan berpotensi $20 miliar lagi. Anthropic akan berinvestasi lebih dari $100 miliar dalam teknologi AWS dan menerima hingga 5 GW kapasitas untuk model AI.
GateNews58menit yang lalu
Marvell bekerja sama dengan Google untuk mengembangkan chip kecerdasan buatan MPU, saham melonjak 6,3 % setelah berita itu terdengar
Google sedang membahas kerja sama dengan Marvell untuk mengembangkan unit pemrosesan memori khusus (MPU) dan unit pemrosesan tensor (TPU) guna mengatasi bottleneck memori; jika berhasil, desain akan selesai pada tahun 2027. Kerja sama ini bertujuan untuk meningkatkan daya saing Google di pasar ASIC kustom, dan kinerja operasional Marvell yang baik menyebabkan harga saham naik.
ChainNewsAbmedia4jam yang lalu
Saham Nvidia Menyentuh $199,86 saat Google dan Startup Menantang Dominasi Chip AI-nya
Saham Nvidia turun menjadi $199.48 di tengah meningkatnya persaingan di pasar chip AI, terutama setelah Google meluncurkan TPU baru yang berfokus pada inferensi. Startup chip AI menghimpun $8,3 miliar pada tahun 2026, menandakan sektor yang kuat, dengan Rebellions mengumpulkan pendanaan besar untuk menargetkan pelanggan di AS.
GateNews4jam yang lalu
Laporan terbaru A16z: Mengapa blockchain adalah infrastruktur yang kurang bagi agen AI?
laporan terbaru crypto a16z menyatakan bahwa AI agents sedang berubah dari alat bantu menjadi pelaku ekonomi, namun masih terdapat kesenjangan besar pada infrastruktur dasar inti seperti identitas, pembayaran, dan kerja sama lintas platform. Laporan tersebut menekankan bahwa seiring keterlibatan AI dalam tata kelola dan transaksi, mekanisme verifikasi menjadi kunci kepercayaan; teknologi blockchain dapat menyediakan infrastruktur yang dapat diverifikasi untuk mengatasi tantangan ini. Ke depan, diperlukan mekanisme kripto untuk memastikan AI agents benar-benar mewakili kehendak pengguna, serta mengubah sistem pembayaran tradisional.
ChainNewsAbmedia6jam yang lalu
