Meningkatnya penggunaan Generative AI (GenAI) dalam dua tahun terakhir telah mendorong gelombang inovasi yang luar biasa dan lonjakan permintaan dari perusahaan di seluruh dunia untuk memanfaatkan teknologi transformatif ini. Namun, dorongan untuk berinovasi dengan cepat juga meningkatkan risiko, karena tekanan untuk membangun dengan segera sering kali membuat aspek keamanan diabaikan. Selain itu, pelaku kejahatan kini memanfaatkan GenAI untuk memperluas aktivitas jahat mereka, sehingga serangan menjadi lebih sering terjadi dan berpotensi lebih merusak dibanding sebelumnya.
Untuk menghadapi tantangan ini, pengamanan aplikasi perusahaan yang memanfaatkan GenAI memerlukan penerapan kontrol keamanan mendasar guna melindungi infrastruktur pendukung. Infrastruktur inilah yang menggerakkan aplikasi dan memiliki akses ke sejumlah besar data perusahaan yang menjadi tumpuan aplikasi tersebut. Dengan memastikan fondasi keamanan ini terpasang dengan baik, perusahaan dapat mempercayai aplikasi-aplikasi tersebut saat diimplementasikan di seluruh organisasi.
Evolusi GenAI Berikutnya: Munculnya Agen AI
Perkembangan GenAI dengan cepat beralih dari sekadar mesin pembuat konten dan co-pilot untuk manusia menjadi agen otonom yang mampu mengambil keputusan dan melakukan tindakan atas nama manusia. Meskipun agen AI saat ini belum banyak digunakan dalam lingkungan produksi skala besar, para analis memprediksi adopsinya akan berlangsung pesat dalam waktu dekat karena manfaatnya yang besar bagi organisasi. Perubahan ini menghadirkan tantangan keamanan baru, terutama dalam mengelola identitas mesin (agen AI) yang mungkin tidak selalu bertindak sesuai harapan.
Seiring meningkatnya penggunaan agen AI, perusahaan akan menghadapi kompleksitas dalam mengamankan identitas-identitas ini dalam skala besar, yang berpotensi melibatkan ribuan bahkan jutaan agen yang beroperasi secara bersamaan. Beberapa aspek keamanan utama yang perlu diperhatikan meliputi autentikasi agen AI terhadap berbagai sistem (termasuk terhadap agen AI lainnya), pengelolaan serta pembatasan akses, dan pengendalian siklus hidup agen agar agen yang tidak lagi dibutuhkan tidak mempertahankan akses yang tidak semestinya. Selain itu, penting untuk memastikan bahwa agen AI menjalankan fungsinya sesuai tujuan dalam layanan yang mereka dukung.
Seiring terus berkembangnya teknologi ini, lebih banyak wawasan mengenai praktik terbaik dalam mengintegrasikan agen AI secara aman ke dalam sistem perusahaan akan bermunculan. Namun, yang sudah jelas saat ini adalah bahwa pengamanan infrastruktur pendukung yang menopang implementasi GenAI akan menjadi prasyarat untuk menjalankan agen AI di atas platform yang aman sejak awal.
Mengatasi Tantangan Keamanan yang Muncul
Ketika memikirkan keamanan GenAI, hal pertama yang mungkin terlintas adalah perlunya mengamankan teknologi-teknologi baru yang mulai diterapkan di dunia nyata. Tantangan ini sangat besar karena pesatnya perubahan, munculnya berbagai jenis layanan dan kapabilitas baru, serta inovasi yang terus berjalan.
Sebagaimana terjadi pada setiap periode inovasi besar, kontrol dan praktik keamanan juga harus disesuaikan. Dalam beberapa kasus, inovasi dalam aspek keamanan juga dibutuhkan untuk mengatasi tantangan yang sebelumnya belum pernah ada. Meningkatnya penggunaan GenAI tidak terkecuali, karena membawa kekhawatiran keamanan yang unik dan menuntut adanya inovasi yang berkelanjutan. Salah satu contohnya adalah perlindungan aplikasi berbasis GenAI dari serangan seperti prompt injection. Serangan ini dapat membuat aplikasi membocorkan data sensitif atau melakukan tindakan yang tidak diinginkan.
Namun, penting untuk diingat bahwa, seperti halnya aplikasi lain, aplikasi yang ditenagai GenAI dibangun di atas sistem dan basis data yang mendasarinya. Aplikasi perusahaan yang menggunakan GenAI akan rentan terhadap serangan yang berpotensi menghancurkan jika infrastruktur pendukung ini tidak diamankan dengan baik. Penyerang dapat membocorkan data sensitif dalam jumlah besar, merusak data, memanipulasi model AI, atau mengganggu ketersediaan sistem serta pengalaman pelanggan.

Banyak identitas yang memerlukan akses ke infrastruktur backend, masing-masing mewakili tingkat risiko yang tinggi dan menjadi target utama bagi penyerang. Pelanggaran terkait identitas tetap menjadi penyebab utama serangan siber, memberikan akses tidak sah kepada penyerang ke sistem dan data sensitif. Mengidentifikasi identitas ini, memahami peran dan kebutuhan akses mereka, serta mengamankan semuanya merupakan prioritas yang sangat penting. Untungnya, langkah-langkah untuk mengamankan identitas dalam infrastruktur backend ini sama dengan praktik terbaik keamanan identitas yang mungkin sudah Anda gunakan untuk melindungi lingkungan lainnya, terutama infrastruktur cloud, tempat sebagian besar komponen GenAI akan diterapkan.
Di Dalam Aplikasi Perusahaan yang Didukung GenAI
Sebelum membahas pengendalian keamanan dan pendekatan yang direkomendasikan, mari kita tinjau secara singkat beberapa komponen utama dan elemen pembangun aplikasi berbasis GenAI, serta identitas yang berinteraksi dengan komponen-komponen tersebut. Gambaran ini tidak dimaksudkan sebagai panduan yang lengkap, melainkan mencakup pendekatan dan area penting yang perlu dipertimbangkan, terutama untuk komponen dan layanan yang biasanya dihosting atau dikelola oleh organisasi Anda.
Berikut adalah beberapa komponen krusial yang perlu diperhatikan:
- Antarmuka Aplikasi: API berperan sebagai gerbang bagi aplikasi dan pengguna untuk berinteraksi dengan sistem GenAI. Mengamankan antarmuka ini sangat penting untuk mencegah akses tidak sah dan memastikan hanya permintaan yang sah yang diproses.
- Model Pembelajaran dan LLM: Algoritma ini menganalisis data untuk mengidentifikasi pola dan membuat prediksi atau keputusan berdasarkan data tersebut. Model ini dilatih menggunakan data dalam jumlah besar untuk menghasilkan aplikasi yang andal. Sebagian besar perusahaan akan menggunakan satu atau beberapa LLM terkemuka dari penyedia global seperti OpenAI, Google, dan Meta. Meskipun data publik digunakan untuk melatih LLM, pengembangan aplikasi unggulan yang berkinerja tinggi juga memerlukan pelatihan model menggunakan data unik yang memberikan keunggulan kompetitif bagi perusahaan Anda.
- Data Perusahaan: Data adalah bahan bakar AI, yang mendorong algoritma pembelajaran mesin dan menghasilkan wawasan. Memanfaatkan data internal perusahaan menjadi kunci dalam mengembangkan aplikasi berbasis GenAI yang unik dan berdampak besar. Melindungi informasi sensitif dan rahasia dari kebocoran atau kehilangan menjadi perhatian utama dan merupakan prasyarat sebelum meluncurkan aplikasi-aplikasi ini.
- Lingkungan Penerapan: Baik diterapkan secara on-premises maupun di cloud, pastikan lingkungan tempat Anda mengimplementasikan aplikasi AI diamankan dengan langkah-langkah ketat dalam hal keamanan identitas.

Pada akhirnya, teknologi, layanan, dan basis data di lingkungan cloud atau pusat data Anda membentuk infrastruktur backend di balik aplikasi yang didukung GenAI, dan Anda harus melindunginya sebagaimana Anda melindungi sistem lainnya.
Menerapkan langkah-langkah keamanan identitas yang kuat pada setiap elemen tersebut sangat penting untuk mengurangi risiko dan memastikan integritas aplikasi GenAI.
Penerapan Pengendalian Keamanan Identitas yang Kuat
Berbagai identitas memiliki tingkat hak akses yang tinggi terhadap infrastruktur penting yang mendukung aplikasi GenAI perusahaan. Jika identitas ini diretas dan proses autentikasi dilewati, hal ini akan menciptakan permukaan serangan yang luas dan membuka berbagai jalur masuk bagi penyerang. Pengguna dengan hak istimewa ini tidak hanya terbatas pada tim TI dan operasi cloud yang membangun serta mengelola infrastruktur dan akses. Mereka juga mencakup (namun tidak terbatas pada):
- Pengguna bisnis yang ditugaskan untuk menganalisis tren data, memberikan keahlian mereka, dan melakukan validasi.
- Data scientist yang mengembangkan model, mempersiapkan dataset, dan menganalisis data.
- Developer dan engineer DevOps yang mengelola basis data serta, bersama tim TI, bertanggung jawab membangun dan mengembangkan infrastruktur backend, baik secara langsung maupun melalui skrip otomatis.
Identitas developer yang dibajak dapat memberikan penyerang akses baca dan tulis dengan hak istimewa ke repositori kode sensitif, fungsi administrasi infrastruktur cloud inti, dan data rahasia perusahaan.
Selain itu, perlu diingat bahwa infrastruktur GenAI ini dipenuhi dengan identitas mesin yang memungkinkan sistem, aplikasi, dan skrip mengakses sumber daya, mengolah data, membangun, mengelola, dan mengembangkan infrastruktur, serta menerapkan kontrol akses dan keamanan. Seperti halnya lingkungan TI dan cloud modern lainnya, dapat diasumsikan bahwa jumlah identitas mesin akan lebih banyak daripada identitas manusia.
Karena taruhannya begitu tinggi, penerapan pendekatan Zero Trust dengan asumsi adanya pelanggaran menjadi kunci. Pengendalian keamanan harus melampaui autentikasi dan kontrol akses berbasis peran (RBAC) dasar, untuk memastikan bahwa jika sebuah akun diretas, hal tersebut tidak menciptakan permukaan serangan yang besar dan rentan.
Pertimbangkan pengendalian keamanan identitas berikut untuk semua jenis identitas yang telah diuraikan di atas:
- Menerapkan autentikasi multifaktor adaptif yang kuat untuk semua akses pengguna.
- Mengamankan akses, mengaudit penggunaan, dan secara berkala merotasi kredensial, kunci, sertifikat, dan secret yang digunakan oleh manusia maupun aplikasi backend atau skrip. Pastikan bahwa kunci API atau token yang tidak dapat diputar secara otomatis tidak ditetapkan secara permanen dan hanya sistem serta layanan yang benar-benar diperlukan yang diizinkan mengaksesnya.
- Menerapkan prinsip zero standing privileges (ZSP) untuk memastikan bahwa pengguna tidak memiliki hak akses permanen dan hanya dapat mengakses data serta mengambil peran tertentu jika benar-benar dibutuhkan. Di area di mana ZSP tidak memungkinkan, terapkan prinsip least privilege access untuk meminimalkan permukaan serangan jika terjadi kompromi pengguna.
- Mengisolasi dan mengaudit seluruh sesi pengguna yang mengakses komponen infrastruktur GenAI.
- Memantau secara terpusat semua perilaku pengguna untuk keperluan forensik, audit, dan kepatuhan. Catat dan awasi setiap perubahan yang terjadi.
Menyeimbangkan Keamanan dan Kemudahan Penggunaan dalam Proyek GenAI
Saat merencanakan pendekatan penerapan pengendalian keamanan dan hak akses, penting untuk menyadari bahwa proyek yang berkaitan dengan GenAI kemungkinan besar akan menjadi sorotan di dalam organisasi. Dalam situasi ini, tim pengembang dan inisiatif perusahaan mungkin menganggap kontrol keamanan sebagai penghambat. Kompleksitas semakin meningkat karena Anda harus mengamankan kelompok identitas yang beragam, masing-masing membutuhkan tingkat akses yang berbeda dan menggunakan berbagai alat serta antarmuka. Oleh karena itu, pengendalian yang diterapkan harus dapat diskalakan dan memperhatikan pengalaman serta ekspektasi pengguna, sembari memastikan bahwa pengendalian tersebut tidak berdampak negatif terhadap produktivitas dan kinerja.
Hubungi CyberArk Indonesia untuk melakukan POC dan mengetahui kerentanan yang terjadi di Perusahaan anda.
