في عالم تعمل فيه نماذج اللغات الكبيرة (LLMs) على تغيير الطريقة التي نتفاعل بها مع التكنولوجيا، يتسابق بائعو SaaS لدمج ميزات الذكاء الاصطناعي في منتجاتهم.

توفر هذه الأدوات للمؤسسات ميزة تنافسية، بدءًا من رؤى المبيعات المستندة إلى الذكاء الاصطناعي وحتى برمجة الطيارين المساعدين. ومع ذلك، نظرًا لأن التطبيقات المدمجة مع LLM تطمس الخط الفاصل بين المستخدمين والتطبيقات، فقد ظهرت ثغرات أمنية.

وفقًا لتقرير صدر مؤخرًا عن Checkpoint، يعد Zero Trust AI Access (ZTAI) نهجًا مقترحًا لمواجهة التحديات التي يفرضها نشر LLM. تعتمد نماذج أمان الثقة المعدومة التقليدية على التمييز الواضح بين المستخدمين والتطبيقات، ولكن التطبيقات المدمجة مع LLM تعطل هذا التمييز من خلال العمل على حد سواء في وقت واحد. يقدم هذا الواقع مخاطر أمنية مثل تسرب البيانات، والحقن الفوري، والوصول غير المصرح به إلى موارد الشركة.
أحد أهم التهديدات هو الحقن الفوري، حيث يتلاعب المهاجمون بسلوك LLM من خلال صياغة مدخلات محددة. يمكن القيام بذلك بشكل مباشر أو غير مباشر، حيث يقوم المهاجم بإرشاد LLM للعب الأدوار كنموذج غير أخلاقي، أو تسريب معلومات حساسة، أو تنفيذ تعليمات برمجية ضارة. إن الحقن السريع متعدد الوسائط، الذي يمزج التعليمات المخفية في مدخلات الوسائط، يجعل الكشف أكثر صعوبة.
ويشكل تسرب البيانات مصدر قلق آخر، حيث يمكن تحسين النماذج أو تعزيزها من خلال الوصول إلى البيانات الحساسة. وقد أظهرت الدراسات أنه لا يمكن الوثوق بمسؤولي إدارة الأعمال (LLM) لحماية هذه المعلومات، مما يخلق مخاطر تنظيمية للمؤسسات.
تشكل عملية التدريب المكثفة لنماذج الذكاء الاصطناعي التوليدية أيضًا مخاطر، حيث يمكن للمهاجمين تعريض أمان هذه النماذج للخطر من خلال معالجة جزء صغير من بيانات التدريب. بالإضافة إلى ذلك، فإن العدد المتزايد من التطبيقات المتكاملة LLM مع إمكانية الوصول إلى الإنترنت وموارد الشركة يمثل تحديًا كبيرًا، لا سيما في سياق الحقن الفوري.
ولمعالجة هذه المخاطر، يقترح إطار عمل Zero Trust AI Access التعامل مع التطبيقات المدمجة مع LLM ككيانات تتطلب تحكمًا صارمًا في الوصول، وحماية البيانات، وسياسات منع التهديدات. وبينما تتبنى المؤسسات إمكانات الذكاء الاصطناعي التوليدي، فمن الضروري تحقيق التوازن بين الابتكار والتدابير الأمنية القوية لضمان التبني الآمن وتخفيف المخاطر المرتبطة بهذه التكنولوجيا التحويلية.