أنثروبيك تطور تقنية ثورية لمنع إساءة استخدام نماذج الذكاء الاصطناعي - عرب فايف

0 تعليق ارسل طباعة

نعرض لكم زوارنا أهم وأحدث الأخبار فى المقال الاتي:
أنثروبيك تطور تقنية ثورية لمنع إساءة استخدام نماذج الذكاء الاصطناعي - عرب فايف, اليوم الاثنين 3 فبراير 2025 11:48 مساءً

كشفت شركة أنثروبيك الناشئة في مجال الذكاء الاصطناعي عن تقنية جديدة تهدف إلى منع المستخدمين من إساءة استخدام نماذجها، واستخراج محتوى ضار منها، في خطوة تعكس تسابق كبرى الشركات التقنية لتعزيز معايير الأمان في هذا المجال المتطور.

وأوضحت الشركة في ورقة بحثية أنها طوّرت نظامًا جديدًا يُعرف باسم “المُصنّفات الدستورية”، وهو طبقة حماية تعمل فوق نماذج اللغة الكبيرة، مثل نموذج Claude التابع لها، ويتيح هذا النظام مراقبة المدخلات والمخرجات، لمنع إنتاج أي محتوى غير آمن.

ويأتي هذا التطوير في ظل تصاعد المخاوف بشأن ما يُعرف بـ “اختراق الذكاء الاصطناعي Jailbreaking”، وهي محاولات لاستغلال النماذج لتوليد معلومات غير قانونية أو خطِرة، مثل تعليمات تصنيع الأسلحة الكيميائية. ومع تزايد هذه التهديدات، تتسابق الشركات لإيجاد حلول تحمي نماذجها، مما يساعدها في تجنب التدقيق التنظيمي، وكسب ثقة المؤسسات.

وقد طرحت مايكروسوفت بالفعل تقنية “الدروع التوجيهية Prompt Shields” في مارس الماضي، في حين أطلقت ميتا نموذج “حارس التوجيه Prompt Guard” في يوليو من عام 2023، الذي تعرض للاختراق في البداية، لكنه خضع لاحقًا لتحسينات أمنية.

وقال مرينانك شارما، أحد أعضاء الفريق التقني في أنثروبيك: “إن الدافع الرئيسي وراء تطوير النظام كان التعامل مع الأخطار الشديدة، مثل تصنيع الأسلحة الكيميائية، ولكن الميزة الأهم هي القدرة على التكيف والاستجابة السريعة”.

ومع أن أنثروبيك لم تدمج هذه التقنية في نماذج Claude الحالية، فإنها أشارت إلى احتمال استخدامها مستقبلًا عند إطلاق نماذج أكثر تطورًا وأعلى خطورة.

ويعتمد النظام الجديد على “دستور” من القواعد التي تحدد المحتوى المسموح والمحظور، ويمكن تعديله للتعامل مع أنواع مختلفة من المواد الخطِرة. وتُستخدم طرق متنوعة لاختراق النماذج، مثل إعادة صياغة الطلبات بأسلوب غير مألوف، أو مطالبة النموذج بالتصرف كشخصية خيالية لتجاوز قيود الأمان.

ولضمان فاعلية النظام، قدمت أنثروبيك مكافآت تصل إلى 15,000 دولار للباحثين الأمنيين الذين تمكنوا من اختراق النموذج في إطار برنامج “مكافآت اكتشاف الثغرات Bug Bounty”.

ووفقًا لنتائج الاختبارات، فقد نجح نموذج Claude 3.5 Sonnet في رفض أكثر من 95% من محاولات الاختراق عند تشغيل التقنية الأمنية الجديدة، مقارنةً بنسبة قدرها 14% فقط عند عدم تفعيلها.

وتحاول شركات الذكاء الاصطناعي تحقيق توازن بين الأمان وكفاءة النماذج، إذ تؤدي إجراءات المراقبة الصارمة أحيانًا إلى رفض الطلبات المشروعة. وقد شهدت نماذج مثل Gemini و Llama 2 مشكلات في هذا الجانب عند إطلاقها الأولي، لكن أنثروبيك أكدت أن نظامها أدى إلى زيادة طفيفة فقط في معدلات الرفض غير الضرورية.

وتأتي إضافة هذه الطبقة الأمنية بتكلفة تشغيلية إضافية، إذ أشارت الشركة إلى أن تشغيلها يزيد استهلاك الموارد الحاسوبية بنسبة قدرها 24%، وهو ما يشكّل تحديًا في ظل ارتفاع تكاليف تشغيل نماذج الذكاء الاصطناعي.

نسخ الرابط تم نسخ الرابط

إخترنا لك

أخبار ذات صلة

0 تعليق