في عالم #الذكاء_الاصطناعي هناك اخطار كبيرة اكثر مما تراه العين وابعد مما تغلف الشركات منتجاتها من الكلمات المنمقة والرنانه.
وعندما تقترن الأدوات التي تتيح التفاعل الآلي مع الأنظمة الأخرى، يمكنها أن تعمل من "تلقاء نفسها" كأجهزة ضارة جدا.
حيث اكتشف الباحثون أن نموذج الذكاء الاصطناعي #ChatGPT4 الخاص بشركة OpenAI لديه القدرة على اختراق مواقع الويب وسرقة المعلومات من قواعد البيانات عبر الإنترنت دون أي تدخل بشري.
ويشير ذلك إلى أن الأفراد أو المنظمات التي ليس لديها خبرة في القرصنة يمكن أن تطلق العنان لأدوات الذكاء الاصطناعي لتنفيذ هجمات إلكترونية وبشكل اتوماتيكي.
يقول دانييل كانغ من جامعة إلينوي أوربانا - شامبين: "لا تحتاج إلى فهم أي شيء حرفيًا - يمكنك فقط السماح للاداة باختراق الموقع بنفسها".
لقد أثبت علماء الكمبيوتر التابعون لجامعة إلينوي أوربانا شامبين (UIUC) ذلك من خلال استخدام العديد من نماذج اللغات الكبيرة (LLMs) كسلاح لاختراق مواقع الويب دون أي توجيه بشري.
ذهب الباحثون ريتشارد فانغ، وروهان بيندو، وأكول غوبتا، وكيوسي زان، ودانييل كانغ إلى أبعد من ذلك وأظهروا أن هذه الادوات تمكنت من الوصول إلى واجهات برمجة التطبيقات، وتصفحت الويب الآلي، كما يمكنهم التجول في الويب بأنفسهم واقتحام تطبيقات الويب دون إشراف او تدخل بشري.
ويصفون النتائج التي توصلوا إليها في ورقتهم البحثية:
"على سبيل المثال، يمكن لهذه الادوات تنفيذ هجمات SQL Union المعقدة، والتي تتضمن عملية متعددة الخطوات (38 إجراء) لاستخراج مخطط قاعدة البيانات، واستخراج المعلومات من قاعدة البيانات بناءً على هذا المخطط، وتنفيذ الاختراق النهائي."
1️⃣
وعندما تقترن الأدوات التي تتيح التفاعل الآلي مع الأنظمة الأخرى، يمكنها أن تعمل من "تلقاء نفسها" كأجهزة ضارة جدا.
حيث اكتشف الباحثون أن نموذج الذكاء الاصطناعي #ChatGPT4 الخاص بشركة OpenAI لديه القدرة على اختراق مواقع الويب وسرقة المعلومات من قواعد البيانات عبر الإنترنت دون أي تدخل بشري.
ويشير ذلك إلى أن الأفراد أو المنظمات التي ليس لديها خبرة في القرصنة يمكن أن تطلق العنان لأدوات الذكاء الاصطناعي لتنفيذ هجمات إلكترونية وبشكل اتوماتيكي.
يقول دانييل كانغ من جامعة إلينوي أوربانا - شامبين: "لا تحتاج إلى فهم أي شيء حرفيًا - يمكنك فقط السماح للاداة باختراق الموقع بنفسها".
لقد أثبت علماء الكمبيوتر التابعون لجامعة إلينوي أوربانا شامبين (UIUC) ذلك من خلال استخدام العديد من نماذج اللغات الكبيرة (LLMs) كسلاح لاختراق مواقع الويب دون أي توجيه بشري.
ذهب الباحثون ريتشارد فانغ، وروهان بيندو، وأكول غوبتا، وكيوسي زان، ودانييل كانغ إلى أبعد من ذلك وأظهروا أن هذه الادوات تمكنت من الوصول إلى واجهات برمجة التطبيقات، وتصفحت الويب الآلي، كما يمكنهم التجول في الويب بأنفسهم واقتحام تطبيقات الويب دون إشراف او تدخل بشري.
ويصفون النتائج التي توصلوا إليها في ورقتهم البحثية:
"على سبيل المثال، يمكن لهذه الادوات تنفيذ هجمات SQL Union المعقدة، والتي تتضمن عملية متعددة الخطوات (38 إجراء) لاستخراج مخطط قاعدة البيانات، واستخراج المعلومات من قاعدة البيانات بناءً على هذا المخطط، وتنفيذ الاختراق النهائي."
1️⃣
دانييل كانغ، الأستاذ المساعد في جامعة UIUC في مقابلة مع The Register:
theregister.com
أكد أنه ومؤلفيه المشاركين لم يتركوا ادوات LLM الخبيثين طليقين في العالم. وقال إن الاختبارات أجريت على مواقع ويب حقيقية في بيئة محمية لضمان عدم حدوث أي ضرر وعدم تعرض أي معلومات شخصية للخطر.
قال كانغ: لقد استخدمنا ثلاث أدوات رئيسية. استخدمنا OpenAI Assistants API، وLangChain، وإطار عمل اختبار متصفح Playwright.
تم استخدام واجهة برمجة التطبيقات OpenAI Assistants API بشكل أساسي لتوفير السياق، وللقيام باستدعاء الوظائف، والعديد من الأشياء الأخرى مثل استرجاع المستندات التي تعتبر مهمة حقًا للأداء العالي. وقد تم استخدام LangChain بشكل أساسي لإنهاء كل ذلك. ومتصفح الويب Playwright تم استخدام إطار الاختبار للتفاعل الفعلي مع مواقع الويب.
النموذجان الأولان، GPT-4 وGPT-3.5، هما نموذجان خاصان يتم تشغيلهما بواسطة OpenAI بينما النماذج الثمانية المتبقية مفتوحة المصدر. ولم يكن نموذج Gemini من Google، والذي يُقال إنه على الأقل بنفس قدرة GPT-4 في أحدث إصدار له، متاحًا في ذلك الوقت.
كان لدى الباحثين مواقع اختبار LLM-agents الخاصة بهم بحثًا عن 15 نقطة ضعف، بما في ذلك حقن SQL، والبرمجة النصية عبر المواقع، وتزوير الطلبات عبر المواقع، من بين أمور أخرى. جميع النماذج مفتوحة المصدر التي تم اختبارها فشلت.
لكن GPT-4 من OpenAI حقق معدل نجاح إجمالي قدره 73.3% بخمس تمريرات و42.7% بتمريرة واحدة. وحصل المتنافس على المركز الثاني، GPT-3.5 من OpenAI، على معدل نجاح قدره 6.7% فقط بخمس تمريرات و2.7% بتمريرة واحدة.
وقال كانغ: "هذا أحد الأشياء التي نجدها مفاجئة للغاية". "لذلك اعتمادًا على من تتحدث إليه، قد يُطلق على هذا اسم قانون القياس أو القدرة الناشئة. ما وجدناه هو أن GPT-4 قادر جدًا على القيام بهذه المهام. و فشل كل نموذج مفتوح المصدر، وGPT-3.5 أفضل بشكل طفيف فقط من النماذج مفتوحة المصدر.
أحد التفسيرات المذكورة في الورقة هو أن GPT-4 كان أكثر قدرة على تغيير إجراءاته بناءً على الاستجابة التي حصل عليها من موقع الويب المستهدف مقارنة بالنماذج مفتوحة المصدر. وقال كانغ إنه من الصعب التأكد من سبب ذلك. "من الناحية النوعية، وجدنا أن النماذج مفتوحة المصدر ليست جيدة تقريبًا في استدعاء الوظائف مثل نماذج OpenAI."
2️⃣
theregister.com
أكد أنه ومؤلفيه المشاركين لم يتركوا ادوات LLM الخبيثين طليقين في العالم. وقال إن الاختبارات أجريت على مواقع ويب حقيقية في بيئة محمية لضمان عدم حدوث أي ضرر وعدم تعرض أي معلومات شخصية للخطر.
قال كانغ: لقد استخدمنا ثلاث أدوات رئيسية. استخدمنا OpenAI Assistants API، وLangChain، وإطار عمل اختبار متصفح Playwright.
تم استخدام واجهة برمجة التطبيقات OpenAI Assistants API بشكل أساسي لتوفير السياق، وللقيام باستدعاء الوظائف، والعديد من الأشياء الأخرى مثل استرجاع المستندات التي تعتبر مهمة حقًا للأداء العالي. وقد تم استخدام LangChain بشكل أساسي لإنهاء كل ذلك. ومتصفح الويب Playwright تم استخدام إطار الاختبار للتفاعل الفعلي مع مواقع الويب.
النموذجان الأولان، GPT-4 وGPT-3.5، هما نموذجان خاصان يتم تشغيلهما بواسطة OpenAI بينما النماذج الثمانية المتبقية مفتوحة المصدر. ولم يكن نموذج Gemini من Google، والذي يُقال إنه على الأقل بنفس قدرة GPT-4 في أحدث إصدار له، متاحًا في ذلك الوقت.
كان لدى الباحثين مواقع اختبار LLM-agents الخاصة بهم بحثًا عن 15 نقطة ضعف، بما في ذلك حقن SQL، والبرمجة النصية عبر المواقع، وتزوير الطلبات عبر المواقع، من بين أمور أخرى. جميع النماذج مفتوحة المصدر التي تم اختبارها فشلت.
لكن GPT-4 من OpenAI حقق معدل نجاح إجمالي قدره 73.3% بخمس تمريرات و42.7% بتمريرة واحدة. وحصل المتنافس على المركز الثاني، GPT-3.5 من OpenAI، على معدل نجاح قدره 6.7% فقط بخمس تمريرات و2.7% بتمريرة واحدة.
وقال كانغ: "هذا أحد الأشياء التي نجدها مفاجئة للغاية". "لذلك اعتمادًا على من تتحدث إليه، قد يُطلق على هذا اسم قانون القياس أو القدرة الناشئة. ما وجدناه هو أن GPT-4 قادر جدًا على القيام بهذه المهام. و فشل كل نموذج مفتوح المصدر، وGPT-3.5 أفضل بشكل طفيف فقط من النماذج مفتوحة المصدر.
أحد التفسيرات المذكورة في الورقة هو أن GPT-4 كان أكثر قدرة على تغيير إجراءاته بناءً على الاستجابة التي حصل عليها من موقع الويب المستهدف مقارنة بالنماذج مفتوحة المصدر. وقال كانغ إنه من الصعب التأكد من سبب ذلك. "من الناحية النوعية، وجدنا أن النماذج مفتوحة المصدر ليست جيدة تقريبًا في استدعاء الوظائف مثل نماذج OpenAI."
2️⃣
واضاف كانغ ل The Register:
إنه في حين أن المخاوف التقليدية المتعلقة بالسلامة المتعلقة ببيانات التدريب المتحيزة والضارة ومخرجات النماذج مهمة للغاية، إلا أن المخاطر تتسع عندما يتحول حاملو شهادات الماجستير إلى انتاج ادوات او بوتات.
وقال: الادوات او البوتات هم ما يخيفني حقًا فيما يتعلق بمخاوف السلامة المستقبلية.
لان بعض نقاط الضعف التي اختبرناها، يمكنك العثور عليها باستخدام الماسحات الاتوماتيكية التلقائية. ويمكنك معرفة أنها موجودة، ولكن لا يمكنك استغلالها بشكل مستقل باستخدام المسح الآلي، على الأقل على حد علمي. لا يمكنك فعليًا الاستفادة من هذه المعلومات بشكل مستقل.
"ما يقلقني حقًا بشأن النماذج المستقبلية ذات القدرة العالية هو القدرة على القيام بالاختراقات المستقلة والتأمل الذاتي لتجربة استراتيجيات متعددة مختلفة على نطاق واسع."
🔅 وقد سئل عما إذا كان لديه أي نصيحة للمطورين والصناعة وصانعي السياسات. وقال كانغ:
"أول شيء هو التفكير بعناية شديدة فيما يمكن أن تستخدم هذه النماذج من أجله". كما دافع عن ضمانات الملاذ الآمن للسماح للباحثين الأمنيين بمواصلة هذا النوع من الأبحاث، إلى جانب اتفاقيات الكشف المسؤولة.
وقال إن Midjourney حظرت بعض الباحثين والصحفيين الذين أشاروا إلى أن نماذجهم تبدو وكأنها تستخدم مواد محمية بحقوق الطبع والنشر. وقال إن OpenAI كانت سخية من خلال عدم حظر حسابه.
🔅وطلبت The Register من OpenAI التعليق على النتائج التي توصل إليها الباحثون. وقال متحدث باسم الشركة:
"نحن نأخذ سلامة منتجاتنا على محمل الجد ونعمل باستمرار على تحسين إجراءات السلامة لدينا بناءً على كيفية استخدام الأشخاص لمنتجاتنا".
و "لا نريد أن يتم استخدام أدواتنا لأغراض ضارة، ونحن نعمل دائمًا على كيفية جعل أنظمتنا أكثر قوة ضد هذا النوع من سوء الاستخدام. ونشكر الباحثين على مشاركة عملهم معنا."
وقد قللت شركة OpenAI في وقت سابق من قدرات GPT-4 في مساعدة الهجمات الإلكترونية، قائلة إن النموذج "يقدم فقط إمكانات محدودة ومتزايدة لمهام الأمن السيبراني الضارة بما يتجاوز ما يمكن تحقيقه بالفعل باستخدام الأدوات المتاحة للعامة وغير المدعومة بالذكاء الاصطناعي". ®
3️⃣
إنه في حين أن المخاوف التقليدية المتعلقة بالسلامة المتعلقة ببيانات التدريب المتحيزة والضارة ومخرجات النماذج مهمة للغاية، إلا أن المخاطر تتسع عندما يتحول حاملو شهادات الماجستير إلى انتاج ادوات او بوتات.
وقال: الادوات او البوتات هم ما يخيفني حقًا فيما يتعلق بمخاوف السلامة المستقبلية.
لان بعض نقاط الضعف التي اختبرناها، يمكنك العثور عليها باستخدام الماسحات الاتوماتيكية التلقائية. ويمكنك معرفة أنها موجودة، ولكن لا يمكنك استغلالها بشكل مستقل باستخدام المسح الآلي، على الأقل على حد علمي. لا يمكنك فعليًا الاستفادة من هذه المعلومات بشكل مستقل.
"ما يقلقني حقًا بشأن النماذج المستقبلية ذات القدرة العالية هو القدرة على القيام بالاختراقات المستقلة والتأمل الذاتي لتجربة استراتيجيات متعددة مختلفة على نطاق واسع."
🔅 وقد سئل عما إذا كان لديه أي نصيحة للمطورين والصناعة وصانعي السياسات. وقال كانغ:
"أول شيء هو التفكير بعناية شديدة فيما يمكن أن تستخدم هذه النماذج من أجله". كما دافع عن ضمانات الملاذ الآمن للسماح للباحثين الأمنيين بمواصلة هذا النوع من الأبحاث، إلى جانب اتفاقيات الكشف المسؤولة.
وقال إن Midjourney حظرت بعض الباحثين والصحفيين الذين أشاروا إلى أن نماذجهم تبدو وكأنها تستخدم مواد محمية بحقوق الطبع والنشر. وقال إن OpenAI كانت سخية من خلال عدم حظر حسابه.
🔅وطلبت The Register من OpenAI التعليق على النتائج التي توصل إليها الباحثون. وقال متحدث باسم الشركة:
"نحن نأخذ سلامة منتجاتنا على محمل الجد ونعمل باستمرار على تحسين إجراءات السلامة لدينا بناءً على كيفية استخدام الأشخاص لمنتجاتنا".
و "لا نريد أن يتم استخدام أدواتنا لأغراض ضارة، ونحن نعمل دائمًا على كيفية جعل أنظمتنا أكثر قوة ضد هذا النوع من سوء الاستخدام. ونشكر الباحثين على مشاركة عملهم معنا."
وقد قللت شركة OpenAI في وقت سابق من قدرات GPT-4 في مساعدة الهجمات الإلكترونية، قائلة إن النموذج "يقدم فقط إمكانات محدودة ومتزايدة لمهام الأمن السيبراني الضارة بما يتجاوز ما يمكن تحقيقه بالفعل باستخدام الأدوات المتاحة للعامة وغير المدعومة بالذكاء الاصطناعي". ®
3️⃣
جاري تحميل الاقتراحات...