پژوهشگران امنیتی شرکت Trail of Bits اعلام کرده‌اند ابزارهای مبتنی بر Gemini در برابر حملات مبتنی بر مقیاس‌گذاری تصویر آسیب‌پذیر هستند. این حمله یکی از چالش‌های شناخته‌شده در حوزه یادگیری ماشین محسوب می‌شود که پیش‌تر نیز در مقالات علمی مورد بحث قرار گرفته بود.

به گزارش بخش امنیت رسانه اخبار فناوری و تکنولوژی تکنا، گوگل این مشکل را یک آسیب‌پذیری امنیتی به شمار نمی‌آورد زیرا تنها در شرایطی بروز می‌کند که پیکربندی غیرپیش‌فرض در سیستم اعمال شده باشد. اساس این حملات بر تزریق دستورهای مخفی درون تصویر است؛ دستورهایی که با دستکاری مقیاس‌گذاری توسط الگوریتم‌های خاص آشکار می‌شوند، در حالی که در حالت عادی برای چشم انسان نامرئی باقی می‌مانند. پژوهشگران توضیح دادند اگر کاربری تصویری آلوده را در یک سرویس آسیب‌پذیر بارگذاری کند، مدل هوش مصنوعی پنهانی از این دستورها پیروی کرده و می‌تواند داده‌ها را افشا کند.

به گفته متخصصان سایبری، این حمله زمانی موفق عمل می‌کند که سامانه‌های هوش مصنوعی به صورت خودکار تصاویر بزرگ را کوچک‌سازی می‌کنند. آنها اشاره کردند که در فرآیند کاهش ابعاد تصویر، دستورهای مخفی آشکار می‌شود و به همین دلیل داده‌ها در معرض خروج غیرمجاز قرار می‌گیرند. برای اثبات این موضوع پژوهشگران ابزاری متن‌باز با نام Anamorpher توسعه دادند که قادر است تصاویر آلوده را بر اساس سه الگوریتم رایج کوچک‌سازی شامل nearest neighbor، bilinear و bicubic تولید کند. آنها موفق شدند چنین حملاتی را نه تنها علیه Vertex AI با هسته جمینای بلکه در محیط‌های متنوعی مانند رابط وب جمینای، رابط برنامه‌نویسی API، Google Assistant روی گوشی‌های اندرویدی و مرورگر Genspark نیز عملی کنند.

پژوهشگران تأکید کردند که این حمله نوعی تزریق غیرمستقیم محسوب می‌شود زیرا کاربر از وجود متن مخرب در تصویر اطلاعی ندارد. تفاوت این حمله با روش‌هایی مانند jailbreak در آن است که دستور مخرب به‌طور پنهانی و از طریق ورودی ترکیبی اعمال می‌شود. مشابه این رفتار پیش‌تر در مرورگر Comet متعلق به Perplexity هم مشاهده شده بود. نکته مهم اینجاست که چنین تزریق‌هایی به دلیل پنهان‌بودن برای کاربر، نرخ موفقیت بالاتری نسبت به سایر تکنیک‌ها دارند. آنها توصیه کرده‌اند که در صورت استفاده از کوچک‌سازی تصویر در سامانه‌های عامل‌محور هوش مصنوعی، کاربر باید همواره پیش‌نمایشی از آنچه مدل می‌بیند دریافت کند تا در معرض دستورهای پنهانی قرار نگیرد.

گوگل در واکنش اعلام کرد که این آسیب‌پذیری تنها در صورتی رخ می‌دهد که کاربران پیکربندی غیرپیش‌فرض را فعال کنند. یک سخنگوی این شرکت توضیح داد که مشکل یادشده به طور پیش‌فرض در Gemini CLI وجود ندارد و تنها زمانی ممکن است سوءاستفاده شود که کاربر تنظیمات امنیتی مانند تأیید خودکار فراخوانی MCP را تغییر دهد و فایل آلوده را بدون کنترل وارد سیستم کند. به گفته او گوگل ضمن قدردانی از گزارش‌های جامعه امنیتی تأکید دارد که توسعه‌دهندگان باید تنها به داده‌ها و فایل‌های مورد اعتماد دسترسی دهند و فعالیت‌های خود را در یک محیط ایزوله انجام دهند. همچنین این شرکت اعلام کرد که به‌زودی هشدارهای صریح‌تری در ابزارهای خود برای کاربرانی که این حفاظ‌ها را غیرفعال می‌کنند اضافه خواهد کرد.

پژوهشگران Trail of Bits در پایان تأکید کردند که سامانه‌های هوش مصنوعی به دفاع‌های ساختاریافته در برابر تزریق دستور نیاز دارند. آنها معتقدند که تنها با تکیه بر پیش‌نمایش یا ابزارهای کمکی نمی‌توان تهدید را برطرف کرد بلکه باید راهکارهای جامع‌تری برای کاهش خطر این گونه حملات طراحی شود تا اطمینان از ایمنی و کارایی ابزارهای مبتنی بر هوش مصنوعی در شرایط واقعی تضمین گردد.