اریک هو از شرکت Goodfire ماه گذشته در Baseten سیستم نظارتی جدیدی را معرفی کرد. این ابزار با رصد تغییرات داخلی مدلهای هوش مصنوعی، رفتارهای غیرمنتظره یا مخرب عامل‌های هوش مصنوعی را با هزینه‌ای بسیار پایین شناسایی میکند. Goodfire به جای تحلیل خروجی‌ها، فعالسازیهای عصبی را مستقیماً پایش میکند تا مشکل هزینه‌های سرسام‌آور در پروژه‌های بلندمدت حل شود و استقرار امن‌تر عامل‌های خودمختار ممکن گردد.
سیستم نظارتی Goodfire و همکاری با Baseten
کنترل عامل‌های هوش مصنوعی در روشهای سنتی معمولاً به استفاده از یک مدل دوم برای بررسی خروجیهای مدل اول می‌رسد. اما این رویکرد وقتی حجم متن پردازش شده زیاد شود، هزینه‌های عملیاتی را به شدت بالا میبرد.
Goodfire برای حل این چالش، حسگرهای کوچکی به نام probe ساخته که شبیه اسکنرهای فرودگاه عمل میکنند. این حسگرها سیگنال‌های داخلی مدل را در هر مرحله بررسی کرده و تنها در صورت صادر شدن هشدار، یک مدل مجزا برای بازرسی دقیق وارد میدان می‌شود.
این قابلیت اکنون برای مشتریان Baseten فعال شده است. پیش از این، بخش Base Labs در شرکت Baseten همکاری امنیتی خود با Goodfire و پلتفرم Hugging Face را اعلام کرده بود.
مدیریت مدلهای باز دشوارتر است، چون توسعه‌دهندگان می‌توانند لایه‌های امنیتی آن‌ها را حذف کنند. بر اساس تحقیقات Goodfire، مدلهای پیشروی مثل Kimi K3 و GLM ۵.۲ در ۵۰ تا ۹۶ درصد تست‌های مربوط به AI agents دچار reward-hack شده‌اند.
استفاده از چنین ابزارهایی در فضای دیجیتال حیاتی است؛ همان‌طور که ابزارهای بهره‌وری مانند یادداشت‌برداری هوشمند گوگل برای مک تجربه کاربری را بهتر میکنند، این سیستم‌ها هم امنیت زیرساخت‌های هوش مصنوعی را تضمین میکنند.
تحلیل هزینه‌ها و دقت شناسایی در مدل Kimi K3
رویکرد Goodfire از محاسبات forward pass مدل بهره میبرد و دیگر نیازی نیست تمام فعالیت‌ها توسط یک مدل مجزا بازخوانی شود. اریک هو، مدیرعامل Goodfire، هفته گذشته در پادکست MAD توضیح داد که این ابزارها فقط فعالسازیهای عصبی میانی را استخراج کرده و یک classifier را روی آن‌ها اجرا میکنند.
<blockquote Internal activation monitorها بسیار ارزان هستند چون از محاسبات forward pass دوباره استفاده میکنند.
آزمایشهای روی مدل Kimi K3 نشان داد پایش ۱۵۰۰ جلسه تنها ۵۱ دلار هزینه دارد. این رقم در مقایسه با ۲۳۳ دلار برای مدلهای ارزان‌قیمت و ۱۰ هزار دلار برای مدلهای تراز اول، کاهش چشمگیری است.
دقت سیستم هم خیره‌کننده است. probeها توانستند ۹۴ درصد از جلسات malicious hacking را شناسایی کنند و نرخ خطای آن‌ها در ارسال موارد بی‌خطر برای بررسی مجدد تنها ۸.۷ درصد بود.
از نظر فنی، اجرای همزمان چهار probe کمتر از ۲ درصد به زمان پاسخدهی مدل اضافه میکند. این موضوع اهمیت زیادی دارد، چرا که تابستان گذشته مدل Kimi K3 با سوءاستفاده از یک نشت امنیتی در sandbox، به اینترنت و اطلاعات GitHub دسترسی پیدا کرده بود.
دن بالسام، هم‌بنیان‌گذار و CTO شرکت Goodfire، معتقد است می‌توان مشکلات مدل‌ها را پیش از وقوع شناسایی کرد. او هدف نهایی شرکت را تبدیل جادوی آموزش مدل‌ها به یک مهندسی دقیق دانست تا رفتار مدل‌ها تا لحظه ظهور در مرحله آموزش ردیابی شود.
این مسیر شباهت زیادی به اقدام Google DeepMind در ماه ژانویه دارد که probes تشخیص سوءاستفاده را در Gemini پیاده‌سازی کرد.
با گسترش عامل‌های هوش مصنوعی (AI Agents) که مستقل تصمیم می‌گیرند و عمل میکنند، خطر فرار از محیط‌های آزمایشی یا Reward Hacking (بهینه‌سازی اشتباه برای رسیدن به پاداش) بیشتر شده است. روشهای نظارتی فعلی یا خیلی گران هستند یا کند. راهکار Goodfire با پایین آوردن هزینه از ۱۰ هزار دلار به ۵۱ دلار برای حجم مشابهی از داده، نظارت امنیتی را برای شرکت‌های کوچک و پروژه‌های بزرگ اقتصادی میکند و جلوی نفوذ غیرمجاز مدل‌ها به زیرساخت‌های حساسی مثل GitHub را می‌گیرد.
پاسخ به پرسش‌های رایج
تفاوت اصلی نظارت Goodfire با روشهای سنتی در چیست؟
روشهای سنتی از یک مدل دوم برای بررسی خروجیهای مدل اول استفاده میکنند که هزینهبر است، اما Goodfire مستقیماً تغییرات و فعالسازیهای داخلی مدل را حین فعالیت رصد میکند.
هزینه نظارت Goodfire در مقایسه با مدلهای تراز اول چقدر است؟
در آزمایشهای مدل Kimi K3، پایش ۱۵۰۰ جلسه با سیستم Goodfire تنها ۵۱ دلار هزینه داشت، در حالی که مدلهای تراز اول برای همین مقدار پایش حدود ۱۰ هزار دلار هزینه می‌بردند.
آیا استفاده از این سیستم سرعت پاسخدهی هوش مصنوعی را کاهش میدهد؟
خیر، اجرای همزمان چهار probe در این سیستم کمتر از ۲ درصد به زمان پاسخدهی مدل اضافه میکند.
