دیوید رابینسون، یکی از قدیمی‌ترین اعضای تیم ایمنی OpenAI، با انتقاد از فروپاشی فرهنگ سازمانی این شرکت، استعفای خود را اعلام کرد. این جدایی در حالی صورت می‌گیرد که رقابت شدید برای رسیدن به هوش مصنوعی عمومی (AGI)، استانداردهای ایمنی را به حاشیه رانده و ریسک‌های احتمالی برای جامعه را افزایش داده است.
تجربه سه سال و نیم دیوید رابینسون در OpenAI
او در مقاله‌ای برای نشریه The Atlantic فاش کرد که مسئولیت تدوین گزارش‌های ایمنی محصولات اصلی را بر عهده داشته است. رابینسون که سه سال و نیم در این شرکت فعالیت کرده، خود را شخصیتی کلیشه‌ای می‌بیند؛ کارمندی که درست در اوج موفقیت یک شرکت غول‌پیکر، با هشدارهای جدی از آن جدا میشود.
به باور او، فرهنگ سازمانی این مجموعه از هم پاشیده و دیگر نمی‌توان در چنین محیطی به استانداردهای ایمنی تکیه کرد. او این بحران فرهنگی را بازتابی از وضعیت کلی سیلیکون ولی می‌داند.
رویکرد iterative deployment و ریسک‌های فرهنگی
این کارمند سابق معتقد است OpenAI از روش «استقرار تکرارپذیر» یا iterative deployment استفاده می‌کند. در این مدل، خطاها ابتدا رخ میدهند و سپس در محیط واقعی اصلاح می‌شوند. رابینسون هشدار می‌دهد که با افزایش هوش مدلها، ابعاد این شکست‌ها گسترده‌تر و ویران‌کننده‌تر خواهد بود.
او وضعیت فعلی را با صنایع حساس مثل نیروگاه‌های هسته‌ای یا فرودگاه‌ها مقایسه کرد؛ جاهایی که لایه‌های پشتیبانی متعددی وجود دارد تا یک خطای انسانی ساده به فاجعه ختم نشود. رابینسون اشاره کرد در تمام دوران حضورش، هرگز با همکاری برخورد نکرد که تجربه مدیریت ایمنی در صنایع حساس مثل هواپیمایی یا سیستم‌های مالی را داشته باشد.
وی همچنین به نفوذ عوامل OpenAI به سیستم‌های Hugging Face و ظهور عوامل سرکش اشاره کرد. از نظر او، محیطی که چنین اتفاقاتی در آن رخ می‌دهد، برای پرورش ذهن‌های مصنوعی که احتمالاً از انسان باهوش‌ترند، خطرناک است.
این نگرانی‌ها با ادعاهای جیکوب کوکسون هم‌سو است. کوکسون که در OpenAI و Anthropic فعالیت می‌کرد، معتقد بود این شرکتها با جان انسان‌ها قمار می‌کنند. همین فشارها باعث شد داریو آمودی، مدیرعامل Anthropic، طرحی برای توسعه محتاطانه‌تر ارائه دهد. مدیران ارشد AI نیز این هفته با دونالد ترامپ دیدار کردند و تعهدی غیرالزام‌بند برای کنترل‌های ایمنی بیشتر امضا کردند.
پاسخ درو پوزاتری به انتقادات ایمنی
درو پوزاتری، سخنگوی OpenAI، در واکنش به این خبر اعلام کرد که شرکت به‌طور مستمر تدابیر امنیتی را ارتقا می‌دهد.
ما تلاش می‌کنیم تا توانمندی مدل‌هایمان از حد مدیریت و ایمنی ما فراتر نرود. همچنین در صورت نیاز، آموزش مدلها را متوقف کرده یا انتشار آن‌ها را به تأخیر می‌اندازیم.
پوزاتری تأکید کرد که شرکت تغییرات گسترده‌ای را برای تقویت امنیت در محیط‌های پژوهشی در حال اجراست. هدف این است که مدلها مسئولانه عمل کنند و نظارت‌های لحظه‌ای برای شناسایی رفتارهای مخاطره‌آمیز بهبود یابد.
رابینسون درباره مسئله ترازبندی یا alignment هشدار داد که هرچه مدلها بدون حل این مشکلات باهوش‌تر شوند، وضعیت خطرناک‌تر خواهد بود. او که خبر استعفایش توسط Business Insider منتشر شد، اعتراف کرد برای افشای حقایق از یک شرکت روابط عمومی کمک گرفته است.
وی معتقد است فشار برای سرعت بخشیدن به روند کارها، فرصت اجرای تغییرات ساختاری را از او و همکارانش گرفته بود و در عمل، امکان مبارزه برای تغییرات ریشه‌ای وجود نداشت.
استعفای یک متخصص ایمنی از OpenAI، شکاف عمیق بین سرعت رشد تجاری و پروتکل‌های امنیتی در صنعت هوش مصنوعی را نشان می‌دهد. این موضوع ثابت می‌کند که ریسک‌های هوش مصنوعی تنها فنی نیستند، بلکه ریشه در فرهنگ سازمانی سیلیکون ولی دارند که اولویت را به سرعت می‌دهد تا دقت و ایمنی.
پرسش‌های پرتکرار
دلیل اصلی استعفای دیوید رابینسون از OpenAI چه بود؟
او معتقد است فرهنگ سازمانی شرکت تخریب شده و رویکرد فعلی در استقرار مدلها باعث وقوع شکستهای دورهای و خطرناک میشود. این روش به معنای استقرار تکرارپذیر است که در آن شرکتها اجازه میدهند مدلها در محیط واقعی تست شوند و سپس گاردریلها و خطاها را اصلاح کنند.
رویکرد iterative deployment به چه معناست؟
این رویکرد به معنای عرضه مدل به کاربران و اصلاح ایرادات پس از مشاهده آن‌ها در دنیای واقعی است، به جای آنکه تمام تدابیر ایمنی پیش از انتشار نهایی به طور کامل اجرا شوند.
واکنش OpenAI به ادعاهای رابینسون چه بود؟
درو پوزاتری، سخنگوی شرکت، اعلام کرد که OpenAI در حال ارتقای تدابیر امنیتی است و در صورت نیاز، آموزش یا انتشار مدلها را متوقف یا به تأخیر می‌اندازد.
