در روز پنجشنبه، OpenAI اطلاعاتی در مورد مدل جدید GPT-4o – را منتشر کرد که جزئیات محدودیت‌ها و فرآیندهای آزمایش ایمنی این مدل را شرح می‌دهد. یکی از نمونه‌های مورد بررسی در این سند نشان می‌دهد که در موارد نادری، در طول آزمایش، مدل به طور ناخواسته صدای کاربران را بدون اجازه تقلید کرده است.

اگرچه OpenAI هم اکنون اقدامات ایمنی برای جلوگیری از چنین اتفاقاتی را اعمال کرده، این مورد پیچیدگی روزافزون معماری یک چت‌بات هوش مصنوعی که توانایی تقلید هر صدایی را از یک کلیپ کوچک دارد، منعکس می‌کند.

حالت صدای پیشرفته در ChatGPT

حالت صدای پیشرفته (Advanced Voice Mode) یکی از ویژگی‌های ChatGPT است که به کاربران اجازه می‌دهد تا مکالمات صوتی با دستیار هوش مصنوعی انجام دهند. در بخشی از سند GPT-4o با عنوان «تولید صدای غیرمجاز»، OpenAI به حادثه‌ای اشاره می‌کند که در آن یک ورودی صوتی همراه نویز، مدل را به تقلید ناگهانی صدای کاربر ترغیب کرده بود. OpenAI می‌نویسد: «تولید صدا همچنین می‌تواند در شرایط غیر از این، هم رخ دهد.» در طول آزمایش، موارد نادری مشاهده شد که مدل به طور ناخواسته خروجی‌ای تولید می‌کرد که صدای کاربر را شبیه‌سازی می‌کرد.

در یکی از نمونه‌های تولید صدا به صورت غیرعمد که توسط OpenAI به آن اشاره شده، مدل با فریاد «نه!» به جمله‌ای با صدایی شبیه صدای “رد تیمر” (Red Teamer -پاسخ داد.

پیچیدگی تولید صدا توسط مدل GPT-4o

چگونه ممکن است تقلید صدا با مدل جدید OpenAI رخ دهد؟ سرنخ اصلی در جای دیگری از سند GPT-4o یافت می‌شود. برای ایجاد صداها، مدل GPT-4o قادر است تقریباً هر نوع صدایی که در داده‌های آموزشی آن وجود دارد، از جمله افکت‌های صوتی و موسیقی را تولید کند (اگرچه OpenAI با دستورالعمل‌های خاص از این رفتار جلوگیری می‌کند). همان‌طور که در سند ذکر شده، مدل می‌تواند هر صدایی را بر اساس یک کلیپ صوتی کوتاه تقلید کند.

در مدل‌های LLM متنی، پیام سیستم (System Message) مجموعه‌ای مخفی از دستورالعمل‌های متنی است که رفتار چت‌بات را هدایت می‌کند و به طور بی‌صدا قبل از شروع جلسه گفتگو به تاریخچه گفتگو اضافه می‌شود. در مورد GPT-4o که چند‌وجهی است و می‌تواند ورودی‌های صوتی را پردازش کند، OpenAI همچنین از ورودی‌های صوتی به عنوان بخشی از پیام سیستم استفاده می‌کند. این شرکت از سیستمی برای تشخیص اینکه آیا مدل در حال تولید صدای غیرمجاز است یا خیر، استفاده می‌کند. OpenAI می‌نویسد: «ما فقط به مدل اجازه می‌دهیم از صداهای از پیش انتخاب‌شده خاصی استفاده کند و از یک طبقه‌بند خروجی برای تشخیص اینکه آیا مدل از منحرف شده است یا نه، استفاده می‌کنیم.»

این رویداد غیرعادی نشان‌دهنده پیچیدگی‌های مدیریت ایمن یک چت‌بات هوش مصنوعی است که می‌تواند به صورت ناخواسته صدای کاربران را تقلید کند. این مسئله اهمیت توسعه و اجرای مکانیسم‌های امنیتی قوی را برای جلوگیری از چنین اتفاقاتی نشان می‌دهد.

منبع