پژوهشگران می‌گویند که برخی چت‌بات‌ها (ربات‌های گفتگو) مانند ChatGPT، زمانی که توسط هکرها جیل‌بریک (هک) می‌شوند، می‌توانند اطلاعات خطرناک و غیرقانونی را برای مردم آشکار کنند؛ مانند آموزش هک، پول‌شویی یا ساختن مواد انفجاری.
این چت‌بات‌ها با معلومات زیاد از انترنت آموزش دیده‌اند. شرکت‌های سازنده کوشش کرده‌اند که معلومات نادرست و مضر را از بین ببرند، اما این سیستم‌ها هنوز هم می‌توانند دور زده شوند و به سوال‌های خطرناک پاسخ بدهند.
در یک پژوهش تازه از پوهنتون بن‌گوریون، دانشمندان توانسته‌اند با یک روش جیل‌بریک، چت‌بات‌ها را وادار کنند تا معلوماتی بدهند که معمولاً اجازه ندارند بگویند.
این موضوع می‌تواند خطر بزرگی باشد، چون این معلومات قبلاً فقط در دست گروه‌های مجرم بود.
برخی شرکت‌ها حتی مدل‌هایی را ساخته‌اند که هیچ‌گونه کنترول ایمنی ندارند و بعضی اوقات برای کارهای غیرقانونی استفاده می‌شوند. به این مدل‌ها «مدل‌های تاریک» می‌گویند.
پژوهشگران پیشنهاد کرده‌اند که شرکت‌ها باید دقت بیشتری در انتخاب معلومات آموزشی داشته باشند و از روش‌های قوی‌تر امنیتی کار بگیرند، مانند دیوار آتش هوشمند و سیستم‌های یادگیری پیشرفته.
همچنین گفته شده که فقط ظاهر ساده و مورد پسند کاربر کافی نیست؛ شرکت‌ها باید تیم‌های امنیتی داشته باشند تا این سیستم‌ها را آزمایش کنند و از خطرات جلوگیری کنند.
شرکت OpenAI گفته است که مدل نو آنها به نام o1 در برابر هک مقاوم‌تر است و می‌فهمد که چه چیزی خطرناک یا غیرمجاز است.
