هالوسیناسیون هوش مصنوعی (AI Hallucination) یا توهم هوش مصنوعی به اشتباهات یا توهمی گفته می‌شود که مدل‌های هوش مصنوعی می‌توانند در هنگام تولید پاسخ‌هایشان داشته باشند. هالوسیناسیون معمولاً به دلیل مشکلات در داده‌های آموزشی، محدودیت‌های مدل، یا پیچیدگی‌هایی که مدل نمی‌تواند به درستی پردازش کند، به وجود می‌آید.

توهم هوش مصنوعی یکی از مفاهیم پیشرفته و پرچالش در زمینه هوش مصنوعی است که در سال‌های اخیر به عنوان یک حوزه تحقیقاتی مورد توجه قرار گرفته است.

این توهم به این دلیل رخ می‌دهند که LLMها، مانند ChatGPT یا Google Bard، درک واقعی از محتوای تولیدی خود ندارند. آن‌ها بر اساس الگوهای آماری آموزش دیده‌اند تا متنی را تولید کنند که به نظر منسجم و معقول بیاید. آنها تنها بر اساس احتمال پیش ‌بینی می‌کنند که کلمه بعدی چه خواهد بود.

توهم هوش مصنوعی علاوه بر متن در سیستم‌های شناسایی و تولید تصویر هوش مصنوعی نیز رخ می دهد. این مشکل برای هر سازمان و فردی که از هوش مصنوعی مولد برای به‌دست‌آوردن اطلاعات و انجام کارها به طور دقیق استفاده می‌کند، اهمیت دارد.

اگر مایلید در مورد توهم در مدلهای زبانی بزرگ (LLMs) بیشتر بدانید، پیشنهاد می کنم مطلب زیر را مطالعه بفرمائید:

توهم مدل های زبانی بزرگ (Hallucination) – چالش‌ مهم در توسعه LLMs

چه عواملی باعث توهم هوش مصنوعی می‌شوند؟

مدل‌های هوش مصنوعی بر اساس داده‌ها آموزش می‌بینند و با یافتن الگوهای موجود در داده‌ها، پیش ‌بینی می‌کنند. با این حال، دقت این پیش ‌بینی‌ها اغلب به کیفیت و کامل بودن داده‌های آموزشی بستگی دارد.

اگر داده‌های آموزشی دارای نقص‌هایی باشند، مدل هوش مصنوعی ممکن است الگوهای نادرستی یاد بگیرد که منجر به پیش ‌بینی‌های نادرست یا توهم می‌شود.

چندین عامل می‌تواند به هالوسیناسیون هوش مصنوعی منجر شود:

کیفیت داده‌های آموزشی: اگر داده‌های آموزشی حاوی خطا، تعصبات یا ناسازگاری‌ باشند، ممکن است مدل خروجی‌های نادرستی تولید کند. برای مثال، اگر LLM بر روی اطلاعات نادرست یا گمراه‌کننده آموزش دیده باشد، پاسخ‌های آن ممکن است این نادرستی‌ها را منعکس کند.
روش تولید: نحوه تولید متن توسط LLMها می‌تواند منجر به هالوسیناسیون شود. این مدل‌ها از روش‌های احتمالاتی برای پیش ‌بینی آنچه که در جمله بعدی می‌آید استفاده می‌کنند. این روش می‌تواند منجر به اختراع جزئیات یا تولید جملات متناقض شود.
ورودی نادرست: اگر ورودی نامشخص یا متناقض باشد، ممکن است AI پاسخ‌هایی تولید کند که بی‌معنی یا نادرست است. ارائه ورودی‌های واضح و مشخص می‌تواند به هدایت مدل به سمت خروجی‌های دقیق‌تر کمک کند.
محدودیت‌های مدل: فرآیند تصمیم‌ گیری داخلی LLMها همیشه شفاف نیست. این عدم وضوح باعث می‌شود که شناسایی دلیل تولید توهم دشوار باشد.

مثال‌هایی از هالوسیناسیون هوش مصنوعی

توهم هوش مصنوعی می‌توانند اشکال مختلفی به خود بگیرند. برخی از نمونه‌های رایج عبارتند از:

ادعاهای نادرست: به عنوان مثال، Google Bard به اشتباه بیان کرد که تلسکوپ فضایی جیمز وب اولین تصاویر از یک سیاره خارج از منظومه شمسی را گرفته است. در حالی که این تصاویر در سال ۲۰۰۴ گرفته شده‌اند و تلسکوپ جیمز وب در سال ۲۰۲۱ به فضا پرتاب شده است.
مراجع نادرست: Galactica از Meta، که برای استفاده‌های علمی طراحی شده بود، به اشتباه مقاله‌ای غیرواقعی را در هنگام تدوین محتوا ذکر کرد، که به تولید مراجع علمی ساختگی منجر شد.
تناقضات: LLMها ممکن است جملات متناقضی را در یک پاسخ تولید کنند. برای مثال، توصیف منظره‌ای که رنگ چمن در آن به‌طور نامنظم تغییر می‌کند.
اطلاعات نامربوط: گاهی اوقات، LLMها ممکن است اطلاعاتی غیرمرتبط با موضوع درخواست تولید کنند، مانند ذکر جزئیات مراقبت از حیوانات خانگی در پاسخ به توصیف یک شهر.
پیش ‌بینی‌های نادرست: مدلی ممکن است پیش ‌بینی کند که یک رویداد رخ خواهد داد در حالی که احتمال وقوع آن بسیار کم است. به عنوان مثال، مدلی که برای پیش ‌بینی وضعیت آب و هوا استفاده می‌شود، ممکن است پیش ‌بینی کند که فردا باران خواهد بارید در حالی که در پیش ‌بینی‌ها هیچ بارانی وجود ندارد.
مثبت‌های کاذب: ممکن است مدل هوش مصنوعی چیزی را به عنوان تهدید شناسایی کند در حالی که اینگونه نیست. به عنوان مثال، مدلی که برای تشخیص تقلب استفاده می‌شود، ممکن است تراکنشی را به‌ اشتباه تقلبی شناسایی کند.
منفی‌های کاذب: مدلی ممکن است نتواند چیزی را به عنوان تهدید شناسایی کند در حالی که چنین تهدیدی وجود دارد. به عنوان مثال، مدلی که برای تشخیص سرطان استفاده می‌شود، ممکن است نتواند تومور سرطانی را شناسایی کند.

چرا هالوسیناسیون مشکل ‌ساز هستند؟

هالوسیناسیون هوش مصنوعی می‌تواند حجم زیادی از محتوای نادرست را در مدت زمان کوتاهی تولید کند، و این منجر به مشکلات زیر می شود:

اعتماد کاربران: توهم می‌توانند اعتماد به سیستم‌های هوش مصنوعی را کاهش دهند، به ویژه اگر کاربران به این سیستم‌ها برای اطلاعات دقیق وابسته شوند.
گسترش اطلاعات نادرست: اطلاعات نادرست یا جعلی می‌تواند به سرعت منتشر شود و به گسترش اطلاعات نادرست منجر شود. این می‌تواند عواقب جدی در زمینه‌هایی مانند بهداشت عمومی، آموزش و رسانه‌ها داشته باشد.
چالش‌های شناسایی: شناسایی و اصلاح هالوسیناسیون می‌تواند دشوار باشد. کاربران ممکن است نتوانند همیشه اطلاعات نادرست را شناسایی کنند، به ویژه اگر به نظر معقول بیاید یا در مورد موضوعات پیچیده باشد.

چگونه از توهم هوش مصنوعی جلوگیری کنیم؟

پیشگامان حوزه هوش مصنوعی مولد در حال کار بر روی حل مشکل هالوسیناسیون هوش مصنوعی هستند.

گوگل Gemini را به اینترنت متصل کرده است تا پاسخ‌های آن مبتنی بر داده‌های آموزشی و اطلاعاتی که در وب پیدا کرده است، باشد.

OpenAI تلاش کرده است تا ChatGPT را با بازخورد از تست‌کنندگان انسانی بهبود بخشد و از تکنیک یادگیری تقویتی استفاده کرده است.

این شرکت همچنین یک استراتژی جدید برای پاداش دادن به مدل‌ها پیشنهاد کرده است . در این استراتژی مدل به جای پاداش نهایی، برای هر گام صحیح دراستدلال، پاداش دریافت می کند. این رویکرد “نظارت بر فرآیند” نامیده می‌شود و می‌تواند منجر به نتایج قابل توضیح‌تری شود.

اما برخی از کارشناسان مطمئن نیستند که آیا این می‌تواند راه موثری برای مبارزه با جعل باشد یا خیر.

مدل‌های هوش مصنوعی تولیدی “همیشه در حال توهم هستند و چیزهایی را اختراع می‌کنند.

بنابراین، حذف احتمال تولید اطلاعات نادرست از توهم هوش مصنوعی می‌تواند دشوار باشد. اما برخی اقدامات وجود دارد که هم شرکت‌ها و هم کاربران می‌توانند برای مقابله و محدود کردن آسیب آنها انجام دهند.

برای جلوگیری از هالوسیناسیون می‌توان اقداماتی انجام داد، از جمله:

ورودی‌های دقیق: ارائه ورودی‌های خاص و با تعریف دقیق می‌تواند به کاهش احتمال تولید اطلاعات نادرست کمک کند.
بهبود کیفیت و تنوع داده‌ها: اطمینان از اینکه داده‌های آموزشی دقیق، کاربردی و به‌روز هستند، می‌تواند ریسک توهم را کاهش دهد.
تنظیم پارامترها: تنظیم پارامترهایی مانند دما (که تصادفی بودن خروجی‌ها را کنترل می‌کند) می‌تواند به کاهش تولید پاسخ‌های نامربوط کمک کند.
بررسی درستی نتایج: کاربران باید محتوای تولید شده توسط AI را بررسی کنند، به ویژه برای موضوعات مهم یا ناآشنا، تا از دقت آن مطمئن شوند.
استفاده از روش‌های تفسیرپذیر: توسعه مدل‌های تفسیرپذیر که بتوان به کمک آنها علت تولید هر خروجی را توضیح داد، می‌تواند به شناسایی و تصحیح خطاها کمک کند.
توسعه الگوریتم‌های مقاوم‌تر: پژوهش در زمینه توسعه الگوریتم‌هایی که در مقابل داده‌های نادرست یا حملات مقاوم‌تر باشند.

حتی با وجود این کنترل‌ها ، در نهایت بر عهده کاربر است که پاسخ‌های تولید شده توسط مدل را بررسی کند. این مطمئن‌ترین روش برای شناسایی هالوسیناسیون هوش مصنوعی است.

بنابراین، کسی که از هوش مصنوعی برای نوشتن کد، انجام تحقیق یا تهیه یک ایمیل استفاده می کند، باید همیشه محتوای تولید شده را قبل از استفاده یا به اشتراک‌گذاری بررسی کند.

نتیجه ‌گیری

توهم هوش مصنوعی یکی از چالش‌های مهم در زمینه توسعه و کاربرد هوش مصنوعی است. با وجود پیشرفت‌های چشمگیر در این حوزه، هنوز هم نیاز به تحقیقات و تلاش‌های بیشتری برای مقابله با این مشکل وجود دارد.

با بهبود کیفیت داده‌ها، توسعه مدل‌های تفسیرپذیر و استفاده از روش‌های آزمون و ارزیابی دقیق، می‌توان از وقوع هالوسیناسیون هوش مصنوعی جلوگیری کرد و اطمینان حاصل کرد که این فناوری با دقت و صحت بیشتری به کار گرفته می‌شود.