باشگاه خبرنگاران جوان؛ جواد فراهانی - هوش مصنوعی، با گنجینه عظیم دانش خود، می‌تواند فوق‌العاده مفید باشد، اما یک نقص دارد که می‌تواند مزایای آن را محدود کند: اعتماد به نفس بیش از حد در پاسخ‌هایش.

هر پاسخی که ارائه می‌دهد، چه بر اساس استنتاج منطقی و چه صرفاً حدس و گمان، با همان سطح از اعتماد به نفس ارائه می‌شود.

محققان آزمایشگاه علوم کامپیوتر و هوش مصنوعی در MIT کشف کرده‌اند که ریشه این اعتماد به نفس بیش از حد در یک نقص خاص در نحوه آموزش مدل‌ها نهفته است. آنها روش جدیدی را توسعه داده‌اند که هدف آن رفع این نقص بدون به خطر انداختن دقت عملکرد است.

این روش که با نام RLCR (یادگیری تقویتی با استفاده از پاداش‌های کالیبراسیون) شناخته می‌شود، در مقاله‌ای که در سرور پیش‌چاپ arXiv منتشر شده است، شرح داده شده است و قرار است در کنفرانس بین‌المللی ICLR ۲۰۲۶ در مورد یادگیری ماشین در ریودوژانیرو ارائه شود. این روش، مدل‌های زبانی را آموزش می‌دهد تا پاسخ‌هایی را همراه با تخمینی از سطح اعتماد به نفس آنها ارائه دهند. یعنی مدل نه تنها پاسخ را ارائه می‌دهد، بلکه سطح عدم قطعیت خود را نیز بیان می‌کند. مشکل چیست؟

تکنیک‌های یادگیری تقویتی مورد استفاده در جدیدترین مدل‌های هوش مصنوعی، پاسخ‌های صحیح را پاداش می‌دهند و پاسخ‌های نادرست را جریمه می‌کنند، بدون اینکه بین نحوه‌ی رسیدن به پاسخ تمایزی قائل شوند. بنابراین، مدلی که از طریق استنتاج منطقی به پاسخ صحیح می‌رسد، همان پاداشی را دریافت می‌کند که مدلی که از طریق حدس به آن می‌رسد.

با گذشت زمان، این امر رفتاری را در مدل‌ها پرورش می‌دهد که آنها را مستعد ارائه پاسخ‌های مطمئن حتی در صورت فقدان شواهد کافی می‌کند.

این اعتماد بیش از حد عواقب منفی دارد، به ویژه هنگامی که این مدل‌ها در زمینه‌های حساسی مانند پزشکی، حقوق یا امور مالی استفاده می‌شوند، جایی که تصمیمات انسانی به خروجی هوش مصنوعی بستگی دارد. مدلی که اعتماد بالا، اما نادرستی را بیان می‌کند، می‌تواند خطرناک‌تر از مدلی باشد که به وضوح اشتباه است، زیرا کاربر ممکن است متوجه نیاز به تأیید پاسخ نشود.

مهول دامانی، دانشجوی کارشناسی ارشد دانشگاه MIT و یکی از نویسندگان این مطالعه، توضیح می‌دهد: «روش‌های آموزش سنتی ساده و مؤثر هستند، اما مدل را به ابراز عدم قطعیت یا گفتن «نمی‌دانم» تشویق نمی‌کنند، بنابراین مدل ذاتاً یاد می‌گیرد که وقتی مطمئن نیست، حدس بزند.»

راه حل چیست؟

روش RLCR با اضافه کردن یک عنصر واحد به تابع پاداش، این مشکل را برطرف می‌کند: امتیاز بریر، که میزان تطابق اطمینان مدل با دقت واقعی آن را اندازه‌گیری می‌کند. در طول آموزش، مدل‌ها یاد می‌گیرند که هم پاسخ و هم عدم قطعیت آن را به طور همزمان ارزیابی کنند و پاسخ را همراه با سطح تخمینی اطمینان ارائه دهند.

این کار هم پاسخ‌های نادرست با اطمینان بیش از حد و هم پاسخ‌های صحیح با عدم قطعیت ناموجه را جریمه می‌کند و به دستیابی به تعادل بهتر بین دقت و بیان واقع‌بینانه اطمینان کمک می‌کند.

منبع: Naukatv.ru