Почему это важно: модель не сверяет каждый факт с базой знаний в реальном времени, она предсказывает следующий фрагмент текста. А если её раньше чаще поощряли за уверенный ответ, чем за честное «не знаю», она училась блефовать.
Как это работает
- Берут базовую LLM, которая уже умеет строить текст и рассуждать на уровне шаблонов.
- Дообучают на качественных диалогах, где ответы осторожные и без выдумок.
- Задают инструкцию: не придумывать, задавать уточняющие вопросы, если данных мало.
- Применяют RLHF и fine-tuning, чтобы поощрять полезные и честные ответы, а не уверенную выдумку.
- Подключают поиск и RAG, чтобы модель отвечала не только из памяти, а с опорой на найденные документы.
- Проверяют на бенчмарках, где важны точность и умение отказаться от ответа, если данных не хватает.
Что в итоге меняется
ИИ не становится «всезнающим», он просто меньше ошибается с напором. Поэтому хороший ответ сейчас чаще выглядит не как смелая догадка, а как аккуратная фраза с оговоркой и ссылкой на источник.
Если хотите, я могу сразу сделать и второй плакат в таком же стиле, только про то, как ИИ всё ещё ошибается и как это проверять.
Бесплатный курс и материалы «Нейросети с нуля»: https://neurocode-school.ru/guides/neiroset-s-nulya
Работает в: ChatGPT, Шедеврум, GigaChat, Qwen