Программист все соединил в коде, чтобы оно все работало, а промпт-инженер это человек, который дообучает модель, который задает вопросы, корректирует модель, корректирует базу данных, он понимает, как устроен промпт-инжиниринг, как устроен мозг, и как правильно ему подсказывать. То есть программисты это и так знают.

Легко удается найти таких людей? Или они сейчас уже поняли, что востребованы, и зарплаты запрашивают все выше и выше?

На самом деле даже Яндекс платит за это 75 тысяч, то есть это не очень дорого, но на рынке людей таких очень мало. Но при этом хорошо то, что переобучить копирайтера это 2-3 недели, и у тебя готовый промпт-инженер. На самом деле тут не нужен большой технический ум, нужно просто иметь гибкий мозг, потому что основная работа все равно в поле копирайтинга лежит.

В одном из банков, которые инновации внедряют, я читал, что они в поисковую строку добавили модель, которая изучила их базу знаний и стала выдавать рекомендации предпринимателям. Где-то галлюцинируя, где-то неточные данные, например, по каким-то нормативным документам. И как быть с такими галлюцинациями нейросетей? Добучение промпт-инженерами на это влияет?

На самом деле, если провести все эти круги ада промпт-инжиниринга, эти сотни-сотни тысяч вопросов и два месяца разработки, то точность ответа будет 90-95%. То есть 5-10% она будет все равно еще галлюцинировать.

Но вы как-то показываете в диалоге ИИ куратора, уведомляете ученика, что это искусственный интеллект с ним общается?
Или он все же не обозначается?

Мы обычно рекомендуем школам говорить о том, что вот это все-таки робот. Но кто как. То есть кто-то не хочет говорить, что это робот, кто-то хочет говорить, что это робот. Но мы пока рекомендуем это делать, потому что есть какие-то ошибки.

Насколько люди лучше сейчас с такими ботами общаются, чем раньше, которые были совсем тупые, которые в 90% случаев на оператора переключали? Есть какая-то статистика наблюдения, может быть, как люди вообще реагируют на таких ботов с искусственным интеллектом?

Проводился эксперимент. Сравнивали живого куратора и ИИ. Человек задавал вопросы, бот ему отвечал. И внутри было реализовано так, что 50% отвечал ИИ, 50% отвечал живой человек. Дальше человеку предоставлялась возможность оценить по пятибалльной шкале от минус двух до двух ответ этого бота. Дальше были вот такие результаты. Скорость ответа у живого человека была в среднем, если взять месяц исследования - десять минут. Скорость ответа у бота 15 секунд. Уже хорошо. Дальше оценивалась оценка пользователя от минус двух до двух. Средняя оценка у живого человека была 1,54. Средняя оценка у ИИ бота примерно 1,60.

Интересно, насколько можно это в продажах применять?

Да, здесь делали мы эксперимент. В продажах, на самом деле, из-за контекстного окна очень сложно. То есть одной моделькой здесь вообще не обойтись, потому что, либо это на какой-то первой линии, когда идет пара вопросов и сразу должен быть вывод и дальше перевод на следующего живого человека. В таком случае с ошибками, но работает нормально.

Но если говорить про продажи, то можно использовать несколько моделек с взаимным самоконтролем, где одна контролирует другую, другая третью, четвертую. И в таком случае уровень качества повышается на длительной беседе. Но это просто дорого, потому что одно сообщение, условно говоря, через ChatGPT стоит 1 рубль. Но когда у тебя одно сообщение обрабатывается сразу, например, 10 модельками тем же самым ChatGPT, но просто разной роли, то у тебя одно сообщение уже стоит 10 рублей. И диалог выходит уже не 10 рублей, а к примеру, 150-300 рублей.

И возникает вопрос, а зачем? Поэтому в продажах на сегодня данный метод финансово малоэффективен. Год назад ChatGPT особо не мог похвастаться. Что будет еще через год, скорее всего, можно будет уже применять в продажах очень активно.