20.11.2023 16:55:19 UTC+07:00
Сейчас вообще часто встречается - берем ChatGPT, упаковываем его под конкретную нишу, в которой разбираемся, и идем, соответственно, продаем. Это вообще крутая история у YCombinator. Последний батч, он весь такой. Круто, что здесь был опыт понимания именно вот этой ниши.У нас, например, основной в последние годы опыт это FinTech, лизинговый проект. Мы делаем платформу для подписки на гаджеты. Но там пока мы не видим, как можно было бы что-то применить такое. Скоринг идет внутрибанковский, там свои модели. Какая-то техподдержка, может быть, но это тоже вопрос.
Сейчас вообще часто встречается - берем ChatGPT, упаковываем его под конкретную нишу, в которой разбираемся, и идем, соответственно, продаем. Это вообще крутая история у YCombinator. Последний батч, он весь такой. Круто, что здесь был опыт понимания именно вот этой ниши.
У нас, например, основной в последние годы опыт это FinTech, лизинговый проект. Мы делаем платформу для подписки на гаджеты. Но там пока мы не видим, как можно было бы что-то применить такое. Скоринг идет внутрибанковский, там свои модели. Какая-то техподдержка, может быть, но это тоже вопрос.
Кстати, что если делать какой-то анализ данных, чтобы на выходе он выдавал какие-то графики?
То есть имеем какое-то полотно текста, или просто какой-то очень большой отчет, какие-то данные, и потом это все нужно визуализировать в красивую табличку или что-то иное. То есть можно же попросить ChatGPT, чтобы он сделал какие-то выводы по исходным данным, по текстам, не знаю почему еще, и выдать в JSON, в каком-то виде, чтобы потом можно было через код обратиться к этому результату и на основе него построить табличку, на основе таблички построить график.
Ну да, согласен, неплохо он таблицы анализирует. А дообучение как долго происходит? Клиент должен в SaaS-платформу в каком-то виде загрузить данные? Регламенты или просто в общем какие-то документы загрузить?
По тому, как это будет происходить на платформе и то, как это делается сейчас в коде, плюс-минус смысл одинаковый. Просто в одном случае используется интерфейс, в другом код. Но суть в том, что загружается база данных, регламенты и дальше нужно произвести несколько десятков кругов тестирования и происходит это следующим образом. То есть у тебя есть обученный условный Chat GPT которому в голову загрузили еще информацию, проверить как он отвечает на вопросы. И если в обычном обывательском виде ты задаешь вопрос в чат, понимаешь, правильно или неправильно ответил. Если неправильно, то корректируешь промпт или базу данных. В таком чуть-чуть более профессиональном подходе это происходит так, что есть табличка, и в эту табличку формируются сотни вопросов, на которые есть ответы в этой базе данных. Дальше сама же эта модель генерирует ответы на эти вопросы. И дальше уже человек смотрит, правильно или неправильно ответил, и дает комментарии, что не так. И потом руками это все исправляется. Это первый подход.
Когда вот такие подходы завершились, есть еще второй подход, тоже очень интересная штука. То, что просим нейросетку сгенерировать вопросы, ответов на которых в базе данных нет. Это более приближенно к тому, что может задать человек. И нейросетка уже на те вопросы, на которые у нее нет ответа в базе, генерирует какие-то ответы. И это еще огромное почва для размышлений, чего же еще может задать человек, что же еще можно добавить в нашу базу данных, как можно улучшить промпт.
И это еще сильнее улучшает качество базы. Таких кругов нужно сделать нескольких десятков. Сделал сотню вопросов, ответов. Прошелся, все поправил. Еще раз, еще раз, и еще раз. Очень сильно зависит от базы знаний, ее объема. Если это база знаний из листа А4 одного, то вопросов 50 максимум будет. Это прям вообще с лихвой. Пару раз прошелся, править нечего. Потому что объем вопросов очень ограничен. При этом у нас есть клиент, который занимается обучением врачей по дополнительному образованию. И там 1600 курсов, плюс еще 200 нормативно-правовых актов. И бот должен в этом всем ориентироваться.
И здесь, конечно, 50 вопросов и пара круговых тестов не обойтись. То есть настроить все технически, это много кто может. Обычный программист, который разобрался с API, с GPT, с backend разбирается, все это настроит за неделю-две. А дальше как раз идет fine-tuning, очень жесткий, беспощадный, очень мучительный, который занимает очень много человекочасов. И здесь как раз это профессия промпт-инженера.
А в чем разница программиста и промпт-инженера в данном случае?
У нас, например, основной в последние годы опыт это FinTech, лизинговый проект. Мы делаем платформу для подписки на гаджеты. Но там пока мы не видим, как можно было бы что-то применить такое. Скоринг идет внутрибанковский, там свои модели. Какая-то техподдержка, может быть, но это тоже вопрос.
Кстати, что если делать какой-то анализ данных, чтобы на выходе он выдавал какие-то графики?
То есть имеем какое-то полотно текста, или просто какой-то очень большой отчет, какие-то данные, и потом это все нужно визуализировать в красивую табличку или что-то иное. То есть можно же попросить ChatGPT, чтобы он сделал какие-то выводы по исходным данным, по текстам, не знаю почему еще, и выдать в JSON, в каком-то виде, чтобы потом можно было через код обратиться к этому результату и на основе него построить табличку, на основе таблички построить график.
Ну да, согласен, неплохо он таблицы анализирует. А дообучение как долго происходит? Клиент должен в SaaS-платформу в каком-то виде загрузить данные? Регламенты или просто в общем какие-то документы загрузить?
По тому, как это будет происходить на платформе и то, как это делается сейчас в коде, плюс-минус смысл одинаковый. Просто в одном случае используется интерфейс, в другом код. Но суть в том, что загружается база данных, регламенты и дальше нужно произвести несколько десятков кругов тестирования и происходит это следующим образом. То есть у тебя есть обученный условный Chat GPT которому в голову загрузили еще информацию, проверить как он отвечает на вопросы. И если в обычном обывательском виде ты задаешь вопрос в чат, понимаешь, правильно или неправильно ответил. Если неправильно, то корректируешь промпт или базу данных. В таком чуть-чуть более профессиональном подходе это происходит так, что есть табличка, и в эту табличку формируются сотни вопросов, на которые есть ответы в этой базе данных. Дальше сама же эта модель генерирует ответы на эти вопросы. И дальше уже человек смотрит, правильно или неправильно ответил, и дает комментарии, что не так. И потом руками это все исправляется. Это первый подход.
Когда вот такие подходы завершились, есть еще второй подход, тоже очень интересная штука. То, что просим нейросетку сгенерировать вопросы, ответов на которых в базе данных нет. Это более приближенно к тому, что может задать человек. И нейросетка уже на те вопросы, на которые у нее нет ответа в базе, генерирует какие-то ответы. И это еще огромное почва для размышлений, чего же еще может задать человек, что же еще можно добавить в нашу базу данных, как можно улучшить промпт.
И это еще сильнее улучшает качество базы. Таких кругов нужно сделать нескольких десятков. Сделал сотню вопросов, ответов. Прошелся, все поправил. Еще раз, еще раз, и еще раз. Очень сильно зависит от базы знаний, ее объема. Если это база знаний из листа А4 одного, то вопросов 50 максимум будет. Это прям вообще с лихвой. Пару раз прошелся, править нечего. Потому что объем вопросов очень ограничен. При этом у нас есть клиент, который занимается обучением врачей по дополнительному образованию. И там 1600 курсов, плюс еще 200 нормативно-правовых актов. И бот должен в этом всем ориентироваться.
И здесь, конечно, 50 вопросов и пара круговых тестов не обойтись. То есть настроить все технически, это много кто может. Обычный программист, который разобрался с API, с GPT, с backend разбирается, все это настроит за неделю-две. А дальше как раз идет fine-tuning, очень жесткий, беспощадный, очень мучительный, который занимает очень много человекочасов. И здесь как раз это профессия промпт-инженера.
А в чем разница программиста и промпт-инженера в данном случае?