AI and beyond

В продолжение записи про ChatGPT:

Сходил на конференцию по AI в Технионе. Там преобладает сдержанный оптимизм.

Первая лекция была про grounding, consistency и ещё что-то от чувака из Гугла - он говорит, что все будет. Причем, прямо с помощью тех же самых моделей — тренируем модели так, чтобы они вместе с генерированным текстом выдавали токен правда/вранье, точнее начинали прямо с него. А потом в промт пихаем слово «правда». Ну, неудивительво — у них LAMDA так устроена, трансформеры all the way down. Еще можно попросить модель выдавать сразу УРЛ, подтверждающий сгенерированный текст. Правда, иногда УРЛ она тоже выдумывает. Или можно сначала натягать результатов обычным поиском, а потом попроситъ модель их по-человечески перескажет (лучше всего). Для consistency можно еще одной моделью проверить сгенерированный результат. Например, просим нарисовать картинку с коровой и желтым котом, потом у другой модели спрашиваем, есть ли там кот. 

Интересно, что выступающие не могут удержаться от того, чтобы обозначить свою позицию по поводу последних (политических) событий, несмотря на то что на общей сессии начали с предложения оставить политику за дверью. Панелисты, да и ведущая, на общей сессии тоже, разумеется, не удержались.

( Read more... )