(no subject)

[gianthare]

Слушаю "Беседы о русской культуре" Лотмана. В одной из лекций он говорит про то, что речь во многом избыточна. В качестве примеров наибольшей избыточности он приводит (по исследованию какого-то венгра) газетную передовицу и девичий разговор на улице. Дальше он объясняет, как собственно измерить избыточность: если можно угадать, какое слово следующее, то оно никакой новой информации не несет. Например, если мы видим в передовице "передовики", то следующее слово "производства".
Ну, здравствуй, GPT и другие языковые модели.

Comments

[green-fr.livejournal.com]

Речь не только для информации, но и для информации тоже. Собственно, это же одно из определений информации — количество возможных вариантов для следующего слова / сигнала. Слово "производства" несёт в этом смысле мало информации, оно почти что преопределено словом "передовики".
Я не знаю, как работает GPT, но подозреваю, что они просто подставляют наиболее вероятное следующее слово, с какими-то вариациями (вероятность использования моделью в зависимости от вероятности в корпусе), чтобы не все время один и тот же текст получался.