(no subject)

[gianthare]

Слушаю "Беседы о русской культуре" Лотмана. В одной из лекций он говорит про то, что речь во многом избыточна. В качестве примеров наибольшей избыточности он приводит (по исследованию какого-то венгра) газетную передовицу и девичий разговор на улице. Дальше он объясняет, как собственно измерить избыточность: если можно угадать, какое слово следующее, то оно никакой новой информации не несет. Например, если мы видим в передовице "передовики", то следующее слово "производства".
Ну, здравствуй, GPT и другие языковые модели.

Comments

[mopexod.livejournal.com]

Ну почему же, может и 'передовики животноводства'.
Но то, что речь избыточна — совершенно очевидно. Контекст, борьба с ошибками, туда-сюда...

[gianthare.livejournal.com]

Мне кажется не было такого.
Ну да, шум, плохо слышно. И вообще, речь не для информации - по одной из теорий, изначальное предназначение речи это сплетни, когда группа выросла до такого размера, что человек не успевает увидеть кто кому что сделал. Или успевает, но не все. Хотя это тоже информация в научном смысле слова

[green-fr.livejournal.com]

Речь не только для информации, но и для информации тоже. Собственно, это же одно из определений информации — количество возможных вариантов для следующего слова / сигнала. Слово "производства" несёт в этом смысле мало информации, оно почти что преопределено словом "передовики".
Я не знаю, как работает GPT, но подозреваю, что они просто подставляют наиболее вероятное следующее слово, с какими-то вариациями (вероятность использования моделью в зависимости от вероятности в корпусе), чтобы не все время один и тот же текст получался.