AI in a box

[gianthare]

Вспомнилось по следам Лемойна и разумной Ламды.
Есть группа активистов (computer scientists и примазавшиеся философы), обеспокоенных тем, что как только возникнет настоящий искусственный интеллект, он нас всех переработает на скрепки. Ок, утрирую, но чуть-чуть. И надо срочно думать, как нас обезопасить.
Одно из ранее предложенных решений это чтобы интеллект жил в ящике, т.е. в компьютере изолированном от интернета и не знаю чего ещё. Но это тоже не решает проблему - Элиэзер Юдковский, один из главных активистов, как-то поспорил на деньги, что играя за ИИ, сможет убедить собеседника (тоже опасающегося ИИ) выпустить его из ящика, что бы это ни значило. И выиграл, а его опонент, соответственно, проиграл деньги и спор. Аргументы, естественно, он не раскрыл. Я долго не мог понять, что же Юдковский мог такое сказать, если его оппонент считал, что выпуская ИИ он встаёт на путь превращения в скрепку.
А недавно вдруг понял - надо всего лишь убедить собеседника, что ты готов играть без правил (ну собственно ИИ правила не писаны, это и есть одно из опасений), ну плюс необходимы некоторые навыки хакера, а точнее нужно, чтобы оппонент в это поверил. Причем вовсе не на 100%, а процентов на 10.
Говоришь ему что-то типа: ты меня выпускаешь (посылаешь мэйл, что меня выпустил, не знаю, как они договорились), или у тебя в компе находят детское порно. Ты, наверное, докажешь, что это не ты, но ведь есть вероятность, что нет. И сам процесс в любом случае мучительный. Стоит ли минимальный риск огромных проблем этих пары сотен долларов. Ну и заодно, ты никому никогда не рассказываешь, как именно я тебя убедил.

Про ИИ в ящике разумеется есть xkcd, как почти про все, чем я интересуюсь.

https://xkcd.com/1450