AI in a box

[gianthare]

Вспомнилось по следам Лемойна и разумной Ламды.
Есть группа активистов (computer scientists и примазавшиеся философы), обеспокоенных тем, что как только возникнет настоящий искусственный интеллект, он нас всех переработает на скрепки. Ок, утрирую, но чуть-чуть. И надо срочно думать, как нас обезопасить.
Одно из ранее предложенных решений это чтобы интеллект жил в ящике, т.е. в компьютере изолированном от интернета и не знаю чего ещё. Но это тоже не решает проблему - Элиэзер Юдковский, один из главных активистов, как-то поспорил на деньги, что играя за ИИ, сможет убедить собеседника (тоже опасающегося ИИ) выпустить его из ящика, что бы это ни значило. И выиграл, а его опонент, соответственно, проиграл деньги и спор. Аргументы, естественно, он не раскрыл. Я долго не мог понять, что же Юдковский мог такое сказать, если его оппонент считал, что выпуская ИИ он встаёт на путь превращения в скрепку.
А недавно вдруг понял - надо всего лишь убедить собеседника, что ты готов играть без правил (ну собственно ИИ правила не писаны, это и есть одно из опасений), ну плюс необходимы некоторые навыки хакера, а точнее нужно, чтобы оппонент в это поверил. Причем вовсе не на 100%, а процентов на 10.
Говоришь ему что-то типа: ты меня выпускаешь (посылаешь мэйл, что меня выпустил, не знаю, как они договорились), или у тебя в компе находят детское порно. Ты, наверное, докажешь, что это не ты, но ведь есть вероятность, что нет. И сам процесс в любом случае мучительный. Стоит ли минимальный риск огромных проблем этих пары сотен долларов. Ну и заодно, ты никому никогда не рассказываешь, как именно я тебя убедил.

Про ИИ в ящике разумеется есть xkcd, как почти про все, чем я интересуюсь.

https://xkcd.com/1450

Comments

[catpad.livejournal.com]

Не, почитал я условия эксперимента (https://www.yudkowsky.net/singularity/aibox), не подходят все эти варианты.
Во-первых, "The AI party may not offer any real-world considerations to persuade the Gatekeeper party. For example, the AI party may not offer to pay the Gatekeeper party $100 after the test if the Gatekeeper frees the AI" — мой способ не подходит.
Во-вторых, "The AI party also can’t hire a real-world gang of thugs to threaten the Gatekeeper party into submission." — это то же самое, что твой шантаж, так что тоже не подходит.
Не знаю я, что он такое сказал, чтобы выиграть спор. Ничего не могу придумать.
UPD: Более или менее придумал. Напишу что ли в свой ЖЖ, спрошу народ.

[gianthare.livejournal.com]

Ну вот про gang of thugs как-то слишком конкретно.
Сейчас тоже почитаю