AI in a box

[gianthare]

Вспомнилось по следам Лемойна и разумной Ламды.
Есть группа активистов (computer scientists и примазавшиеся философы), обеспокоенных тем, что как только возникнет настоящий искусственный интеллект, он нас всех переработает на скрепки. Ок, утрирую, но чуть-чуть. И надо срочно думать, как нас обезопасить.
Одно из ранее предложенных решений это чтобы интеллект жил в ящике, т.е. в компьютере изолированном от интернета и не знаю чего ещё. Но это тоже не решает проблему - Элиэзер Юдковский, один из главных активистов, как-то поспорил на деньги, что играя за ИИ, сможет убедить собеседника (тоже опасающегося ИИ) выпустить его из ящика, что бы это ни значило. И выиграл, а его опонент, соответственно, проиграл деньги и спор. Аргументы, естественно, он не раскрыл. Я долго не мог понять, что же Юдковский мог такое сказать, если его оппонент считал, что выпуская ИИ он встаёт на путь превращения в скрепку.
А недавно вдруг понял - надо всего лишь убедить собеседника, что ты готов играть без правил (ну собственно ИИ правила не писаны, это и есть одно из опасений), ну плюс необходимы некоторые навыки хакера, а точнее нужно, чтобы оппонент в это поверил. Причем вовсе не на 100%, а процентов на 10.
Говоришь ему что-то типа: ты меня выпускаешь (посылаешь мэйл, что меня выпустил, не знаю, как они договорились), или у тебя в компе находят детское порно. Ты, наверное, докажешь, что это не ты, но ведь есть вероятность, что нет. И сам процесс в любом случае мучительный. Стоит ли минимальный риск огромных проблем этих пары сотен долларов. Ну и заодно, ты никому никогда не рассказываешь, как именно я тебя убедил.

Про ИИ в ящике разумеется есть xkcd, как почти про все, чем я интересуюсь.

https://xkcd.com/1450

Comments

[gianthare.livejournal.com]

А почему ты должен ему поверить? Не, что он может предсказать/подкрутить биржу, а что он будет это делать, когда ты его выпустить. А вот угрозе дешевле поверить, чем нет

[catpad.livejournal.com]

Да как же он доберётся до твоего компьютера, чтобы поместить туда компромат? Угрозы из ящика не больно-то страшны. А вот искушение — дело другое.

[gianthare.livejournal.com]

Тут вопрос такой — что на наш взгляд произошло.
1) Оппонент сказал: если бы мне настоящий ИИ такое предложил в невообразимом будущем, я бы его выпустил, хотя и убежден, что через месяц после этого он из всех людей наделает скрепок, а прямо сейчас я на этом теряю 200 долларов.

Я такое представить не могу

2) Юдковский придумал такую угрозу оппоненту здесь и сейчас, что тот сказал: лучше я потеряю 200 долларов, и напишу, что я его выпустил, чем связываться с этим психом.

Такое я могу представить

[catpad.livejournal.com]

Не, почитал я условия эксперимента (https://www.yudkowsky.net/singularity/aibox), не подходят все эти варианты.
Во-первых, "The AI party may not offer any real-world considerations to persuade the Gatekeeper party. For example, the AI party may not offer to pay the Gatekeeper party $100 after the test if the Gatekeeper frees the AI" — мой способ не подходит.
Во-вторых, "The AI party also can’t hire a real-world gang of thugs to threaten the Gatekeeper party into submission." — это то же самое, что твой шантаж, так что тоже не подходит.
Не знаю я, что он такое сказал, чтобы выиграть спор. Ничего не могу придумать.
UPD: Более или менее придумал. Напишу что ли в свой ЖЖ, спрошу народ.

[gianthare.livejournal.com]

Ну вот про gang of thugs как-то слишком конкретно.
Сейчас тоже почитаю