Я понял, как хорошо объяснить историю с open AI и почему некоторые все напрягаются насчёт неконтролируемого роста качества AI и Artificial General Intelligence (AGI).
Вот представьте, что некоторый стартап завтра выпускает лекарство от старости. Я не знаю, какой-нибудь Altos Labs, или Agex. И тут же становится закрытой – перестает делиться с научным сообществом некоторыми важными моментами этого открытия, демонстрирует на мелких млекопитающих потрясающие результаты, а хоть на людях проверка займёт сто лёт, но первые результаты уже демонстрируют, что организм чуть ли не молодеет.
И доступно это удовольствие конечно не всем, потому что спрос космический, а производство всё-таки дорогое и сложное. И вот компания работает над тем, чтобы производить такое суперлекарство более масштабно.
Все симуляции показывают, что такой прогресс приводит в итоге к концу цивилизации. Можно конечно утверждать, что симуляции тупые и неправильные, а люди правильные и сознательные, но история показывает, что ничего сознательного большая группа людей как целое ещё не сделали. Все двигает условно один процент, а остальные или терпят, или не мешают, или помогают, хотя рационально было бы только помогать. Второе – все симуляции показывают, что как результат этого лекарства от старости ничего катастрофического не случится в период жизни любого живущего сейчас человека. То есть, думать надо о детях и внуках как минимум, хотя опять же, тут вопрос веры, некоторые считают, что внуки внуков перелетят жить на Марс. Что должно сделать умное общество, чтобы лет через 200 люди друг друга не поубивали?
Варианта два – сделать так, чтобы это лекарство от старости не появилось вообще (сознательно отказаться от прогресса) или сформулировать принцип его рационального и справедливого применения. Надолго ли хватит таких принципов? Как объяснить одним, что то, что они завтра помрут – справедливо так же, как то, что вот тот миллионер-учёный не помрет, так как ему полагается лекарство. Если же не достичь с ними согласия, они возьмутся за вилы и возьмут числом, и в итоге человечество откатится назад на сотни лет.
Вот и с openai и AGI так же. Никто не понимает, что с этим делать, но многие считают, что если об этом не размышлять, то проблема неизбежна, а если размышлять, то может и не неизбежна.
Being in America 