Придумал простую иллюстрацию того, где нынешний AI пока не тянет.
Есть чёрный ящик, из него торчат две ручки. Двигаешь первую — вторая тоже двигается, но по каким-то своим правилам, типа с задержкой, с инерцией, с порогом, как угодно. То есть, по сути, ящик преобразует f(t) в f'(t). Вопрос один: что внутри? Надо не только придумать эффективный механизм, но и уместить его в габариты ящика.
Формально это почти программирование. Потому что можно формально описать вход-выход и придумать «алфавит» для механических штук внутри. Но здесь в отличие от программирования много нелинейного — механизмы объёмные, надо принимать во внимание кучу вещей от материалов до трения, и главное не так просто испытать прототип до его создания. Но главное даже не это — а понимание задачи. Единственный способ узнать, что внутри ящика — это выдвинуть гипотезу и придумать движение ручки, при котором эта гипотеза и соседняя дадут разный результат. Хороший эксперимент здесь важнее хорошего ответа. А модели учили на корпусе готовых решений, где ошибки уже вычищены, и там ничто не тренирует умение выбирать следующий вопрос.
К чему это. Мне кажется, сложное для AI (мы говорим про LLM; так-то область шире)— не компоновка из известного, с этим он справляется всё лучше. То есть, задачу с ящиком при наличии «алфавита» для ее описания и законов механики AI может решить, но через комбинации известного, а не через принципиально новый компонент. Сложное — придумывание нового. Хотя, если быть честным, большинство человеческих изобретений при разборе тоже оказываются компоновкой, просто из далеко разнесённых кусков. Но придумывали же часовой спуск (анкер) , где все детали — колесо и качающаяся вилка, да и вообще сама мысль, что колебательная система должна не приводиться пружиной, а сама дозировать, когда пружине разрешено отдать порцию энергии, переворачивает причинность в устройстве, и до неё шли столетия. И челночный стежок швейной машины. Бессмысленно копировать руку с иголкой, нужно вместо этого протаскивать вторую нить сквозь петлю первой с изнанки, причём иголка должна иметь ушко у острия. Всё это не сборка из компонентов, а смена того, что вообще считается задачей, и именно поэтому такие вещи так плохо выводятся перебором комбинаций, будь то у человека или у модели.
У изобретателя есть обратная связь от реальности и цена ошибки, поэтому он учится проверять раньше, чем верить. У модели внутри одного ответа платить за неверную догадку нечем. Да и вообще, замени механику на физику частиц, и надо опять все переделывать, потому что там вообще все иначе.
Занятно, что это лечится не размером модели, а устройством задачи. Дай ящику отвечать на движения — и задача из текстовой становится экспериментальной. Посмотрим, кто первым научится так играть.
Being in America 