Метка: facebook

Седьмая попытка рисовать маслом. Что-то красно-синее с будкой ночью.

Наконец дошли руки (глаза) до конференции Нейралинк Маска. Три часа. Очень рекомендую всем инженерам. Здесь каждую минуту показывают вещи, рядом с которыми всякие ChatGPT и прочие поражающие воображения штуки просто детские игрушки. Если у этих ребят все получится, они соберут все деньги мира. Еще есть такое же видео про Tesla, но там уже попроще и приземленнее все.

Короче, для тех, кто не в курсе. Нейралинк делает робота, который сверлит в черепе дырку, подводит к дырке специальную швейную машинку, вколачивающая в ваш мозг полсотни электродов, затем дырка запечатывается электронным девайсом с дистанционно заряжаемой батарейкой, и вы получаете возможность управлять компьютером с помощью этой части мозга (пока работа в процессе, но цель такая, и есть работающие прототипы). Ну там текст набирать или в интерфейсе кнопочки нажимать. А в перспективе (пока это только далекие планы) и обратно: понимать, что происходит во внешнем мире иначе, чем через наши пять чувств.

И вот в этом процессе есть очень много технических челенжей, и в видео о них рассказывают, и рассказывают как их преодолевали.

Их сайт: https://neuralink.com/approach/

К сожалению, Boston Dynamics и SpaceX не делают таких же прекрасных видео про технологии.

https://www.youtube.com/watch?v=YreDYmXTYi4

Интересно, а какую ценность представляет чтение Шекспира в переводе, если от Шекспира в его трагедиях остается только сценарий? Перевод сонет на русский скажем Маршака ну очень вольный. Там по сути с нуля сочинение натянутое на каркас реплик. При этом перевод Маршака очень красивый, но я бы тут дал 9 очков Маршаку за красоту перевода и 1 очко Шекспиру за то, что писал сложнопереводимые тексты 🙂

Надо будет как-то найти время попробовать почитать что-то в оригинале. Представляется интерактивная книжка, где кликаешь на фразу, а тебе всплывает краткий комментарий, жмешь еще раз, выдается длинный, с контекстом и деталями. Интересно, такое кто-нибудь сделал?

Хорошие правила от Kieran Drew

Я тут поставил себе локально Stable Diffusion с дефолтной моделью и openjourney – это генератор изображений по промптам, но безлимитный. И вот что подумалось. Промпт должен быть сформулирован така, как бы компьютер его сформулировал, глядя на финальное изображение. А компьютер умеет узнавать в изображении паттерны, которые когда-то встречались в обучающей выборке. То есть, трехлапого кота он нормально не нарисует, если в выборке не было трехлапых животных. И он также в трехлапом коте увидит кота, а не трехлапость. То есть, абстрактное мышление у системы очень ограничено тем, что ей показали на обучении.

А ведь можно обучать на сгенерированных алгоритмически объектах. Например, если задать трехлапость в современных анимационных программах, можно нагенерить тысячи разнородных животных на таком скелете, и в разных позах. Вот интересно бы получать систему на таком. Ведь по идее, такой подход не только для животных пойдет. Если сделать капчу на результаты работы ai, люди будут отфильтровать и теггировать результаты за бесплатно.

Короче, меня сегодня пробило, и я решил сделать с помощью AI книжку) потратил 40 минут. Текст — от ChatGPT. Картинки — Midjourney. Перевод на русский – DeepL. Верстка — моя. Кликайте на заглавную, и дальше 12 страниц.

Сразу предупреждаю – невеселая!

Короче, меня сегодня пробило, и я решил сделать с помощью AI книжку) потратил 40 минут. Текст — от ChatGPT. Картинки — Midjourney. Верстка — моя. Кликайте на заглавную, и дальше 12 страниц.

Сразу предупреждаю – невеселая!

Небольшая новая партия моих фоток разного времени

Шестая картина. Виноград был, теперь вино!

Мне кажется, что следующий большой прорыв будет основан на сочетании генеративных AI с реконструкцией через AI карты глубин по одной фотографии. Точнее, это уже есть — MiDaS, и еще несколько. Почему это интересно — можно по сути интегрировать объекты в окружение на фотографии так, что будут приниматься в расчет тени, палитра, освещение. Сейчас это непросто, потому что условно говоря AI не знает, что плоскость стола на фото освещена неравномерно не просто так, а потому что она повернута к источнику света вот под таким углом и вон то дерево создает тень. С картой глубин это начинает приобретать смысл.

Пока с налету не понимаю, как такое реализовать, но по ощущениям это совсем скорое будущее. NVIDIA демонстрирует воссоздание 3d из нескольких фото — это photogrammetry через AI, гораздо быстрее и на первый взгляд очень точное.

https://3dstereophoto.blogspot.com/2021/01/getting-depth-maps-from-single-images.html

https://colab.research.google.com/github/pytorch/pytorch.github.io/blob/master/assets/hub/intelisl_midas_v2.ipynb

https://keystonedepth.cs.washington.edu/

https://blogs.nvidia.com/blog/2022/03/25/instant-nerf-research-3d-ai/

https://3dstereophoto.blogspot.com/2021/01/getting-depth-maps-from-single-images.html