Автор: Rauf Aliev

Большой апдейт на Hybrismart: Как я делал поиск по архиву The Saturday Evening Post.

TSEP — один из старейших журналов США, выпускаемый с 1821 года каждую субботу. На протяжении многих десятилетий это был такой толщенный журнал, более, чем на 100 страниц. Практически ни одна статья из него не гуглится. Было очень интересно проиндексировать почти 400000 страниц, и поэкспериментировать с различными технологиями, от ML rerank до векторного поиска на основе OpenAI Embeddings.

Статья техническая, должна быть интересна программистам и solution architect.

https://hybrismart.com/2024/05/01/saturday-evening-post-search-embeddings-solr-smart-search/

Saturday Evening Post Archives: Engineering a Smart Search Solution

Любимую Надю — с днем рождения! Оставайся такой же умной, красивой, спортивной, энергичной, яркой, какой ты всегда была и уверен всегда будешь! Что за тетрадочки? Надя — волейбольный тренер, ежедневно проводящий часы на волейбольной площадке и часы дома в подготовке к тренировкам. Мы дома называем это «рисовать квадратики». У Нади сначала квадратики, а уже потом все остальное, потому что прийти неподготовленной тренер на корт не может! Презент от ее девочек «for when your notebook runs out of pages» тронул ее до глубины души 🙂 Внимательные! Я говорю Наде — когда-нибудь ты издашь многотомник как выращивать суперволеболисток. С днем рождения!

Очень нравится эта иллюзия. На картинке нет красных пикселей. Увеличьте — фрагмент, где баночка колы, содержит только черные и белые, а вокруг — cyan. Восприятие цвета формируется сознанием. Это трудно понять, но эта картинка отлично это иллюстрирует!

Нашел книжку Люиса Кэролла, в которой он описывает свои впечатления от посещения Москвы с Генри Лиддоном в 1867 году.

«Он представил нам довольно мрачные перспективы того, что нас ждет, говоря, что очень мало кто говорит на других языках, кроме русского. В качестве примера необычно длинных слов, содержащихся в русском языке, он написал для меня следующее:

защищающихся

что, написанное латинскими буквами, звучит как Zashtsheeshtshayoushtsheekhsya. Это тревожное слово является родительным падежом множественного числа причастия и означает «об обороняющихся людях».

Это живописное полотно, представление в выставочном зале художников в рамках выставки «Молодость Петербурга» называется «Дверь в Будущее» и очень напоминает известный мем.

Корове больше всех будущее интересно, судя по картине. А за дверью, похоже, что-то горит. Ещё непонятно, открывает он тут дверь или закрывает. Скорее второе

Опубликовал подробную статью про миграцию с Facebook на WordPress с одновременным переводом с русского на английский + миграцию архива в несколько тысяч постов, также с их переводом.

https://hybrismart.com/2024/04/29/cross-posting-from-facebook-to-my-rus-and-eng-wordpress-blogs-technical-details/

Пока ехал домой вечером придумал интересный проект, и вот в два часа ночи его закончил. Теперь у меня есть англоязычный блог — RaufAliev.com. Все посты на нем — автоматически переведенные из Facebook, которые, как я писал пару дней назад, публикуются также на beinginamerica точка com.

Перевод архива занимает время (и совсем слегка ест $$$), и пока на 2 часа ночи переведено за последние два года, но процесс еще продолжается, и в ближайшее время, я надеюсь, будет переведены все 5000.

Некоторые технические подробности: перевод через ChatGPT-4. Весь контент выгружается в файл, по одной строке на пост. Впереди каждого поста стоит вот такой префикс (2024-04-22T07:59:18.json). Далее этот файл нарезается на фрагменты не более X килобайт каждый (я выбрал 10). Далее отправляется на OpenAI API с промптом «Translate to English preserving my style and keeping the HTML markup. Each line starts with a json filename in parentheses. Your output should be formatted in the same way — each line should be started with the same, but the text should be translated to English. Below is the text». Результат записывается в файл с переводом. Далее прогоняю тот же скрипт, который создавал у меня Facebook-записи в beinginamerica, но публикую теперь на другой wordpress-сайт, и использую переведенный контент, вместо оригинального.

Кроме этого, я подключил сервис linkpreview API для того, чтобы вытягивать картинку и title по ссылке, если она есть в посте, получается симпатичнее. Вот к этому посту на raufaliev.com должны вытянуться Hi, I’m Rauf Aliev.

Отдельный скрипт у меня переносит новые посты. Вот этот например, его же нет в архиве, который я делал неделю назад. У Facebook JSON последних постов имеет слегка другую структуру, но плюс-минус тоже самое. Вытягиваем последние посты, смотрим, есть ли там картинки, если есть, скачиваем их, смотрим, не закачивали ли на beinginamerica, если нет, закачиваем, далее смотрим, не опубликовали ли ранее пост на beinginamerica, если нет, публикуем, далее переводим на английский с помощью OpenAI, далее делаем красивее ссылки с помощью LinkPreview API, далее смотрим, не закачивали ли еще на английский сайт. Если нет — закачиваем.

I’m Rauf Aliev.
http://raufaliev.com/

Кстати, не задумывались, сколько вещей тихо так исчезли из жизни не потому, что вышло что-то лучше, а просто потому что хайп ушел или просто непонятно почему?

Помните, были кроссовки на колесиках или светящиеся кроссовки? Когда вы последний раз слышали слово рингтон? Многие из вас заряжают пальчиковые аккумуляторы? Когда вы последний раз скачивали mp3? Когда вы покупали последний раз часы — любые кроме смарт watches? Я еще понял, что я почти не добавляю в адресную книжку телефона каких-либо контактов, да и, честно говоря
, понятие «городской телефон» даже в США почти исчезло — всем звонишь или на мобильный, или на мессенджер, или это колл-центр.

У меня последние 8 лет как минимум почти никогда нет наличных денег. Наверное, я шариковую ручку держу в руках чуть чаще, чем наличные — наверное, где-то несколько раз в год.

Понятно, что ^^^^ очень индивидуально и территориально.