Пока ехал домой вечером придумал интересный проект, и вот в два часа ночи его закончил. Теперь у меня есть англоязычный блог — RaufAliev.com. Все посты на нем — автоматически переведенные из Facebook, которые, как я писал пару дней назад, публикуются также на beinginamerica точка com.
Перевод архива занимает время (и совсем слегка ест $$$), и пока на 2 часа ночи переведено за последние два года, но процесс еще продолжается, и в ближайшее время, я надеюсь, будет переведены все 5000.
Некоторые технические подробности: перевод через ChatGPT-4. Весь контент выгружается в файл, по одной строке на пост. Впереди каждого поста стоит вот такой префикс (2024-04-22T07:59:18.json). Далее этот файл нарезается на фрагменты не более X килобайт каждый (я выбрал 10). Далее отправляется на OpenAI API с промптом «Translate to English preserving my style and keeping the HTML markup. Each line starts with a json filename in parentheses. Your output should be formatted in the same way — each line should be started with the same, but the text should be translated to English. Below is the text». Результат записывается в файл с переводом. Далее прогоняю тот же скрипт, который создавал у меня Facebook-записи в beinginamerica, но публикую теперь на другой wordpress-сайт, и использую переведенный контент, вместо оригинального.
Кроме этого, я подключил сервис linkpreview API для того, чтобы вытягивать картинку и title по ссылке, если она есть в посте, получается симпатичнее. Вот к этому посту на raufaliev.com должны вытянуться Hi, I’m Rauf Aliev.
Отдельный скрипт у меня переносит новые посты. Вот этот например, его же нет в архиве, который я делал неделю назад. У Facebook JSON последних постов имеет слегка другую структуру, но плюс-минус тоже самое. Вытягиваем последние посты, смотрим, есть ли там картинки, если есть, скачиваем их, смотрим, не закачивали ли на beinginamerica, если нет, закачиваем, далее смотрим, не опубликовали ли ранее пост на beinginamerica, если нет, публикуем, далее переводим на английский с помощью OpenAI, далее делаем красивее ссылки с помощью LinkPreview API, далее смотрим, не закачивали ли еще на английский сайт. Если нет — закачиваем.
I’m Rauf Aliev.
http://raufaliev.com/
Being in America 