Метка: science

Усовершенствовал свой конвертер EPUB для чтения сложных английских художественных текстов. В предыдущей версии я засылал в ChatGPT главы, и просил перевести в скобках сложные слова. Меня спросили в комментариях, а как определяются какие слова сложные. В общем, пока дочитал первую четверть книги в таком виде понял, что не все сложные слова ChatGPT считает за сложные. Включая очевидно сложные. И не переводит.

В итоге, я сделал новую версию. Визуально она отличается тем, что переводы теперь идут над словами. Это не разбивает предложения на куски, как это было в случае, когда перевод шел в скобках. Но это не все.

Изменен способ нахождения «сложных слов, требующих перевода». Она теперь оперирует списком из 300000 слов с частотой их использования в английском языке. Первые 3.5% этого отсортированного по частоте использования списка (подобрал эмпирически) теперь считаются несложными и перевода не требуют. Остальные — требуют. Технически у меня для каждого слова еще есть группа сложности 1-30, но к сожалению в Books нельзя выделять цветом.

Дальше слово нужно как-то перевести на русский. Чтобы не использовать для этого LLM, я нашел словарь Мюллера на 55954 слова. Слово, которое нужно перевести, переводится в нормальную форму, и ищется в словаре. Если находится, берется первое определение из словаря. К сожалению, первое не всегда верное, но в большинстве случаев ок. Если в словаре Мюллера не нашлось, система идет в LLM. Тут у меня есть две реализации — использование локальной LLAMA3 и использование OpenAI. Локальная очевидно медленнее и качество перевода хуже, но зато бесплатная. Есть отдельная система, которая контроллирует что перевела LLAMA3 и заставляет ее переделать, если она возвращает что-то непотребное (например, длинное или имеющее спецсимволы).

Кроме этого, для перевода через LLM системе сообщается еще контекст — предложение, в котором находится переводимое слово. Так перевод ближе к тексту. Все равно есть косяки мелкие, но в целом с ними можно жить.

Но даже со всем этим перевод через LLM низкого качества. В идеале, конечно, подключить еще другие словари, чтобы в случае, если не нашлось в Миллере, пробовались еще другие, и если не нашлось и в них, вот тогда уже LLM. У меня уже появился один, буду экспериментировать.

Если система помечает слишком много очевидных слов, я могу подправить один коэфициент, и частотная группа, из которой не переводятся слова, будет больше, и наверняка эти очевидные слова перестанут переводиться. Конечно, всегда есть слова из «редких», которые переводить не надо, потому что их перевод очевиден. Но научить скрипт отличать такие непросто, проще забить, оно нечасто случается.

Далее перевод выводится над словом. Для Books это тоже пляски с бубном, но в итоге заработало на iPad и ноутбуке. На телефоне, к сожалению, нужно чуть иначе делать, в итоге версия книжки для телефона и версия для iPad/компа будут разными. Ну это меня не очень напрягает, какая разница.

Вынесу из комментариев в пост мои рассуждения на предмет стоит ли получать полноценное 4-5-летнее высшее образование в американском ВУЗе в условно 30 лет с целью получать больше. Интересно, что думаете вы. Ну и вдруг кому полезно будет.

[UPDATE в комментариях правильно заметили, что можно поступить сразу в магистратуру, и тогда диплом будет за 1-2 года. Инвестиции меньше, делите все цифры на 2-3]

Я и сам бы с удовольствием пошел учиться. Вопрос в ROI.

Главными причинами получения американского образования я считаю две: сеть связей и вступление в клуб «выпускники вузов».

Вступление в клуб нужно для того, чтобы работодатель плюс-минус понимал, стоит ли тратить время на интервью. Если человек окончил 4 года американского вуза in person, то он как минимум складно говорит по-английски, как минимум привык работать с дедлайнами и решать проблемы самостоятельно, а может быть еще и отличать важное и срочное от неважного и несрочного, и возможно умеет ладить с людьми и говорить на одном языке. Без образования в США все это может оказаться сюрпризно иным на интервью, и что, отправлять после двух минут разговора?

Сеть связей — типичный студент за 4 года общается с сотнями человек, которые потенциально его помнят. Кроме этого, быть с кем-то из одного вуза это очень круто. Мотированный студент умудряется засветиться у пары тысяч человек, ну в разной степени. Они конечно хором его забудут, но если им напомнить, то могут сделать вид, что помнят.

Все, больше я никаких причин не вижу. Знания можно получить и так.

Вступление в клуб нужно для того, чтобы тебя в принципе пригласили на собеседование как одного из сотни подавших резюме. Чтобы его пройти, нужны другие скиллы, и конечно, часть из них получают в вузе, хотя, конечно, можно освоить и без вуза. Например, на производстве.

Теперь про ROI.

Я считаю, что человек после 30 с опытом 10-15 лет после получения американского образования не вырастет зарплата в достаточной мере, чтобы окупилось образование. Зато из-за необходимости приостановить темпы развития на работе он может точно потерять в «keep up with the market». Плюс потом работодатель может еще и принять решение взять более молодого и живенького. Конечно, никто не признается, что это был фактор.

(Другой вопрос, если работы нет вообще и новая что-то плохо находится. Тогда в позднем втором образовании можно поискать логику. И также другой вопрос, если хочется быть умнее, и есть возможность поплевать на карьеру и деньги, будет день, будет пища, разберемся. Это тоже норм причина)

Вот рассуждение по ROI:

Год обучения в нормальном вузе, который имеет смысл добавлять поверх относительно нормального «с родины» (не в community college) стоит около 25000 долларов в минимум. Ну прибавим еще 5000 за проживание и всякие расходы, непосредственно связанные с обучением. Бакалавр — это 120000 долл. Поскольку учиться и работать полноценно нельзя на кампусе, скорее всего, все это время придется как минимум с половиной-3/4 зарплаты попрощаться, а остальную половину какие-то подработки точно обеспечат. Положим, зарплата сейчас у приезжего недавно с опытом 20+ лет в США в районе 150К, хотя я это очень занизил, плюс это очень зависит от места, ну для простоты расчетов пусть так. Ну положим это еще минус 100К в год. Итого обучение обойдется почти в 600,000 долларов за четыре года.

Мы шли от того, что у человека была зарплата 150К. Он или она отдала 4 года жизни и 600 тысяч долларов, чтобы повысить ее на сколько? Предположим, это программист 30 лет. Взяли ли его в ту же компанию на ту же позицию в то же время на на 100К более высокую зарплату только потому, что у него есть 4 года бакалавра по сравнению с собой же без 4 лет? я лично очень сомневаюсь. Взяли ли его бы на другую работу, где без образования бакалавра вообще бы не взяли? Вероятно взяли бы. Платили бы там на 100К больше, чем на той работе, которую он уже нашел? Вопрос большой. Ну предположим, что платили. Тогда у человека бы ушло еще шесть лет на то, чтобы вернуть потраченные на учебу деньги за счет этой более высокой зарплаты. В итоге, через десять лет после принятия решения «пойду учиться, чтобы заработать больше» он выйдет в ноль и начнет получать в плюс. Учитывая, что за время обучения человек мог потенциально растерять рынок, то может уйдет не 10, а больше лет. А тут дальше см мой комментарий про возраст.

При этом эти рассуждения не работают для всех рынков. Есть лицензионные, и там нужно иметь профильное образование. Если его нет, то вообще никак, надо идти учиться. Условно, если у тебя образование врача из России, то в США с ним не возмут даже постоять рядом с врачом. Нужно получать образование, и хорошо, если ВУЗ примет во внимание уже имеющиеся знания (какие-то принимает). Таких профессий много. Я пишу главным образом про айти же, потому что больше ничего не знаю.