Text Analysis: A Programmers Quest to Understand Endurance | 12 декабря 2022 года, 22:33

Дочитал “Endurance” by Alfred Lansing. Очень интересная история, читается на одном дыхании. Единственное, что нужно потихоньку привыкнуть к лексике, она необычная для айтишника.

И вот чтобы проиллюстрировать, смотрите что в моем лице делает программист где-то минут за 20. Он скачивает книжку в формате EPUB (гуглится только через яндекс на каких-то пиратских сайтах). Распаковывает ZIP, там находит HTML. Пишет на скорую руку на питоне скрипт, который разбивает текст на предложения, а предложения на слова, и преобразует слова их в нормальную форму (NLTK). Скачивает корпус частностности слов с Keggle — 333К слов с частотой использования. Затем вычисляет для каждого предложения два значения — число слов и число редких слов. Затем в эксельчике сортирует предложения длинной не меньше 10 слов с частотой ниже определенного порога (500К). В итоге в числе первых результатов получаем предложение, которое я даже помню где в книжке читал и как раз о нем думал как о том, что нужно на фейсбучек написать как иллюстрацию сложности текста:

“…A vulgar person who often indulges in whoops and yells of ‘Yoicks Tally Ho,’ had the indescribable effrontery to let go his horrid war cry whilst riding on the imposing conveyance drawn by these dignified but nervous creatures, and was reproved by their indignant owner pointing out to the Vulgar Person into what terror his voice had thrown the beautiful but highly strung and delicate doggies. It is my painful duty to relate that this Awful Vulgar Person the very next day being out with an ordinary team gave vent to his fearsome bellow when passing the ‘Heart Disease’ Team. The result was disastrous, 2 of the poor creatures fainted and had to be brought round with hartshorn, etc., while the remainder went into hysterics until the Vulgar Person and his associates disappeared over the horizon.”

Но надо сказать такой сложный текст встречается не так часто. Это выдержки из дневника Фрэнка Уорсли. Этот моряк весьма необычно излагает мысли для читающего спустя 100 лет его меня. Сама же книжка, написанная от лица образованного человека и журналиста 20 века, читается относительно легко (опять же, привыкнуть к лексике нужно, всякие морские термины придется погуглить).

https://www.amazon.com/Endurance-Shackletons-Incredible-Alfred-Lansing/dp/0465062881

Оставьте комментарий