Как же удобно сейчас стало работать с книжками. В субботу ко мне приедет Alla Prima II художника Ричарда Шмида. Но еще до покупки я не удержался и нашел в сети 500Мб книжку в PDF, и уже прочел 50 страниц. И подумал, а вот если мне захочется извлечь всех упоминаемых художников в книге, смогу ли я это сделать?
Оказалось довольно просто.
1) разбиваем PDF на отдельные страницы через pdfseparate . Получается 332 PDF общим объемом 472 Мб. Занимает несколько минут.
2) переводим отдельные PDF в JPG с помощью pdftoppm -jpeg . Получается 332 JPG. Занимает несколько минут.
3) распознаем текст с помощью tesseract . Этот процесс занимает минут 10.
4) передаем каждый текст страницы локальной llama3, и просим вытащить из текста имена художников из текста с каждой из 332 страниц (то есть 332 запроса). На моем маке это заняло 12 минут. В итоге получилось 953 строчки.
llama3 туповатая, но справляется в целом неплохо. Выдает кучу «шума» тоже типа «Based on the provided text, here are the extracted names of painters» или «I’m happy to help!». Выходной текст после обработки 332 страниц небольшой, всего 953 строчки. Сортируем его, удаляем дубликаты (стало 556). Удаляем все больше трех слов и меньше двух слов через cat names.txt | awk ‘NF>=2 && NF<=4’. Получилось 139 строчек. Среди них все еще есть некоторый шум, например, туда попали «Cobalt Blue», «What an interesting text!» и «Sherlock Holmes» как имена художников. Для того, чтобы их вычистить, используем уже openai, который умнее. Просим оставить только художников и убрать все остальное. Получился список.
Alfred Sisley, Alphonse Mucha, Anders Zorn, Andrew Loomis, Anton Sterba, Antonio Mancini, Arthur Rackham, Berthe Morisot, Bill Mosby, Cecilia Beaux, Charles Hunter, Claude Monet, Dan Gerhartz, Dean Mitchell, Diego Velazquez, Donald Llanuza, Edmund Tarbell, Edouard Manet, Edouard Vuillard, Edward Atkinson Hornel, Eliot Goldfinger, Elizabeth Sparhawk-Jones, Frank Duveneck, Frank Vincent DuMond, Franz Hals, Frederic Remington, Gene Byrnes, George Bridgman, Georges Seurat, Gilbert Stuart, Giovanni Boldini, Grace Arnold, Hans Holbein, Harry Anderson, Heinrich Kley, Henri de Toulouse-Lautrec, Howard Pyle, Ilya Repin, Isaac Levitan, J. W. Waterhouse, J. C. Leyendecker, J.H. Vanderpoel, James M. Dunlop, Jean Dagnan-Bouveret, Jeremy Lipking, Jessie H. Vanderpoel, Joaquin Sorolla, John Gannam, John Singer Sargent, John Singleton Copley, John Twachtman, Katie Swatland, Marcus Thomas, Mary Cassatt, Michael Wilcox, N. C. Wyeth, Nancy Guzik, Nicolai Fechin, Norman Rockwell, Paolo Michetti, Paul Mullally, Peter Paul Rubens, Philip Andreevich Maliavin, Ralph Mayer, Richard Schmid, Robert Henri, Rose Frantzen, Scott Burdick, Shannon Two, Stephen Rogers Peck, Susan Lyon, Thomas Eakins, Thomas Wilmer Dewing, Valentin Serov, Vincent Van Gogh, Wayman Adams, William H. Mosby, William Harnett, William Merritt Chase
5) засылаем теперь этот список в openai опять, и спрашиваем, есть ли среди этих имен не-художники. Оказалось, что все норм, все из них — художники.
6) для надежности еще спрашиваем у openai, есть ли имена из этого «чистого» списка, которых не было в изначальном («грязном»), чтобы проверить, не придумал ли имен художников openai, когда его просили вытащить из «грязного» списка. Отлично, не придумал.
вуаля! чуть больше полчаса, и у меня есть список художников, упомянутых в книге.
7) просим openai разбить список на группы и дать краткую характеристику
РЕЗУЛЬТАТ
Импрессионисты и Постимпрессионисты
=================================
* Alfred Sisley — Французский импрессионист, известный своими пейзажами.
* Claude Monet — Основатель импрессионизма, знаменит своими водяными лилиями и сериями пейзажей.
* Berthe Morisot — Французская импрессионистка, известная своими портретами и сценами из повседневной жизни.
* Edouard Manet — Французский художник, предшественник импрессионизма, известный своими портретами и сценами из жизни Парижа.
* Georges Seurat — Французский постимпрессионист, основатель пуантилизма.
* Vincent Van Gogh — Нидерландский постимпрессионист, известный своими яркими и эмоциональными картинами.
Реализм и Академическая живопись
=============================
* Edouard Vuillard — Французский художник, участник группы Наби, известный своими интерьерами и фигуративными композициями.
* Anders Zorn — Шведский художник, известный своими портретами и жанровыми сценами.
* Cecilia Beaux — Американская портретистка, работавшая в стиле академического реализма.
* Diego Velazquez — Испанский барочный художник, известный своими портретами и историческими сценами.
* Edmund Tarbell — Американский художник, известный своими импрессионистскими портретами и жанровыми сценами.
* Franz Hals — Нидерландский портретист, один из величайших художников золотого века Голландии.
* Frederic Remington — Американский художник и скульптор, специализировавшийся на сценах Дикого Запада.
* Gilbert Stuart — Американский художник, известный своими портретами, включая изображение Джорджа Вашингтона.
* Hans Holbein — Немецкий ренессансный художник, известный своими портретами и религиозными картинами.
* Ilya Repin — Русский реалистический художник, известный своими историческими и жанровыми картинами.
* Isaac Levitan — Русский пейзажист, мастер лирического пейзажа.
* John Singer Sargent — Американский портретист, известный своими изысканными и элегантными портретами.
* Thomas Eakins — Американский реалист, известный своими портретами и жанровыми сценами.
* Valentin Serov — Русский портретист, один из крупнейших представителей русской реалистической школы.
Арт Нуво и Иллюстрация
=================================
* Alphonse Mucha — Чешский художник, ключевая фигура Арт Нуво, известный своими декоративными постерами.
* Arthur Rackham — Британский иллюстратор, известный своими волшебными и фантастическими изображениями.
* Howard Pyle — Американский иллюстратор, основатель Брэндивинской школы иллюстрации.
* J. C. Leyendecker — Американский иллюстратор, известный своими рекламными и журнальными обложками.
* N. C. Wyeth — Американский иллюстратор и художник, известный своими работами для классических приключенческих романов.
* Norman Rockwell — Американский художник и иллюстратор, известный своими идеализированными изображениями американской жизни.
* Frank Vincent DuMond — Американский художник и педагог, известный своими пейзажами и жанровыми сценами.
Портретисты и Жанровые художники
=============================
* Cecilia Beaux — Американская портретистка, работавшая в стиле академического реализма.
* Diego Velazquez — Испанский барочный художник, известный своими портретами и историческими сценами.
* Franz Hals — Нидерландский портретист, один из величайших художников золотого века Голландии.
* John Singer Sargent — Американский портретист, известный своими изысканными и элегантными портретами.
* Thomas Eakins — Американский реалист, известный своими портретами и жанровыми сценами.
* Valentin Serov — Русский портретист, один из крупнейших представителей русской реалистической школы.
* Jean Dagnan-Bouveret — Французский академический художник, известный своими жанровыми сценами и портретами.
* Joaquin Sorolla — Испанский художник, мастер света, известный своими портретами и пляжными сценами.
* John Singleton Copley — Американский колониальный художник, известный своими портретами.
Мастера Пейзажа
==============
* Alfred Sisley — Французский импрессионист, известный своими пейзажами.
* Claude Monet — Основатель импрессионизма, знаменит своими водяными лилиями и сериями пейзажей.
* Isaac Levitan — Русский пейзажист, мастер лирического пейзажа.
* John Twachtman — Американский импрессионист, известный своими лирическими пейзажами.
* Dan Gerhartz — Современный американский художник, известный своими атмосферными пейзажами и фигуративными работами.
* Dean Mitchell — Американский художник, известный своими акварельными пейзажами и городскими сценами.
Современные Художники
====================
* Dan Gerhartz — Современный американский художник, известный своими атмосферными пейзажами и фигуративными работами.
* Dean Mitchell — Американский художник, известный своими акварельными пейзажами и городскими сценами.
* Jeremy Lipking — Современный американский художник, известный своими портретами и фигуративными работами.
* Nancy Guzik — Современная американская художница, известная своими лирическими и романтическими фигуративными работами.
* Richard Schmid — Американский художник и педагог, мастер фигуративной живописи.
Прочие Известные Художники
========================
* J. W. Waterhouse — Британский художник, известный своими картинами на мифологические и литературные темы.
* Paolo Michetti — Итальянский художник, работавший в жанре реализма и символизма.
* Peter Paul Rubens — Фламандский барочный художник, известный своими аллегорическими и мифологическими картинами.
* Gilbert Stuart — Американский художник, известный своими портретами, включая изображение Джорджа Вашингтона.
* Giovanni Boldini — Итальянский портретист, известный своими элегантными и динамичными портретами.
* Henri de Toulouse-Lautrec — Французский постимпрессионист, известный своими афишами и сценами парижской жизни.
* Howard Pyle — Американский иллюстратор, основатель Брэндивинской школы иллюстрации.
* Franz Hals — Нидерландский портретист, один из величайших художников золотого века Голландии.
* Frederic Remington — Американский художник и скульптор, специализировавшийся на сценах Дикого Запада.
* Hans Holbein — Немецкий ренессансный художник, известный своими портретами и религиозными картинами.
Как можно много сейчас сделать на компе с информацией!
Being in America 