Продолжаю делиться рекламой из Saturday Evening Post. Я просто по вечерам just for fun делаю локальный поиск по журналу, и периодически пролистываю номера. Смотрите, реклама в журнале 1989 года — электронная библия со встроенным поиском. Экран 256х128, 16Кб памяти.
Интересно, что у электронной библии есть режим auto shut off
Мой же работает вроде норм, но векторный индекс что-то прям до хрена места занимает. Для 819000 предложений, а это 14000 страниц, 130 журналов за 1935, 1946, 1966, 1989, 1990 годы, он вырос до 5 гигабайт. Это все потому, наверное, что openai embedding большие (как я понимаю 4К на предложение). При этом рядом у меня лежит такой же индекс на Solr, и он занимает 190Мб. По этой базе поиск занимает около 2 секунд. Индекс загружается один раз секунд 15.
Being in America 