Очень интересная лекция про то, как работает БАК. Просто космос https://habrahabr.ru/company/yandex/blog/329132/
“Это 40 терабайт данных в секунду. В настоящий момент мы такой поток обрабатывать не можем, хотя технически уже приближаемся к возможностям.”
“Вы примерно представляете размер матрицы фотоаппарата. Здесь примерно 200 квадратных метров матрицы. (..) Самое крутое для этих экспериментов — их скорость. Они снимают со скоростью 40 млн кадров в секунду. (..) Записывать мы столько не можем, реально мы записываем примерно 200–500 кадров в секунду, но это тоже неплохо.”
“Та материя и энергия, которую мы наблюдаем, это примерно 5% от того, что мы измеряем посредством различных гравитационных наблюдений. Это примерно то же самое, что у вас квартира 20 квадратных метров, а вам приходит счет за отопление на 1000 метров, и все правильно, где-то остальные квадратные метры отапливаются, только вы не понимаете, где они.”
“Мы имеем порядка миллиона засвеченных ячеек в детекторе, которые снимаются со скоростью 40 МГц. Это 40 терабайт данных в секунду. (..) За 10 мс нужно классифицировать данные на интересные и не очень. Это типичная задача классификации. Сейчас мы активно применяем методы машинного обучения. Мы спасаем одно событие из миллиона. Остальные события теряются безвозвратно. Так что очень важно, чтобы этот отбор имел хорошую эффективность. Если мы что-то потеряли — это уже не восстановить.”
“Для этого нам необходимы достаточно могучие компьютерные ресурсы. Физика высоких энергий использует распределенные компьютерные ресурсы. На этом слайде, чтобы дать идею о количестве, для коллаборации CMS используется 120 тыс. ядер и порядка 200 петабайт емкости на дисках.”
“Cтатья CMS, которая характеризуется как открытие бозона Хиггса. (..) 36 страниц. Половина из них — статья, 136 ссылок на научные исследования и три тысячи авторов. “
“В качестве ассоциации: то, что мы пытаемся сделать, — увидеть снежинку определенной невиданной формы в свете фотовспышки во время снегопада и на фоне большого заснеженного поля. И честно говоря, думаю, задача со снежинкой, которую я описал, существенно проще.”
Being in America 