Интересная история описывается в биографии Маска. Там вообще много баек, но эта вот порадовала, потому что я она не про машины и ракеты, а про серваки, что мне ближе.
Буквально за пару дней до Рождества прибегают админы со словами “один из наших хостеров начал сомневаться в том, что Твиттер выживет, и пересмотрел условия переезда”. Твиттеру этот хостер обходился более, чем в $100 млн. в год, и было принято решение перевести серверы в Portland, где у Маска были лучше условия и ниже цена. Видимо, хостер сначала согласился дать на период переезда какие-то льготные тарифы, а потом это отозвал, боясь, что компания развалится скорее.
“Нам нужно шесть-девять месяцев на переезд. Серверы в проде, обслуживают траффик, нужно все умно переключать”. Маск: “Ребята, у вас есть 90 дней на это. Если не справляетесь, на работу можете не возвращаться”.
Админы пытаются объяснить, что не все так просто. Там различная плотность стоек, электропотребления, нужно переделывать место под серверы.
Маск все это слушал-слушал, потом прервал словами “ребята, вы мне мозг взрываете. Вы помните, есть такой смайлик? Вот конкретно это и происходит. Не грузите меня всякой ерундой, просто берете серверы и везете в новое место.”
Админы продолжают рассказывать про сложности. “Так, кто-нибудь может поехать в серверную и прислать оттуда фотки?”. Напомню, дело было перед Рождеством, говорят, через неделю будут фотки. “Не, надо завтра. Я сам строил эти чертовы датацентры, и я могу сказать, можно туда поставить еще или нельзя. Поэтому я и спрашиваю вы там хоть раз были? Если вы там не были, то обсуждать нечего”.
“Все, что надо, это погрузить эти чертовы серверы на тачку, и привезти из Сакраменто в Портлэнд. Если такое занимает больше, чем 30 дней, это точно взорвет мне мозг. Так.. Берется перевозчик, неделю займет переместить сервера и еще неделю их подключить. Две недели в сумме. Вот как это должно выглядеть. Вон берешь U-Haul и вперед”
На следующий день, 23 декабря, почти в канун Рождества, Маск с семейством – жена Grimes, двухлетний сын с именем X, двое братьев-инженеров, которые тоже вовлечены в Твиттер-историю, на пути в Остин где-то над Лас-Вегасом вдруг решают, а чего бы не перевезти серваки прямо сейчас.
Пилот разворачивается, Маск ищет машину в аренду, находят Тойоту Короллу. Ребенка назад, остальные напихиваются как могут. Непонятно, есть ли кто-то в датацентре на Рождество.
Там оказался один инженер из Твиттера, Алекс-узбек. Дата-центр суперсовременный, со сканерами сетчатки глаза и все такое. Серверная Твиттера выглядела как 5200 стойки размером с холодильник каждая. “Норм, выглядит, что должны справиться”. Норм, должны, конечно, подумаешь 6200 тонн железа.
“Вообще требуется нанять специального контрактора на то, чтобы поднять пол – для этого присоски специальные. Потом нужен другой контрактор, чтобы под полом отключить правильные кабели и не отключить неправильные”.
Маск вытаскивает перочинный ножик и через вентиляцию залезает в помещение под полом. Отключает серваки. Готово!
На следующий день, в канун Рождества, начинается движуха в Сан-Франциско. Росс Норден заскакивает в apple store и покупает все в наличии AirTags на 2000 баксов. Чтобы можно было следить за серверами по пути. Затем в Home Depot, где тратит еще 2500 баксов на всякие инструменты и прочие кусачки. Стив Дэвис находит грузовички, что-то из Boring Company, что-то левое.
Стойки к счастью на колесиках, так что команда за первые часы успешно погружает четыре из 5200. Все в поту, но хотя бы понятно, что весь сет можно погрузить за дни, не месяцы, если подключить больше людей и машин.
Остальной стафф дата центра на это смотрит и охреневает.
Если не сказать сильнее.
Тем временем, руководство NTT, владелец дата-центра, узнает о том, что там происходит и тоже охреневает. И приказывает свернуть бедлам.
Выясняется, что полы датацентра вообще-то строились под определенную нагрузку и возить по ним сразу несколько тяжелых стоек без специального оборудования не стоит. Весь стойки превышает допустимую нагрузку в пять раз.
На что Маск отвечает, что они вообще-то на колесиках, так что тонна распределяется на четыре точки, и мы почти вписываемся.
NTT понимает, что они только что лишились $100 млн дохода в следующем году.
Стафф NTT делал все возможное, чтобы затруднит их работу и заставить их перенести хотя бы на после праздников. Одна из тётенек там ходила по пятам и выносила мозг. «Она была самым невыносимым персонажем, с которым приходилось работать. Но понять ее можно – из-за нас она пропускает Рождество»
Перевозчики, рекомендуемые NTT обычно берут что-то типа 200 долл в час. Джеймс Маск нашёл на Yelp компанию Extra Care Movers за двадцатку. Владелец жил на улице, потом у него появился ребёнок, и он решил начать зарабатывать хоть как-то. У него не было счета в банке, и Джеймс платил пятизначные суммы наличкой. Рабочие не имели документов, так что было отдельной проблемой пустить их в датацентр. «За каждый дополнительный сервер плачу дополнительный доллар чаевых»
Интересно, что есть регуляция, что персональные данные должны удаляться с серверов перед переездом. К моменту, когда они об этом узнали, сервера уже были погружены. Был риск, что если один из серверов приедет не туда, репутационные потери будут чудовищными. Джеймс отправил кого-то в home depot купить амбарные кодовые замки и выслал эксельчик с кодами в Портленд.
Переезд 700 стоек занял три дня. Предыдущий рекорд дата-центра был тридцать в месяц. Остальное перевезли в январе.
“Оглядываясь назад, можно сказать, что закрытие в Сакраменто было ошибкой,” – сказал Маск Айзексону. “Мне говорили, что у нас есть резервирование между нашими данными центрами. Но мне не сказали, что у нас есть 70,000 жёстко закодированных ссылок на Сакраменто. И из-за этого всё ещё есть сломанные вещи.”
Being in America 