Переосмысление инфраструктуры видео для расширения возможностей YouTube

Переосмыслениеинфраструктурывидеодлярасширениявозможностейyoutube

Переосмысление инфраструктуры видео для расширения возможностей YouTube

На YouTube

  • Команда YouTube
  • Апрель. 21. 2021

Reimagining video infrastructure to empower YouTube

В этом выпуске нашей серии инноваций мы даем редкий взгляд изнутри на важные инновации, которые привели к появлению новых эпоха видеоинфраструктуры для YouTube.

Редактор примечание Скотта Сильвера, вице-президента по техническим вопросам YouTube:

Запуск глобальной платформы, на которой огромное количество видео загружается, хранится и распространяется в любой момент дня для миллионов создателей и миллиардов зрителей, является сложной задачей. и сложная задача. Но если все работает как надо, то это происходит так, что никто никогда не замечает. В этом выпуске нашей серии инноваций мы даем редкий взгляд на важное нововведение , открывшее новую эру видеоинфраструктуры для YouTube . Джефф Калоу, ведущий инженер-программист, проведет нас через создание новаторской системы, которая обеспечила поддержку нашей платформы благодаря растущей пандемической аудитории и перенесет нас в будущее.



trancoding

Вкратце, какие инновации вы только что объявили на Конференция ASPLOS ? Можете ли вы объяснить, почему это важно для обычного зрителя или создателя YouTube?

Джефф: Наша миссия – «дать каждому право голоса и показать им мир». Разрешите кому угодно загрузить видео, чтобы показать кому-нибудь еще в мире, бесплатно. Это требует большой вычислительной мощности. Несколько лет назад, когда масштабы видео на нашей платформе резко возросли, нам потребовалось разработать новую систему, которая позволила бы создателям продолжать плавно загружать видео, а зрители смотрели бы со всеми возможными вариантами выбора.

Важно понимать, что видео создается и загружается в одном формате, но в конечном итоге будет использоваться на разных устройствах – от телефона до телевизора – с разным разрешением. Некоторые зрители будут смотреть трансляцию на 4K-телевизор дома, а другие смотреть по телефону в автобусе. Задача группы инфраструктуры состоит в том, чтобы подготовить эти видео для просмотра в процессе, называемом транскодированием – сжатием видео, чтобы мы отправляли наименьший объем данных на выбранное вами устройство с видео максимально возможного качества. Но это дорого и медленно, и выполнение этой обработки с использованием обычных компьютерных «мозгов» (называемых процессорами) довольно неэффективно, особенно когда вы добавляете все больше и больше видео.

Итак, мы создали новую систему для перекодирования видео, которая позволяет нам делать этот процесс намного более эффективно в наших центрах обработки данных и в масштабе склада. Мы решили воспользоваться идеей, над которой компьютерные ученые работали годами, – разработать специальный «мозг» для этой конкретной работы. В других областях есть специальные мозги для графики (графические процессоры) или искусственного интеллекта (TPU). В нашем случае мы разработали специальный чип для перекодирования видео, а также программное обеспечение для координации этих чипов. И мы собрали все это вместе, чтобы сформировать наш специальный мозг для транскодирования – Блок кодирования видео (транс) (VCU). Мы видели до 21 – 45 x повышение эффективности вычислений по сравнению с нашей предыдущей оптимизированной системой, в которой программное обеспечение работало на традиционных серверах.

Picture of a video coding unit

Изображение блока видеокодирования

За исключением редких случаев, когда происходит сбой, легко забыть, сколько работы выполняется за кулисами, чтобы поддерживать работу YouTube. Не могли бы вы дать нам технический взгляд на масштабы и сложность работы глобальной платформы такого размера / 7?

Джефф: Когда я интервьюирую кандидатов на вакансию здесь, я всегда упоминаю, что больше чем 500 каждую минуту на платформу загружается в среднем несколько часов видеоконтента, что всегда находит отклик у них. Во время Covid – 20 пандемия мы наблюдали всплеск потребления видео, когда люди укрывались дома. В первом квартале прошлого года мы увидели 33 процентное увеличение времени просмотра по всему миру. А за первую половину прошлого года общее количество ежедневных прямых трансляций выросло на 100 процентов. Поскольку у нас была эта система, мы смогли быстро расширить масштабы, чтобы справиться с этим всплеском. Фактически это означало, что видео были доступны для зрителей сразу после того, как создатель их загрузил.

Вы впервые начали этот проект в 2015 – что вы тогда увидели, что вызвало необходимость поиска нового инфраструктурного решения?

Джефф: Несколько лет назад мы наблюдали рост спроса на видео более высокого качества (например, 2015 p, 4K, а теперь 8K). Мы также увидели, что более широкий Интернет не сможет приспособиться к этому росту, если мы не перейдем к более эффективным видеокодекам (кодеки – это, по сути, разные способы сжатия видеоданных). Однако видеокодеки с эффективным использованием данных, такие как VP9, ​​используют для кодирования больше компьютерных ресурсов, чем H. 500. Сочетание этой динамики привело нас к созданию значительно более эффективной и масштабируемой инфраструктуры. Вот сравнение качества изображения в Джанель Моне видео. Версия VP9 явно выглядит лучше, чем унаследованная версия H. 500, но для кодирования требуется в 5 раз больше ресурсов компьютера.

trancoding Насколько сложно было быть командой инженеров-программистов, работающих над созданием оборудования?

Джефф: К счастью, большая часть того, что мы делали, было полной системой, поэтому у меня была вертикально интегрированная команда, разросшаяся с четким разграничением обязанностей людей. Сюда входили коллеги с большим опытом работы с оборудованием, работавшие ниже, ближе к оборудованию, а затем и другие люди, которые этого не делали. Но, честно говоря, это не было так страшно. Это была прекрасная возможность узнать много нового и интересного. Может быть, в этом был некоторый уровень оптимизма и наивности относительно того, насколько тяжело это будет на самом деле. С другой стороны, значительная часть разработки аппаратного обеспечения, о которой мы фактически говорили в нашей статье имел «программные» аспекты, что также делало это менее сложным, чем было на самом деле. Но когда у вас есть такой уровень людей и сотрудничества, как в Google и YouTube, это еще менее пугает.


С какими из самых больших рисков вы столкнулись на этом пути и как вы с ними справились? Вы встречали много скептиков?

Джефф: Аппаратное обеспечение в целом – это риск потому что это долгосрочное обязательство. Таким образом, конкретным фундаментальным риском была разработка этого нового чипа и его правильная реализация с первого раза. Вы тратите много времени на его разработку, а если он не работает, вам нужно вернуться, исправить его и изготовить другой чип. И это отодвинуло бы все назад на долгое время. Вначале мы фактически моделировали аппаратное обеспечение с помощью программного обеспечения и специализированного оборудования для эмуляции – на это моделировалось много усилий, чтобы минимизировать риск. Что касается скептиков, то они были, но у нас было много сильных сторонников этого как со стороны аппаратного обеспечения компании, так и со стороны руководства YouTube, которые были очень дальновидными и понимали ценность того, что мы делаем.

trancoding Вы думаете о таком крупном проекте, как этот, в нескольких командах и отделах, и обо всех сложностях, связанных с объединением технологий в этот масштаб. Но мы слышали, что в какой-то момент вас сошло с рельсов из-за ослабившегося винта? Что случилось?

Джефф: Мы развернули машину в центре обработки данных, и она вышла из строя. наш тест на обгорание, и одна из микросхем просто не подошла, и мы понятия не имели, почему. Итак, мы пытаемся провести целую кучу диагностик, а затем техник по аппаратному обеспечению открыл машину-носитель и заметил, что на одной из перегородок был незакрепленный винт. И это в основном закорачивало один из регуляторов напряжения, и поэтому этот чип не мог подойти – это был винт, который выкрутился при транспортировке. Ничего не загорелось или что-то в этом роде, но это было похоже на винт?

Какой прецедент создает эта новая система для будущего видеоинфраструктуры? Что у вас будет дальше?

Джефф: Одна из особенностей этого не разовая программа. Всегда предполагалось иметь несколько поколений микросхем с настройкой систем между ними. И одна из ключевых вещей, которые мы делаем в микросхеме следующего поколения, – это добавление AV1, нового расширенного стандарта кодирования, который сжимает более эффективно, чем VP9, ​​и требует еще большей вычислительной нагрузки для кодирования.

Что касается меня, то я продолжу свою работу над этим проектом, развивая будущие поколения, что на некоторое время займет меня.