Алгоритм на базе ЦП обучает глубокие нейронные сети до 15 раз быстрее, чем топовый графический процессор

АлгоритмнабазеЦПобучаетглубокиенейронныесетидо15разбыстреечемтоповыйграфическийпроцессор
Rice, Intel optimize AI training for commodity hardware
Аншумали Шривастава – доцент кафедры информатики в Университете Райса. Предоставлено: Джефф Фитлоу / Университет Райса

Компьютерные специалисты из Университета Райса продемонстрировали программное обеспечение искусственного интеллекта (ИИ), которое работает на обычных процессорах и обучает глубокие нейронные сети раз быстрее, чем платформы на базе графических процессоров.

«Стоимость обучения – это фактическое узкое место в искусственном интеллекте», – сказал Аншумали Шривастава, доцент кафедры информатики в Rice’s. Браун инженерная школа. «Компании тратят миллионы долларов в неделю только на обучение и настройку своих рабочих нагрузок ИИ».

Шривастава и сотрудники из Райс и Intel представят исследование, направленное на устранение этого узкого места 8 апреля на конференции по системам машинного обучения MLSys .

Глубокие (DNN) – мощная форма которые могут превзойти людей в некоторых задачах. Обучение DNN обычно представляет собой серию , идеальная рабочая нагрузка для обработки графики. единиц (ГП), которые стоят примерно в три раза больше, чем центральные процессоры (ЦП) общего назначения.

«Вся отрасль зациклен на одном улучшении – более быстром умножении матриц », – сказал Шривастава. «Все ищут специализированное оборудование и архитектуры для ускорения матричного умножения. Сейчас люди даже говорят о наличии специализированных аппаратно-программных стеков для определенных видов глубокого обучения. Вместо того, чтобы брать дорогостоящий алгоритм и бросать на него весь мир оптимизации системы, Я говорю: «Давайте вернемся к алгоритму».

Лаборатория Шриваставы сделала это в 2019, переделывая обучение DNN как проблему поиска, которую можно решить с помощью хеш-таблиц. Их «сублинейный движок глубокого обучения» (SLIDE) специально разработан для работы на стандартных процессорах, и Шривастава и его сотрудники из Intel показали, что он может превзойти обучение на базе графического процессора, когда они представил его на MLSys 2020 .

Учеба они представят на этой неделе на MLSys 2021 изучены можно ли улучшить производительность SLIDE с помощью ускорителей векторизации и оптимизации памяти в современных процессорах.

«Ускорение на основе хеш-таблиц уже превосходит GPU , но процессоры также развиваются », – сказал соавтор исследования Шабнам Дагхаги, аспирант Райс. «Мы использовали эти инновации, чтобы продвинуть SLIDE еще дальше, продемонстрировав, что, если вы не зацикливаетесь на умножении матриц, вы можете использовать мощность современных процессоров и обучить модели искусственного интеллекта четырем 15 раз быстрее, чем лучшая специализированная альтернатива аппаратному обеспечению. “

Соавтор исследования Николас Мейсбургер, студент Райса, сказал: «ЦП по-прежнему являются наиболее распространенным оборудованием в вычислительной технике. Нельзя недооценивать преимущества, которые делают их более привлекательными для рабочих нагрузок ИИ».



Цитата : алгоритм ЦП обучает глубокие нейронные сети до 15 раз быстрее, чем лучшие тренеры для графических процессоров (2021, 7 апреля), полученные 8 апреля 2021 с https://techxplore.com/information/2021 – 15 – ris-intel-optimize -ai-product.html

На этот документ распространяется авторское право. За исключением честных сделок с целью частного изучения или исследования, воспроизведение какой-либо части без письменного разрешения запрещено. Контент предоставляется только в информационных целях.