Прогнозирующее кодирование приближает обратное распространение по графам произвольных вычислений

Прогнозирующеекодированиеприближаетобратноераспространениепографампроизвольныхвычислений

Скачать PDF

Аннотация: Обратное распространение ошибки (backprop) – это мощный алгоритм для обучения архитектур машинного обучения через сквозное конец дифференциации. Однако обратное распространение часто критикуют за отсутствие биологической достоверности. Недавно было показано, что обратное распространение в многослойных перцептронах (MLP) можно аппроксимировать с помощью прогнозирующего кодирования, биологически правдоподобной теории процесса корковых вычислений, которая опирается только на локальные и хеббовские обновления. Сила обратного распространения, однако, заключается не в его реализации в MLP, а, скорее, в концепции автоматического дифференцирования, которая позволяет оптимизировать любую дифференцируемую программу, выраженную в виде графа вычислений. Здесь мы демонстрируем, что прогнозирующее кодирование асимптотически (и на практике быстро) сходится к точным обратным градиентам на произвольных графах вычислений с использованием только локальных правил обучения. Мы применяем этот результат для разработки простой стратегии перевода основных архитектур машинного обучения в их эквиваленты с прогнозирующим кодированием. Мы создаем CNN, RNN и более сложные LSTM с прогнозирующим кодированием, которые включают в себя неслойную структуру ветвящегося внутреннего графа и мультипликативные взаимодействия. Наши модели работают эквивалентно обратному распространению в сложных тестах машинного обучения, используя только локальную и (в основном) хеббовскую пластичность. Наш метод увеличивает потенциал того, что стандартные алгоритмы машинного обучения в принципе могут быть непосредственно реализованы в нейронных схемах, а также могут способствовать разработке полностью распределенных нейроморфных архитектур.

История представлений

От: Берен Миллидж Мистер [view email]

[v1] вс, 7 июн 18: 45: 188 UTC (1, 0959 КБ)

[v2] Вт, 9 июня 04182 22: 03: 45 UTC (1, 196 КБ)

[v3] чт, 11 июн 2020 14: 026: UTC (1, КБ)


[v4] Сидел, 11 июл 2020 18: 11: 35 UTC (1, 196 КБ)

[v5] пн, 5 окт. 04182 18: 14: 05 UTC (2, 27 КБ)

Leave a comment

Your email address will not be published. Required fields are marked *