Метод обучения нейронной сети непосредственно в памяти

Метод обучения нейронной сети непосредственно в памяти

Инновационный подход предложен инженерами Калифорнийского университета Сан-Диего к проектированию аппаратного и программного обеспечения. Так называемый нейронноподобный метод обещает сделать обучение нейронной сети энергоэффективным и быстрым. Проект предполагает возможным обучение нейронных сетей на устройствах с низким энергопотреблением — смартфонах, ноутбуках и аналогичных устройствах. Публикация об инновации появилась на страницах «Nature Communications».

Аспекты обучения нейронной сети

Обучение нейронным сетям для выполнения таких задач, как распознавание объектов, навигация автомобилей без водителей, отнимает массу вычислительных ресурсов и времени. Мощные компьютеры, где сотни или тысячи процессоров, обычно требуются для постановки таких задач, а время обучения занимает периоды от нескольких недель до месяцев.

Обусловлено это выполнением вычислений, сопровождающихся передачей данных циклично между двумя отдельными блоками — памятью и процессором. Такой процесс потребляет значительное количество энергии и времени пока выполняется обучение нейронной сети.

Чтобы решить эту проблему, несколько групп учёных объединились на базе «Adesto Technologies» для разработки аппаратного обеспечения и алгоритмов, которые позволяют выполнять вычисления непосредственно в блоке памяти, устраняя необходимость многократного перемещения данных.

Аппаратный компонент представлен энергосберегающим типом энергонезависимой памяти — массивом «Conductive Bridging RAM (CBRAM)» с субквантовым объемом 512 килобит. Массив потребляет в 10-100 раз меньше энергии, чем модули, изготовленные по современным технологиям.

Синаптическое устройство памяти

Устройство основано на технологии «Adesto CBRAM» — где предполагалось к использованию в качестве цифрового запоминающего устройства, переходящего только в состояния «0» и «1».

Но учёные продемонстрировали возможности модификации, запрограммировав массив на несколько аналоговых состояний, позволяющих эмулировать биологические синапсы мозга человека. Это так называемое синаптическое устройство допустимо использовать для выполнения вычислений в памяти при обучении нейронной сети.

Объём встроенной памяти обычных процессоров крайне ограничен. Поэтому недостаточно ёмкости для выполнения вычислений и хранения данных на одном и том же чипе. Инновационным подходом учёные создали массив памяти большой ёмкости, которому доступно выполнять вычисления, связанные с нейронной архитектурой.

Так удалось организовать сетевое обучение без передачи данных на внешний процессор. Метод позволит существенно поднять производительность и снизить энергопотребление в процессе обучения.


При помощи информации: UniversityOfCalifornia