Когда отключать использование bias?
По умолчанию, смещение (рус. bias) включено для всех слоев в Keras. Данный коэффициент является обучаемым и позволяет смещать значения функции активации относительно входных значений. Его можно отключить в большинстве слоев выставив опциональное значение use_bias=False.
Мы рекомендуем всегда оставлять смещение включенным, так как для всех глубоких нейронных сетей оно позволяет добиться большей точности, а для однослойного полносвязанного слоя его отключение вообще не позволяет решить некоторые задачи.
Тем не менее, мы рекомендуем отключать bias если вы учите нейронную сеть на какую-то аналитическую функцию или преобразование, которое явным образом не должно содержать смещение. Например: преобразование Фурье, инверсия входных значений, поэлементное взятие модуля от входных значений.
Last updated
