Брат инженера и архитектора Ивана Рерберга. Брал уроки рисования у В.С. Розанова, учился в ИАХ на архитектурном, затем на живописном отделении у П.П. Чистякова, П.М. Шамшина, Б.П. Виллевальде, К.Б. Венига, В.П. Верещагина, В.И. Якоби. Пользовался советами И.Е. Репина. В 1886 и 1887 награжден серебряными медалями, получил звание неклассного художника (1892). Совершил поездки на Кавказ (1888), в Крым (1889), по Волге (1890, 1913), в Германию, Австрию, Францию (1899), Италию (1911, 1914). Акварелист, живописец, автор пейзажей и жанровых картин. Участник «Московского салона», МОЛХ, МТХ (член-учредитель). Экспонент выставок ТПХВ, Всемирной выставки в Сент-Луисе (1904), Международных в Нью-Йорке (1905), Риме (1911), Четвертой государственной (1919), Первой государственной передвижной (1925) и др. С 1891 давал частные уроки, в 1906 открыл собственное училище: помимо занятий по рисунку и живописи читал лекции по истории искусства; в 1929 училище преобразовано в Государственные курсы живописи и рисунка Бауманского отдела народного образования. Преподавал в техникуме ОГИЗа, МТИ, на курсах «Всекохудожника». Среди учеников – А.Ф. Софронова, В.М. Ходасевич, И.Ф. Рерберг и др. В 1917–1918 входил в Комиссию по охране памятников искусства и старины, в Художественный совет ГИМ; организовывал Первый пролетарский музей (1918); заведовал художественной частью Музея труда (с 1920). С 1927 главный консультант завода художественных красок «Красный художник». Мемуарист, автор учебников по технике и технологии живописи и графики, пособий по истории искусства. Заслуженный деятель искусств РСФСР (1935). Сын – художник книги Иван Рерберг. Работы хранятся в ГТГ, ГРМ, ГМИИ им. А.С. Пушкина, ГИМ и др.