Учился в МХПУ им. М.И. Калинина (1951–1957), на отделении графики МПИ (1957–1962), непродолжительное время занимался у П.Д. Корина. С 1963 года иллюстрировал произведения своей первой жены, Ирины Пивоваровой. В 1964-м начал работать в издательстве «Детская литература», где познакомился с поэтами Лианозовской школы Игорем Холиным и Генрихом Сапгиром. Сотрудничал с журналами «Знание — сила», «Мурзилка». Автор логотипа журнала «Веселые картинки» (1979). В 1967 году создал серию монотипий «Искушение Св. Антония», начал систематически работать в различных графических техниках, а затем и в живописи. Представитель неформального объединения «Сретенский бульвар». В 1970-е разрабатывал (вместе с Ильей Кабаковым) жанр концептуального альбома. Живописные и графические произведения художника наполнены символизмом и метафорами; они представляют собой своего рода ребусы, построенные на сочетании образа и слова, часто содержат визуальные цитаты из искусства различных эпох. Экспонент выставки «Новое советское искусство: неофициальная перспектива» на биеннале в Венеции (1977). В 1979 году участвовал в своей первой и единственной выставке в СССР «Цвет, форма, пространство» (Малая Грузинская, Горком графиков); следующая выставка в Москве состоялась в 1993-м. В 1982 году эмигрировал в Чехословакию, поселился в Праге. В 1989-м в Высочанах (Прага) состоялась первая масштабная ретроспективная выставка художника. В 1991-м Виктор Пивоваров, его жена искусствовед Милена Савицка, Андриена Шимотова и Вацлав Стратил выиграли конкурс на художественное руководство одним из пражских выставочных залов СХ и непродолжительное время занимались галереей, получившей название «Пи-Пи-Арт» (Prague Project for the Art), где было проведено шесть выставок. Был связан с деятельностью журнала по современному искусству «Výtvarné umění», в 1990–1997 годах неофициально был главным художником журнала. Автор книг «Влюбленный агент» (2001), «Серые тетради» (2002), «О любви слова и изображения» (2004), «Утка, стоящая на одной ноге на берегу философии» (совм. с О. Серебряной, 2014). Лауреат премии «Инновация» за вклад в развитие современного искусства (2017). Сын — художник Павел Пепперштейн. Работы хранятся в ГТГ, ГРМ, ГМИИ им. А.С. Пушкина, Центре Жоржа Помпиду, галерее «Тейт» и др.