На месте первой, деревянной, Рождественской церкви в 1467 году был построен белокаменный Рождественский собор.
Через 117 лет, в 1586 году собор был почти полностью разобран, и на его месте по воле царя Федора Ивановича cтроительством Поваренной, Оружейной и Георгиевской башен монастыря руководил знаменитый архитектор Феодор Конь.
В XVI века монастырь был окружён каменными стенами и укреплениями; обитель превратилась в сильную пограничную крепость. В это время строится и каменная трапезная с храмом во имя Рождества Христова. В 1523 году была построена звонница, которая в 1688 году заменена колокольней.
В 1610 году монастырь был сожжен поляками.
Монастырь был передан Православной Церкви и вновь открыт в марте 1991 года. В Рождественском соборе хранятся мощи основателя обители — преподобного Пафнутия Боровского.
