Первое летописное упоминание о Каменце относится к 1276 году. Уже в 1366 году город входит в состав Великого княжества Литовского. В городе сохранилась уникальная оборонно-сторожевая башня, зачастую ошибочно именуемая Белой Вежей. Башня была построена «градорубом» Алексой по приказу Волынского князя Владимира Васильковича в период между 1276 и 1288 годами как центральное укрепление деревянной крепости. Сейчас в башне расположен филиал Брестского историко-краеведческого музея.