Лиллехаммер очаровательно провинциален, несмотря на Олимпийский музей и знаменитый трамплин. На трамплине тренируются даже летом – летящие в никуда лыжники обычное в Лиллехаммере явление. Говорят, в этих местах бродил фантазер и бродяга Пер Гюнт – сейчас окрестности городка застроены коттеджами с крышами, покрытыми травой.
Лиллехаммер весь застроен невысокими деревянными домами – в центре города сохранилась застройка девятнадцатого века и аккуратная брусчатка. Улицы сбегают к берегу озера Мьеса – крупнейшему озеру в Норвегии. Летом здесь можно прокатиться на настоящем колесном пароходе.