Il comune di Kolsassberg occupa il versante occidentale della Valle di Kolsass. Gli insediamenti si estendono sul pendio poco sopra l´agglomerato di Kolsass e raggiungono passando per gradini boschivi e pascoli le vette delle Prealpi di Tux. Nel 1972 dopo la costruzione della chiesa è sorto attorno ad essa un piccolo e compatto nucleo insediativo. In questo paesaggio prevalentemente agricolo solo negli ultimi decenni è iniziata l´attività edilizia, collegata alle industrie della Bassa Valle dell´Inn e soprattutto a Wattens. Il contrassegno architettonico del comune è la rovina dell´imponente castello di Rettenberg, che nel medioevo fu sede del giudizio.