Als einer der ältesten Orte im Außerfern schmiegt sich Lermoos an den westlichen Rand des gleichnamigen Beckens. Weiter entlang der Straße Richtung Zwischentoren ist Lermoos mit dem früheren Weiler Gries zusammen gewachsen. Nördlich davon schließen die beiden Weiler Ober- und Untergarten an. Seinen Aufschwung verdankt Lermoos der Lage an der Straße zum Fernpass. Bereits 1318 erfolgte die Errichtung eines Salzstadels, seit 1500 war es wichtige Rodstation und Warenumschlagplatz. Nach dem zweiten Weltkrieg gelang allmählich der Aufstieg zum wichtigsten (Winter-)Tourismusort im Außerfern, begleitet von den entsprechenden Auswirkungen auf das Siedlungsbild. Das Ortsbild beherrscht die weithin sichtbare stattliche barocke Pfarrkirche.