Alte erhaltene Flurnamen weisen auf eine sehr frühe Besiedelung der Gemeinde Imsterberg hin. Außerdem lassen Ausgrabungen in Hinterspadegg auf einen Wachtturm der Ritter von Starkenberg schließen. Typisch für Imsterberg, das sich mit Weilern über den nordöstlichen Abhang und der Hauptsiedlung Imsterberg auf einer Hangleiste des Venet erstreckt, sind neben der spätbarocken Kirche zahlreiche umliegende kleinere Kapellen. Die stärkste Siedlungskonzentration bildet heute die Ortschaft Imsterau südlich des Inns. Die Einnahmen der Gemeinde stammen zu einem großen Teil aus der Landwirtschaft, den privaten Brennereien und dem Laufkraftwerk Prutz-Silz.