Die nördlich von Lienz am flachen Abhang des Zettersfeldes sich ausdehnende Kleingemeinde besteht aus dörflichen Siedlungen, Weilern und Einzelhöfen, geprägt von der Hofform des Paarhofes. Von dem früher in große Höhen reichenden Acker- und Obstbau sind nur mehr Reste vorhanden. Hauptdorf und Gemeindezentrum ist das kleine Haufendorf Grafendorf mit seiner Pfarrkirche. Zwar zu Gaimberg gehörig ist die im Südosten entstandene Wartschensiedlung mit der Nachbargemeinde Nußdorf-Debant zusammengewachsen und kirchlich wie schulisch mit dieser verbunden. Die Talstation der Zettersfeldseilbahn und ebenso ein Großteil des gleichnamigen Schigebietes liegen auf Gemeindeboden von Gaimberg. Die ehemals rein bäuerliche Gemeinde entwickelt sich zunehmend zu einer begehrten Wohngemeinde.