Die ältesten Teile des Schlosses wurden um 1550 von dem aus Kärnten stammenden Georg von Keutschach errichtet. Dieser ließ hier einen Wohnturm erbauen, der mit seinen Schießscharten und einer Spitzbogentür in der Südostecke des Schlosses noch erhalten geblieben ist.
Die nächsten Besitzer waren ab 1581 die Schneeweiß aus Arnoldstein. 1651 erwarb Graf Ferdinand Fieger von Friedberg, ein Schwager des letzten Schneeweiß, das Schloss.
Zwischen 1695 und 1702 ließen die Fieger das Schloss in ein Barockschloss umgestalten und gaben den Gebäude seine heutige Form. Das Schloss besteht 4 dreistöckigen Flügeln, die einen Innenhof umschließen. Die Sonnenuhr stammt aus dem Jahre 1781. Eine Besonderheit sind die Wasserspeier, die Drachenköpfe darstellen.
Als im Jahr 1802 Johann Nepomuk Fieger als letzter männlicher Nachkomme seiner Familie starb, erbten seine beiden Töchter das Schloss. Bis 1806 verwalten sie das Schloss gemeinsam. 1807 übernahm die Enkelin Maria Antonia den Besitz. Sie war mit Graf von Dönhoff verheiratet.
Innerhalb der Schlossmauer werden 1811 als Gebäude angeführt: gemauerte Stallung, Wohnhaus, Werkstätte, gemauertes Treibhaus und Hühnerhaus, Sommerhaus wo die Grafen Fieger ihren Schießstand hatten. 1838 starb Graf Dönhoff.
Später erwarb Graf Ludwig Sternberg das Schloss Fügen. Seit 1899 steht es leer. Graf Sternberg war 1. Vorsitzender vom Veteranenverein Zillertal ( 5. September 1885 ).
Sternberg`schen Schloss zu Fügen 11.05.1878
Veteranenverein Zillertal 1. Generalversammlung 5.09.1885
4.07.1889 Sommerfrische im Schloss
1926 erwarb Pater Franz Josef Kramer das Schloss.
Schlossgarten_südlich 1934
Schloss_Bienenhaus_1934
Schlossgarten_1933
Schloss_Fügen_1933
Schloss_Schlafzimmer_1937
