Die Anfänge des Schlosses gehen bis ins 15. zurück.  Es wurde um 1488 erbaut und kam 1523 in den Besitz der Reichsfreiherren von FreybergEisenberg. 
1860 renovierte Rudolf von Freyberg-Eisenberg  den alten Bau und gab ihm, dem Zeitgeschmack entsprechend, sein heutiges neugotisches Aussehen. Es diente der Familie bis zum Ende des zweiten Weltkrieges als Wohnsitz. 1945 besetzte die US-Army das Schloss. Doch schon bald danach wurde es bis 1950 als Heim für heimatvertriebene Kriegsversehrte genutzt.  Schließlich wurde es in  den Jahren 1983 bis 1984 durch Georg Freiherr von Freyberg erneut renoviert.