Seit dem Hochmittelalter saßen in Haunsheim niedere Adelsgeschlechter. Von 1267 ist der Name „Eberhardus de Hunsseheim" überliefert. Als Besitzer erscheinen ab 1267 die Güsse von Haunsheim und daneben wohl seit 1358 die Häle von Haunsheim.
1442 verkaufte Rudolf Häl Schloss, Dorf und Ried an den Grafen von Helfenstein, von diesem kam Haunsheim an Ritter Lutz von Zipplingen, der das Gut 1474 seinem Neffen Schenk von Schenkenstein vererbte. 1481 kam der Besitz an Gabriel von Harbach. Sein gleichnamiger Sohn erhielt 1518 von Kaiser Maximilian I. für sich und seine männlichen Erben die Befugnis für den ganzen Bezirk seiner freien Herrschaft Haunsheim ein Hoch- und Halsgericht, Stock und Galgen aufzurichten und den Bann über das Blut zu richten. 1545 geht Haunsheim an die Herrschaft an Alexander von Welwart. Bereits 1555 fand der Verkauf an Wolff Caspar von Horkheim statt.
Am 25. Mai 1600 besichtigte Zacharias Geizkofler von Reiffeneck, Reichspfennigmeister, das Schloss und kaufte es für 90.000 fl. Als protestantischer Herr führte er 1603 die Reformation durch. Haunsheim blieb eine protestantische Enklave im rekatholisierten Herzogtum Neuburg bis zur Gegenwart. 1603 wurde mit dem Neubau des Schlosses begonnen, nachdem die Burg abgebrochen wurde. Es entstand eine Vierflügelanlage, die Flügel hatten unterschiedliche Höhen, Giebel und Dächer. 1603 gründet Geizkofler eine Schule in Haunsheim, baut 1605 die Schmiede. Haunsheim erhält das Gemeindewappen und 1608/09 wird die Dreifaltigkeitskirche gebaut.
1667 folgten als Besitzer die Freiherrn von Racknitz. 1823 erwarben die Freiherrn von Süßkind das Gut. Nach einem Brand 1828 wurden die baufälligen Süd- und Westflügel um 1840 abgebrochen. Amalie Freifrau vom Holtz erbte von ihrem Vater die reichsfreie Herrschaft Haunsheim und begann mit dem Umbau des Schlosses, die verbliebenen Teile wurden neugotisch mit Zinnen und Erkern dekoriert. 1864 erwarb die Herrschaft Franz Carl von Hauch, er wurde 1876 in den Freiherrenstand erhoben. Seither ist das Schloss in Familienbesitz.