Caspar Herman Hausmann
Da generalløytnant Caspar Herman Hausmann (1653-1718) etablerte Eidsfos Jernverk i 1697, bodde han i sin store bygård i Tollbodgaten i Christiania med sin hustru, Karen Toller. Sommeren tilbragte de gjerne i sin lystgård i det gamle Oslo, i dag Oslo ladegård. De oppholdt seg på Eidsfoss i perioder, og bodde ikke fast her.
Gården Eid ble nedlagt som gårdsbruk da verket ble anlagt, men fungerte trolig som bolig for Hausmanns når de var på besøk, og i perioder trolig for jernverkets forvalter. Eid gårds nøyaktige plassering er ikke stadfestet, men dobbeltalleen ned til Bergsvann var kanskje allerede anlagt før Caspar Herman Hausmanns tid, noe som gir en indikasjon på at det opprinnelige anlegget lå der nåværende hovedhus er plassert.
Frederik Ferdinand Hausmann
Hausmanns sønn, Frederik Ferdinand Hausmann (Husmann) overtok jernverket etter morens død i 1742. Han rev det eldre hovedhuset og oppførte et nytt anlegg med en enetasjes hovedbygning med ni værelser og mange vinduer. Antallet vinduer viste til byggherrens stilling og stand – jo flere vinduer jo høyere posisjon.
Da han solgte verket i 1753 ble hovedhuset omtalt som nytt. Det indikerer at bygningen ble oppført ca. 1750.
Bartholomæus Rasch
I 1774 satt Bartholomæus Raschs om eneeier over Eidsfos jernverk. Ni år senere, i 1783, måtte han selge verket på auksjon. I mellomtiden hadde Rasch bygget på hovedhuset, som ved auksjonen ble beskrevet som en stor toetasjes bygning med femten værelser. Annen etasje ble noe inntrukket på begge langsidene, noe som gir bygningen det karakteristiske takutspringet som gjerne blir beskrevet som seteritak.
Peder von Cappelen
Da drammenskjøpmannen og trelasteier Peder von Cappelen kjøpte Eidsfos jernverk i 1795 sto kanskje huset med en upanelt annen etasje, som til forskjell fra første etasjes tømmerkonstruksjon, er utført i utmurt bindingsverk.
Med panelt første etasje og annen etasje i bindingsverk , skriver forfatterinnen Mor Koren i 1808 at bygningen « … seer saa dansk ud, ret som en af de ældre Herregaarde i Lolland. Det er ogsaa een gammel, aldeles ikke smuk, men meget tækkelig og bequem Bygning.» Etterhvert fikk hele huset panelte fasader.
Familien Schwartz
Fra 1870-årene ble familien Schwartz eiere og senere deleiere i jernverket, med Hovedgården som deres bolig frem til 1987. Under deres eierskap ble den lille sidepaviljongen påbygd i 1912, etter at nordre sidebygning brant ned i 1910. I løpet av siste halvdel av 1900-tallet ble Eidsfos Hovedgårds panelte eksteriører malt lys grå med hvitmalte vindusgerikter, og taket tekket med sorte takstein.