Navnet Hjertebjerggård optræder første gang i Tølløse Lokalarkiv i året 1887. Senere, omkring 1910, nævnes et par ved navn Karla og Rasmus som ejere af gården. Gården lå oprindeligt i byzonen i Tølløse, og gennem årene havde den forskellige ejere, herunder Knud Olsen, som i en længere årrække ejede stedet.

Efter en brand blev den oprindelige gård sat til salg med henblik på nedrivning, og området blev senere bebygget med rækkehuse – det område, der i dag kendes som Hjertebjergparken. Det gamle stuehus eksisterer stadig og ligger i dag midt mellem rækkehusene. Det har siden skiftet fra det oprindelige skråtag til tegltag og er i dag opdelt i lejligheder.

Knud Olsen satte i forbindelse med salget omkring 30 hektar jord til salg – med den klausul, at der skulle opføres et nyt stuehus og tilhørende lade på en af de ubebyggede marker.

I 1989 blev jorden købt af nuværende ejer, Claus Skovgård Jørgensen, som opførte en ny gård med stuehus og lade og navngav stedet “Ny Hjertebjerggård”. Efter en større ombygning og tilbygning i perioden 2006–2008 blev navnet forenklet til det oprindelige: Hjertebjerggård.