De ommuurde kasteeltuin is op een kaart uit 1832 te vinden, maar is vermoedelijk ouder. De tuin werd vroeger gebruikt voor het telen van groenten, fruit en snijbloemen. Tegen de noordelijke muur was een druivenkas gebouwd.
Na de Tweede Wereldoorlog is de tuin langzamerhand in verval geraakt.

Periode 1945-1992

In 1993 zijn de muren hersteld en is het tuinhuis gebouwd

In 1994 zijn de paden aangelegd
Begin jaren ’90 zijn plannen ontwikkeld om de tuin te herstellen. De beplanting is gerealiseerd in 1994 en 1995.
De tuin is officieel geopend op 9 september 1995 door Ir. J. C. Boxem, Gedeputeerde Natuur, Bos en Landschap van de provincie Gelderland.
In 1995 is aan Hemmen voor deze kasteeltuin het predikaat “Kern met Pit” toegekend door de Koninklijke Nederlandse Heidemaatschappij.