En 1669, l'eveque de Castres, monseigneur Michel de Tuboeuf fait construire un palais episcopal a Castres. Il confie le projet a Mansart.
Le palais est inaugure en 1673. De nos jours, il abrite l'hotel de ville et le musee Goya consacre a la peinture espagnole.
A cette epoque, il etait flanque d'un petit jardin en pente s'etendant jusqu'a la muraille fortifiee.
En 1676, l'eveque fait demolir les remparts et combler le fosse. Une nouvelle muraille est construite plus loin.
Le remblaiement ne sera acheve qu'en 1696, bien apres la mort de Monseigneur de Tuboeuf.
Le jardin sera acheve en 1700 et presente le meme aspect qu'il a de nos jours. C'est Le Notre qui en dessine les plans, tirant parti de sa forme irreguliere. Il cree des parterres de broderie et un splendide point d'eau.
En 1800, on le ceint d'un mur de pierre qui sera abattu sous Napoleon. Le jardin devient alors public.
Au 20eme siecle, le jardin connaitra quelques amenagements : l'ancien kiosque a musique est enleve en 1910 et, en 1963, le bassin central accueille une fontaine.