Pierre d'Assezat, riche commercant toulousain a commande cet hotel particulier a Nicolas Bachelier en 1555. il avait fait fortune dans le pastel, plante cultivee pour la coloration des etoffes en bleu et exportee vers l'etranger. Comme beaucoup de pasteliers, Pierre d'Assezat fut capitoul, c'est-a-dire officier municipal de Toulouse entre 1552 et 1561.
Les facades entourant une cour interieure sont composees de trois etages representant les trois ordres architecturaux : dorique, ionique et corinthien.
Pierre d'Assezat meurt ruine dans son hotel encore en construction en 1581. Le pastel n'a pas tenu face a la concurrence de l'indigo. L'hotel resta dans la famille jusqu'en 1761.
De nos jours, l'hotel appartient a la ville et accueille les societes savantes toulousaines ainsi que la fondation Bemberg, riche amateur d'art venezuelien.