Les capacités défensives des Baux en font depuis toujours un site attrayant pour l’habitat humain. Des traces de vie ont été retrouvées et datées de -6000 avant J.C. La place fut utilisée par les Celtes comme un fort ou un oppidum autour du IIe siècle av. J.-C. Au Moyen Âge, il devint la place forte d’un domaine féodal contrôlant 79 villes et villages des alentours. La forteresse fut construite du XIe au XIIIe siècle, sur une vaste étendue de sept hectares. Les princes de Baux contrôlèrent la Provence pendant de nombreuses années et y gagnèrent une forte réputation. La forteresse a connu une histoire militaire mouvementée et fit l’objet de nombreux assauts.

Le solide donjon qui domine encore aujourd’hui rappelle l’importance de ce château, objet de toutes les convoitises, lors de l’époque médiévale. En 1632, le Cardinal de Richelieu ordonna que le château soit rasé. Ses occupants avaient acquis une telle puissance qu’ils convoitaient la Couronne de France.