El convent va ser edificat fora de la muralla l’any 1364, a pocs metres del portal Agoders i del carrer de Falcó. Va ser fundat gràcies al prior de la casa carmelitana de Manresa, que va aconseguir els vistiplau del papa Urbà V, del rei Pere III i de la mateixa vila. Al seu interior, s’hi veneraven relíquies de la Vera Creu.

L’edifici ha estat objecte de diverses reformes, entre les quals destaca la realitzada als segles XVII y XVIII, quan es va construir l’actual claustre, d’estil renaixentista. L’última reforma data de 1961.