Het kostte bijna 60 jaar, maar in 1709 werd het Karmelklooster eindelijk voltooid. Het initiatief voor het klooster lag bij Albert van den Bergh, Heer van Boxmeer van 1627 tot 1656. Na de Tachtigjarige Oorlog was het voor Albert namelijk moeilijk om zijn gezag in Boxmeer te handhaven. De onafhankelijke Heerlijkheid Boxmeer bevond zich tussen twee vuren: de katholieke Spaanse Zuidelijke Nederlanden en de protestantse Republiek der Verenigde Nederlanden. Om zijn gezag te versterken stichtte Albert een klooster. Albert en zijn vrouw waren bevriend met een grote groep karmelieten. Deze karmelieten wilden graag uitbreiden en gingen snel akkoord met de bouw van een nieuw klooster in Boxmeer. Graaf Albert schonk de karmelieten in een akte van 20 november 1652 twee morgen (oude Europese oppervlaktemaat, meestal iets minder dan een hectare) land. Hierdoor werden de protestantse predikanten en priesters, die na de Reformatie de overhand gekregen hadden, verdreven uit Boxmeer. Op 14 augustus 1653 gaf bisschop Andreas Creusen toestemming voor de bouw van het klooster in de Heerlijkheid Boxmeer.

Het klooster is vandaag de dag nog steeds te bewonderen aan de Steenstraat in Boxmeer. Aan de straatkant ziet het klooster er vrij gewoontjes uit. Dit hebben de karmelieten zo ontworpen omdat hun leven in dienst van God erg sober en inwaarts gericht was. Niet zichtbaar voor leken, echter, was de pracht en praal van de binnenkant. De tuinkant van het klooster ziet er namelijk zeer fraai uit. Daarnaast zijn er in de pandgang van het klooster prachtige gebrandschilderde ramen te zien, waarvan de oudste rond 1655 geplaatst zijn. De ramen zijn gemaakt door Abraham van Diepenbeke. Hij heeft ook glas-in-lood ramen voor de kathedraal van Antwerpen gemaakt. De Boxmeerse ramen portretteren de traditie en geschiedenis van de karmel. Zeker het bezichtigen waard!