L'origine del Santuario e del pellegrinaggio a Chlum Svaté Marí, è legata a una leggenda che racconta di una piccola statua in stile gotico della Madonna seduta in trono che tiene nella mano destra una mela e con la mano sinistra sorregge il Bambino Gesù, scoperta nel 1341 da un giovane artigiano. Portata in luoghi diversi, la statua è stata ritrovata sempre sul posto originale. L'artigiano, perciò, costruì una piccola cappella di legno per proteggerla. Intorno al 1400, al posto della cappellina fu costruita una prima chiesa, anch'essa in legno e soltanto dopo che essa nel 1429 fu incendiata dagli Ussiti, venne edificata una chiesa in muratura. Negli anni 1687-1728, fu ampliata e ristrutturata secondo i piani di Christoph Dientzenhofer, l'ampia area barocca del Santuario e del monastero adiacente. Chlum Svaté Maøí è stato uno dei santuari più visitati del paese nel XVIII secolo.  A causa dell'avvento del comunismo, a partire dal 1948 il pellegrinaggio si ridusse notevolmente, ma finito quel periodo storico, è ripreso notevolmente.