L'ermitage de San Isidro se situe dans les "champs de Carabanchel", des terres qui appartenaient à Juan de Vargas, le saint patron qui a engagé San Isidro comme "palefrenier" et "laboureur", à proximité de la source que le saint avait miraculeusement fait jaillir pour donner à boire à son maître, source aux vertus curatives selon la tradition populaire.
Nous manquons actuellement de documentation qui certifie la date de construction de la première chapelle, mais nous connaissons les premiers témoignages sur son existence datant de 1499, grâce aux livres des visites ecclésiastiques conservés dans la paroisse de San Andrés.
En 1528, l'impératrice Élisabeth de Portugal, épouse de Charles Quint, profondément reconnaissante de la guérison du monarque et de son fils Philippe, le futur roi Philippe II, après qu’ils aient ingéré l’eau de cette source ordonna la construction d'un nouveau sanctuaire en l'honneur de San Isidro Labrador.
Plus tard, en 1620, Cristobal de Urgel ordonna la construction d'une chapelle près du maître-autel de l’ermitage pour y être enterré avec ses proches, incluant le retable principal, la sacristie et une série d'améliorations.
En 1724, le vice-roi de la Nouvelle Espagne, Balthasar de Zuñiga, ordonna la reconstruction de la chapelle vu l'état de délabrement du bâtiment. Ce petit sanctuaire avec sa coupole hexagonale, recouverte d'ardoise et couronnée par une lanterne subit un incendie en 1936 et l'Archiconfrérie sacramentelle de Saint-Pierre, Saint-André et Saint-Isidore se chargèrent de sa reconstruction entre 1940 et 1941, d’après le modèle de 1724.
Tous les 15 mai, jour du patron de la capitale, San Isidro Labrador, une messe populaire est célébrée sur l'esplanade près de la chapelle, à laquelle assiste chaque année un nombre toujours croissant de personnes. Les Madrilènes commémorent cette fête par un pèlerinage autour du sanctuaire, ils boivent l'eau de la source miraculeuse et mangent aux alentours. La relique est vénérée à cette occasion et divers services liturgiques sont organisés. C’est l'une des fêtes les plus populaires et les plus traditionnelles de Madrid.