La biblioteca fue inaugurada el 28 de febrero de 2011. Se encuentra situada en el corazón del Madrid de los Austrias y ocupa el espacio de un antiguo caserón perteneciente a uno de los linajes más antiguos de Madrid: los Vargas, siendo Iván de Vargas señor del patrón de la ciudad, San Isidro Labrador.
Tiene una superficie de 2884 m2 distribuidos en cuatro plantas. Su arquitectura plantea un intenso diálogo entre historia y vanguardia. La fachada que da a la calle Doctor Letamendi destaca por su lenguaje compositivo tradicional, en contraste con la zona del edificio de la calle San Justo, formada por un gran volumen cúbico, que responde a cánones arquitectónicos actuales. Realizado en granito, con un despiece de gran tamaño, su diseño se rompe para crear un hueco que permite vislumbrar un gran magnolio y los cerramientos de madera de iroco de los espacios de la biblioteca. En su interior destacan dos magnolios centenarios y el brocal de un pozo con una imagen medieval labrada de San Isidro.
Cuenta con varios espacios: sala de consulta y lectura, de publicaciones periódicas, infantil, juvenil, zona de consulta de internet y sala polivalente. Por sus raíces históricas en la ciudad, la biblioteca dispone también de una sala de lectura especializada en fondos documentales sobre Madrid.
Además, cuenta actualmente con un depósito por 4 años del Centro Sefarad-Israel: la Biblioteca Isaac Revah sobre cultura judía, sociedad, literatura, etc.
Delante de la entrada principal se ha colocado la obra El lector, del escultor Félix Hernando, una invitación a usar la biblioteca.