Все 58 777 квадратных метров культурного центра Конде-Дуке посвящены культуре. Кроме нескольких выставочных залов в Конде-Дуке имеются концертный и театральный залы, где проходят различные спектакли и концерты. Здесь также размещается архив Мадрида, Историческая библиотека, муниципальный отдел периодики и электронная библиотека «Память Мадрида».
Современный культурный центр скрывается за величественным фасадом розового цвета, за которым начиная с XVIII века размещалась военная казарма, заложенная в 1717 году королем Филиппом V, основателем испанской линии Бурбонов. Казарма Королевской гвардии была завершена в 1730 году и является последним крупным образцом мадридской архитектуры до внедрения итальянского архитектурного стиля, который стал преобладать с момента постройки королевского дворца. В 1976 году здание обрело статус художественно-исторического памятника, что спасло его от сноса. В 1983 году Конде Дуке стал культурный центром, который подчиняется Городскому совету Мадрида. Благодаря комплексному ремонту согласно Генеральному плану, утверждённому в 2005 году и воплощённому в жизнь в 2011 году, были отреставрированы внешние и внутренние фасады: зданию были возвращены отделка облицовочным кирпичом, оригинальные размеры оконных проёмов и исчезнувший ранее цокольный этаж.
Казарма стала именоваться «казармой Конде-Дуке» по названию испанских дворянских титулов в честь аристократа графа Лемос и герцога Берик и Лирия (1718–1785). Он происходил от королей Великобритании и был женат на дочери герцога Альба, семейство которого сохраняло право собственности на эти земли вплоть до 1943 года. Страшный пожар 1869 года значительно повредил здание. Но его реставрация началась только в 1969 году, когда бывшие казармы перешли во владение мэрии Мадрида.
Один из главных культурных центров Мадрида
Конде Дуке – один из трёх главных городских культурных центров, находящихся в ведении Отдела по вопросам искусства, спорта и туризма Городского совета Мадрида, наряду с Матадеро Мадрид и СентроСентро.
В здании расположены различные учреждения, подчиняющиеся Главному управлению библиотек, архивов и музеев, Главному управлению по культурному наследию и городскому пейзажу и государственной компании Madrid Destino. Эти два отдела и государственная компания непосредственно руководят деятельностью центра, каждый – в своей специализированной отрасли.
Выше упомянутые Главные управления управляют такими площадками и учреждениями как Северный дворик, Городской архив, Муниципальная гемеротека, Выставочные залы, Музей современного искусства Мадрида и четырьмя библиотеками: Общественной библиотекой им. Бенито Переса Гальдоса, Муниципальной исторической библиотекой, Музыкальной библиотекой им. Виктора Эспиноса и Цифровой библиотекой Мадрида.
В управлении Центра современной культуры Конде Дуке (являющемся частью государственной компании Madrid Destino) находятся, помимо прочего, следующие площадки: Театр, Актовый зал, Концертный зал, Репетиционные залы, Купольный зал, Торреон, Многофункциональный зал, Южный и Центральный дворики.