Abandonado por los hermanos, que partieron a proclamar la buena nueva a Canadá, el convento se convierte en 1802 en un hospicio para desahuciados.

En 1862 se convierte en el hospital militar st Martin, y en 1913 en el hospital Jean Antoine de Villemin.
En 1980 acoge una unidad de la escuela de arquitectura de Paris-Villemin.

De 1990 a 1996, el squat de artistas denominado “los ángeles de los recoletos” da una nueva dimensión al lugar. Apoyados por un colectivo de asociaciones y de habitantes del barrio, estos artistas ya predican la aproximación entre el arte y la ciencia.
Un incendio pone fin a su ocupación y el ministerio de urbanismo lanza más tarde una licitación para el futuro del edificio.

Desfigurado por las necesidades del plan local de urbanismo y el desarrollo de la estación del Gare de l’Est, además de los estragos previos de las dos guerras mundiales, finalmente la RIVP lo hereda a través de un arrendamiento enfitéutico en marzo de 2001.

El proyecto de una residencia internacional con vocación cultural se lleva la palma frente a otros proyectos puramente comerciales. Este proyecto respondía, más que otros, a las expectativas de las asociaciones de vecinos, movilizadas para proteger el edificio y su vocación. Evitaba así la amenaza de destrucción de este patrimonio, tan sumamente socorrido por el arquitecto Frédéric Vincendon para el gabinete de arquitectura Reichen et Robert. El proyecto de residencia se completó con la rehabilitación de espacios culturales para proporcionar la homogeneidad entre el centro y el barrio.

Estos espacios se encomendaron al consejo del colegio de arquitectos de Ile de France que, gracias a su colaboración con la Maison de l’Architecture, podía dar una nueva vida a la antigua capilla de los recoletos.

El centro internacional de acogida e intercambios de Les Récollets abrió sus puertas en julio de 2003, conservando el rastro de los siglos.