Du couvent Olivetan ancien, qui a eu l'habitude de résider à côté de l'église de Notre Dame delle Grazie, seulement le réfectoire y est resté, décoré au 13ème siècle avec des peintures fraîches splendides de Nicolo Corso. Au cours des années, la partie du couvent a été transformée en appartements résidentiels.
Le monastère a été construit à partir de l'argent donné par Giovanni da Alessandria di Santa Maria di Lucedio, du diocèse Vercelli, qui a quitté les Olivétains pour un art oratoire et une petite maison près de Portovenere. Le monastère n'a pas vraiment été construit jusqu'au 15ème siècle, ce n�est que quand le Pape Eugene IV a donné à Olivetani di Quarto de l'argent pour le faire. Le couvent a été à l'origine construit sur deux étages et la durée a été prolongée. Au 17ème siècle, le monastère se résumait à presque 30 pièces, sans inclure la sacristie et le chœur. Pendant la Révolution française, la partie du monastère a été transformée en une école publique et plus tard, la guerre de Napoléon a vu les moines se jeter tous ensemble depuis le monastère.