Du couvent Olivetan ancien, qui a eu l'habitude de résider à côté de l'église de Notre Dame delle Grazie, seulement le réfectoire y est resté, décoré au 13ème siècle avec des peintures fraîches splendides de Nicolo Corso. Au cours des années, la partie du couvent a été transformée en appartements résidentiels.
Le monastère a été construit à partir de l'argent donné par Giovanni da Alessandria di Santa Maria di Lucedio, du diocèse Vercelli, qui a quitté les Olivétains pour un art oratoire et une petite maison près de Portovenere. Le monastère n'a pas vraiment été construit jusqu'au 15ème siècle, ce n’est que quand le Pape Eugene IV a donné à Olivetani di Quarto de l'argent pour le faire. Le couvent a été à l'origine construit sur deux étages et la durée a été prolongée. Au 17ème siècle, le monastère se résumait à presque 30 pièces, sans inclure la sacristie et le chœur. Pendant la Révolution française, la partie du monastère a été transformée en une école publique et plus tard, la guerre de Napoléon a vu les moines se jeter tous ensemble depuis le monastère.