San Francesco della Vigna, Castello