Convent of San Francesco de la Vigna, Castello