Ponte dei Greci on Rio dei Greci, Castello