Situato sulla sponda destra del Tevere di fronte al pons Aelius (attuale ponte Sant'Angelo), a poca distanza dal Vaticano, tra il rione di Borgo e quello di Prati; è collegato allo Stato del Vaticano attraverso il corridoio fortificato del "passetto". Il castello è stato radicalmente modificato più volte in epoca medievale e rinascimentale.