Em seus primeiros anos de ocupação, o Morro do Castelo foi fortificado para abrigar os colonos portugueses e resistir a qualquer tentativa de revide por parte dos franceses e dos tupinambás (tamoios) que haviam sido derrotados e expulsos da cidade.
Cercado de muros e baluartes cheios de artilharia, seguia a forma portuguesa da cidade-castelo. No interior dos muros, a Casa da Câmara, a cadeia, os armazéns reais, a igreja de Santo Inácio dos Jesuítas, junto ao Colégio da Companhia de Jesus e à Sé de três naves.
No sopé do morro, no Pontal de Santiago (depois Ponta do Calabouço), foi erguido o Forte de São Tiago e no topo ficava o Forte de São Sebastião. Estava definida assim a cidade de São Sebastião do Rio de Janeiro, com área ocupada de 180 mil metros quadrados.
Na imagem acima vemos o (1) Forte de São Tiago (na ponta do Calabouço), (2) Santa Casa de Misericórdia (Rua Santa Luzia), (3) Igreja de Nossa Senhora do Bonsucesso (da Misericórdia) (6) Igreja de Santo Inácio e Colégio dos Jesuítas (Observe, saindo à direita, a ladeira do Colégio), (7) Fortaleza de São Sebastião, (8) Convento de Santa Teresa, (9) Igreja de São José, (11) Palácio dos Governadores (Paço Imperial), (12) Convento do Carmo (extrema direita da imagem); (13) Praça XV de Novembro.