A irregularidade da cidade erguida no Morro do Castelo contrastava com a regularidade daquela que começava a se formar na várzea, com demarcação e ruas de trinta palmos. A cidade descia as ladeiras e surgiam as primeiras construções, impulsionadas pela transferência da Casa de Câmara e Cadeia e pela construção das ermidas de São José, Santa Luzia, Nossa Senhora do Ó e da Ajuda. No sopé do Morro do Castelo, além do Forte de São Tiago, foi construída a Santa Casa da Misericórdia, ainda no século XVI.
Com a expansão da cidade em direção à várzea, foi necessário abrir algumas ruas de acesso. Por três séculos o núcleo urbano do Rio de Janeiro se limitou, basicamente, a três pontos: Rua da Misericórdia, Rua Direita e Largo do Carmo.
A Rua da Misericórdia, que originalmente se chamava Caminho de Manoel Brito e se estendia até a Prainha (atual Praça Mauá), era o prolongamento da Ladeira da Misericórdia – primeiro acesso ao Morro do Castelo – e, em seu largo, a igreja de Nossa Senhora do Bonsucesso e a Santa Casa de Misericórdia se instalaram, ambas existentes até hoje.
Foi a primeira rua do Rio – escreve Paulo Barreto. Dela partimos todos nós; nela passaram os vice-reis, os malandros, os gananciosos, os escravizados, os senhores em redes; nela vicejou a imundície, nela desabotoou a flor da influência jesuítica… Dela brotou a cidade no antigo esplendor do Largo do Paço, dela decorreram, como de um corpo que sangra, os becos humildes e os coalhos de sangue, que são as praças ribeirinhas do mar. Mas soluço de espancado, primeiro esforço de uma porção de infelizes, ela continuou pelos séculos afora, sempre lamentável e tão angustiosa, franca e verdadeira na sua dor, que os patriotas lisonjeiros e os governos, ninguém, ninguém, se lembrou nunca de lhe tirar das esquinas aquela muda prece, – aquele grito de mendiga velha – “Misericórdia!”
A Rua Direita – atual Primeiro de Março – foi aberta ainda no século XVI e foi a via mais importante da cidade até o século XIX. No tempo em que a região era à beira mar, chamavam-na Rua da Praia e era ali que ficava o baluarte de defesa da cidade: o Fortim da Cruz. No terreno do Fortim foi construída, em 1628, a igreja de Santa Cruz dos Militares. A Rua Direita era um prolongamento da Rua da Misericórdia, hoje extinta, e acabava no Morro de São Bento.
Até os anos 1800, o centro do comércio, os hotéis e as primeiras casas de pasto (estabelecimentos que antecederam os restaurantes) da cidade, ficavam na Rua Direita que, em 1875, passou a se chamar Primeiro de Março, em homenagem à vitória brasileira na batalha que marcou o fim da Guerra do Paraguai: a Batalha de Aquidabã.
O Largo do Carmo foi o primeiro centro urbano da cidade e se chamou, inicialmente, Praia da Piaçaba, mudando de denominação ao longo do tempo: foi Largo do Terreiro da Polé – onde existia o Pelourinho da cidade; Largo do Carmo; Terreiro do Paço; Largo do Paço e, finalmente, Praça XV de Novembro.
Até a década de 1770, o Largo do Carmo combinava as funções de porto comercial e principal lugar de desembarque de africanos escravizados. A partir da determinação do Marquês do Lavradio (Vice-rei de 1769 a 1778), deixou a função de porto escravista e assumiu a condição de área nobre, tornando-se a referência de centralidade na cidade até o século XIX.
Por sua importância para o núcleo urbano da cidade, foi nesse espaço que os prédios públicos como o Palácio dos Governadores, a Casa da Moeda, a Casa da Câmara e a Cadeia, foram construídos, além das igrejas centrais, e o chafariz, projetado pelo Mestre Valentim, que fornecia água para as cercanias e para os navios aportados.
E a cidade tomou forma com as ruas transversais à rua Direita: Rua do Antônio Nabo (Rua São José), Rua dos Pescadores (Visconde de Inhaúma) e a Rua Detrás do Carmo (Rua do Carmo). As primeiras casas residenciais na várzea apareceram por volta dos anos 1630 e na transição entre os séculos XVI e XVII os atuais bairros de São Cristóvão, Irajá e Inhaúma começaram a ser habitados.