A Ladeira da Misericórdia foi aberta em 1567 – quando Mem de Sá transferiu a sede da cidade para o Morro do Castelo – e, no início da formação urbana, foi a única via de acesso ao morro, que era delimitado pelas atuais ruas São José, Santa Luzia e México e pelo Largo da Misericórdia. A partir da expansão urbana e da descida em direção à várzea, outros dois acessos foram abertos: as ladeiras do Carmo e do Seminário.
A da Misericórdia foi a única das três ladeiras que teve um trecho preservado, após a demolição do Morro do Castelo, concluída em 1922. Esse pequeno trecho de 40 metros resistiu ao tempo e preservou seu calçamento, feito em pé de moleque – pedras de tamanhos irregulares – por escravizados. Atualmente, a Ladeira da Misericórdia ocupa um pequeno espaço ao lado da Igreja de Nossa Senhora do Bonsucesso (uma das mais antigas da cidade) e do prédio do hospital da Santa Casa da Misericórdia. Em 2017, o trecho foi tombado pelo IPHAN, por ser um dos mais importantes vestígios do surgimento da cidade.
As ladeiras do Carmo e do Seminário não foram preservadas. A do Seminário teve outros nomes: Ladeira do Poço do Porteiro, da Mãe do Bispo e da Ajuda e descia em direção às atuais Cinelândia e Avenida Rio Branco. A Ladeira do Carmo (também do Cotovelo ou do Colégio) ia em direção ao topo do morro, no Colégio dos Jesuítas. As instalações do Colégio foram utilizadas para outras funções após a expulsão dos Jesuítas, em 1759. Foi Hospital Militar (anos 1760) e, depois, Observatório Astronômico (1846), que incluía um posto de sinais para comunicação com as fortalezas da Baía da Guanabara. Em 1922 o prédio do Colégio veio abaixo junto com o morro.