Entre os séculos XVIII e XIX, o Paço Imperial foi utilizado como Casa dos Governadores, dos Vice-Reis, moradia da Família Real e sede administrativa da cidade.
Reformado a pedido do governador Gomes Freire de Andrade (Conde de Bobadela), o prédio foi inaugurado em 1743 para abrigar a Casa dos Governadores. O engenheiro português José Alpoim se inspirou no Paço das Ribeiras – residência dos monarcas em Lisboa – para elaborar o projeto que marcou o início de uma série de obras e construções responsáveis pela revitalização da atual Praça XV.
Em 1763 a cidade do Rio foi elevada à condição de capital da colônia, passando a ser sede administrativa do vice-reinado e moradia do Vice-Rei do Brasil. A Casa dos Governadores tornou-se, então, o Paço dos Vice-Reis. Mas foi em 1808, com a chegada da Família Real, que o edifício viveu a sua fase de maior prestígio: tornou-se residência oficial e o centro de poder do Reinado e do Império – o Paço Real – e, para isso, foi adaptado para abrigar a numerosa corte que veio junto com Dom João VI.
A partir da Independência (1822), o palácio se transformou em Paço Imperial, servindo como sede administrativa (de onde o Imperador despachava) e espaço para festividades e eventos oficiais. Foi palco de eventos históricos importantes como o “Dia do Fico” (1822), quando D. Pedro declarou ao povo, reunido na rua, a sua intenção de ficar no Brasil e a assinatura da Lei Áurea pela Princesa Isabel (1888).
Após a Proclamação da República (1889), o Paço passou a ser sede dos Correios e Telégrafos. Em 1938 foi tombado pelo IPHAN e, após uma restauração nos anos 80, tornou-se o Centro Cultural Paço Imperial, um espaço para exposições e eventos que conta com um bistrô, um restaurante e, no 1° andar, a biblioteca Paulo Santos, com um acervo composto por títulos sobre Artes Plásticas, Arquitetura e Urbanismo, História do Brasil, Portugal, Rio de Janeiro.