A existência deste espaço preservado remonta ao século XVIII, quando constituia-se parte da servidão de um Forte Militar mandado erguer no topo da Pedra do Leme, entre os bairros de Botafogo e Copacabana, pelo Marquês do Lavradio, então Vice-Rei do Brasil.

Desta Fortaleza, cujas obras foram concluídas por volta de 1769, restam apenas os arcos sob os quais transitam veículos advindos do bairro de Botafogo. No local hoje situa-se a Vila Militar da Babilônia, no alto da Ladeira do Leme.

Era uma área estratégica para o Brasil colônia, quando foi construído no local o Forte do Leme, para guardar a cidade das invasões que aportassem na praia e que de lá teriam acesso pela Ladeira do Leme ou pelo Humaitá, no morro da Saudade.

Possuía também quatro fontes de água para abastecer as chácaras de Copacabana. Esse terreno ficou sob a guarda do Exército até 1950, quando a Prefeitura em acordo com os militares encampou toda a área para criação e preservação do Parque da Chacrinha.

Em 1965, no governo Negrão de Lima, foram removidos os moradores que ocupavam o local. Depois o Parque caiu no abandono e servia de lixeira e depósito de carros alegóricos.

Em 1983, através da Associação dos Moradores da Praça Cardeal Arcoverde, o prefeito Marcello Alencar começou a reconstrução do Parque, sendo reinaugurado em 1985.

Bem policiado, é equipado com bancos para descanso, campo para futebol society, barras para ginástica e brinquedos infantis, possui degraus de acesso à montanha em três pontos diversos, vegetação exuberante, borboletas e pássaros.

Nessa época foi plantado um espécime raro, a Eugenia Copacabanensis, araçá de praia, planta nativa de Copacabana que havia desaparecido com a urbanização do bairro.

Está, desde 1988, sob a administração da Fundação Instituto Estadual de Florestas-IEF, que pretendia instalar um orquidário (onde encontramos espécies raras como a Epidendrum Ammophilum) e um troquilidário (viveiro de beija-flores), borboletário e um viveiro de peixes ornamentais. No jardim, logo à entrada do Parque da Chacrinha foi montado um relógio de sol.