Foi projetado pelo engenheiro da Câmara Municipal do Recife, J. Louis Lieuthier, em 1871, que se inspirou no Mercado de Grenelle, de Paris, e construído pelo engenheiro francês Louis Léger Vauthier, responsável também pela construção do Teatro de Santa Isabel.
O Mercado de São José foi inaugurado no dia 7 de setembro de 1875 e assim chamado por ter sido edificado no bairro de São José. Foi construído no mesmo local do antigo Largo da Ribeira do Peixe, onde eram comercializadas várias mercadorias para o consumo da cidade do Recife.
Passou desde a sua criação por algumas reformas, como a de 1906, cujas obras duraram dez meses e a de 1941, quando foram colocados os combogós de cimento, em substituição às venezianas de madeira e vidro. Ambas modificaram a sua feição original mas deixaram intacta sua estrutura de ferro.
Em novembro de 1989, uma parte do Mercado foi destruída por um incêndio que danificou sua estrutura. As obras de reconstrução só foram iniciadas quatro anos depois, em 1993, e sua reinauguração ocorreu em 12 de março de 1994.
Antigamente, lá se apresentavam mágicos, acrobatas, ventríloquos, ouvia-se sons de pandeiros, zabumbas, cavaquinhos e sanfonas e havia muitos tipos populares, hoje, em grande parte, ausentes do local. O Mercado já foi o maior centro no Recife de cantadores, emboladores e da literatura de cordel.
Do ponto de vista arquitetônico é um monumento nacional que não faz parte apenas do patrimônio cultural do Brasil, mas também da humanidade, pois se constitui num raro exemplar da arquitetura típica do ferro, no século XIX.
Atualmente, com seus 46 pavilhões, 561 boxes cobertos e 80 compartimentos na sua área externa, além de 24 outros destinados a peixes, 12 a crustáceos e 80 para carnes e frutas, o Mercado de São José é um local onde se encontra o melhor do artesanato regional, comidas típicas, folhetos de cordel, ervas medicinais, artigos para cultos afro-brasileiros, sendo também um importante centro de abastecimento do bairro de São José e um ponto de atração turística na cidade do Recife.