João Pereira de Sousa Caldas, grande capitalista e empresário do S. Carlos, de cuja construção havia sido um dos financiadores, habita o palácio durante algum tempo. Os mais famosos artistas de ópera dessa época, que então operavam no S. Carlos, participavam nos frequentes saraus organizados no Palácio do Loreto. Em 1792, João Pereira de Sousa Caldas foi sócio de uma das primeiras seguradoras nacionais, a Caldas, Machado, Gildemeester, Dlz e Cª e, com José Ferreira Pinto Basto, foi um dos 8 sócios fundadores da Companhia de Seguros Lisboa, em 1818. Esta seguradora viria a ser absorvida pela Fidelidade, em 1839.