As construções que compõem a atual Casa da Glória são de épocas e estilos diferentes. O edifício principal ou bloco II (à direita de quem sobe a Rua da Glória) é de construção setecentista cuja data exata não é conhecida.
Acredita-se que a Casa foi construída entre 1775 e 1800. Não se sabe ao certo o responsável pela obra, mas acredita-se que tenha sido Manuel Viana, marido de Dona Josefa Maria da Glória que residiu na casa até 1813, daí provindo a denominação “ Casa da Glória”.
No início do século XIX a Casa passou às mãos do Estado, servindo de residência para os intendentes. Ela recebeu visitas de grandes estudiosos como Auguste de Saint Hilaire, John Mawe, Barão Wilhelm Ludwig von Eschwege, J.B. Von Spix, Von Martius e muitos outros.
Em 1864, passa aos domínios da Igreja e é transformada em sede do Segundo Bispado de Minas Gerais, tornando-se residência oficial dos Bispos de Diamantina. Por volta de 1867, com a finalidade de abrigar religiosas da ordem de São Vicente de Paulo, ocorrem algumas transformações na Casa, que passa a ser conhecida como Orfanato, e posteriormente como Educandário Feminino de Nossa Senhora das Dores.
Ícone da cidade de Diamantina, o chamado “Passadiço da Glória”, que encanta pela sua graciosidade, foi construído para ligar as duas casas que funcionavam como educandário e orfanato. A obra, na época, causou polêmica, mas acabou se integrando à paisagem diamantinense e foi símbolo da campanha ‘Diamantina – Patrimônio Cultural da Humanidade’.
Em 1979, o conjunto foi adquirido pelo Ministério da Educação e Cultura para sediar o Instituto Eschwege, mais tarde denominado Centro de Geologia Eschwege – CGE (link), que desde sua incorporação como Órgão Complementar do Instituto de Geociências da UFMG, através da Resolução 05/79 de 23/03/79 do Conselho Universitário da UFMG, vem ministrando cursos na área de geologia de campo e mapeamento geológico para alunos das escolas de geologia do Brasil.