En la jaro 1420, la imperiestro Yongle de la dinastio Ming konstruigis la templon kaj en la jaro 1544, la imperiestro Jiaqing rekonstruigis ĝin. Ĉar en la feŭdaj dinastioj oni tre adoris la ĉielon kaj siajn prapatrojn, tial la templo ricevis grandan spacon. En la mezo de la konstruaĵaro estas tri grandaj haloj kun la tegmento el flave glazuritaj tegoloj kaj traboj bunte desegnitaj. La frontaj fenestroj kaj pordoj de la haloj estas faritaj el ruĝe lakita nanmu-ligno. La bazamento de ĉiu halo estas borderita per blankmarmoraj balustradoj. Meze de la ŝtuparo estas ŝtonplato kun skulptita drako. Ĉiuj tri haloj aspektas tre impone. El ili Taimiao-halo estas la plej granda. En la halo troviĝas kelkdek kolonoj el nanmu-ligno altaj je kelkaj zhang-oj ( unu zhang-o egalas al 3,33 metroj ) kaj tiel dikaj, ke du homoj ne povas ĝin brakumi mano en mano. Ili estis transportitaj el tre malproksimaj sudaj provincoj Yunnan kaj Guizhou de Ĉinio.

Antaŭ la Taimiao-halo kuŝas granda korto, ĉe kies ambaŭ flankoj estas po unu longa koridoro aspektanta majeste kaj grandioze. Kontraŭ Taimiao-halo staras la Halebarda Pordego, interne kaj ekstere de kiu estis konservataj 120 halebardoj, kiujn forrabis la ok-potenca alianca armeo en la jaro 1900, kiam ĝi okupis Pekinon. Sude de la Halebarda Pordego estas la Ora Rivero, super kiu kuŝas kvin lerte konstruitaj pontetoj. Norde de la pontetoj ĉe la orienta kaj okcidenta flankoj staras po unu ses-angula putokiosko. Sude de la pontetoj, ĉe la orienta kaj okcidenta finoj staras po unu domo kun kvin ĉambroj. La du domoj servis kiel kuirejo kaj tenejo por dio.

Vid-al-vide al la ruĝa muro de la Halebarda Pordego staras tri pordoj el kvinkolore glazuritaj brikoj. Ekster la pordoj, ĉe la sudorienta angulo staras domo kun tri ĉambroj, kie oni buĉis brutojn, kaj domo kun kvin ĉambroj, kie oni kuracis brutojn. Ili ĉiuj rigardas al okcidento kaj estas ĉirkaŭataj de la malalta ruĝa muro.

Ekster la Halebarda Pordego estas ses-angula putokiosko garnita per ruĝe lakitaj latisfenestroj. Verdaj cipresoj kaj pinoj ĉirkaŭas la konstruaĵaron kun la tri grandaj haloj en la mezo.

En la dinastioj Ming kaj Qing, en tiel granda templo loĝis nur dekoj da gardistoj kaj aro da gruoj. En ĉiu halo estis nur altaro, sur kiu staris olelampoj, kandelingoj, incensujoj kaj memoraj tabuletoj. Nur tiam, kiam la imperiestro surtroniĝis kaj difino de lia edzino okazis, aŭ kiam oni akiris venkon en batalo kaj interŝanĝis kaptitojn, aŭ kiam venis nova jaro, la imperiestro venis tien por kulti siajn prapatrojn.

En la pasinteco la templo longe restis neriparita kaj aspektis ĉifone kaj mizere. Post la fondiĝo de la nova Ĉinio, la popola registaro turnis la templon en kulturan palacon por laboruloj, kiuj forportis grandan kvanton da rubo kaj faris riparon al ĝi. Tiel ĉiuj haloj kaj domoj ricevis novan aspekton.

En la 1-a de majo, 1951, super la fronta pordego de la templo, oni pendigis la horizontalan tabulon kun la vortoj "Kultura Palaco de Pekinaj Laboruloj". De tiam la palaco malfermiĝas al la urba laboranta popolo.

Poste oni konstruis subĉielan teatron okcidente de la haloj por prezenti diversajn programerojn. Oriente estas sportejo por pilkaj konkursoj. En la orienta kaj okcidenta arbaroj oni konstruis kinejon kaj domon por sin distri. Oni turnis la tri halojn en malgrandan teatron, prelegejon, danc-provludejon kaj ekspoziciejon. La akcesoraj haloj ofte estas uzataj kiel legosalonoj por kursanoj. La domoj por buĉi kaj kuraci brutojn jam fariĝis biblioteko.

La tero de la fronta arbaro kaj la granda korto de Taimiao-halo estas kovrataj per kvadrataj cementitaj brikoj. Ambaŭflanke de nove konstruita vojo en cipresaro oni aranĝis grundon por floroj kaj starigis longajn seĝojn kaj montrofenestrojn.

Hodiaŭ la bela palaco estas agrabla loko frekventata de ĉefurbaj laboruloj kaj eksterlandaj turistoj.