Pero en septiembre de 1889 el obispo Grau falleció y la Junta Diocesana de restauración de Templos no quiso continuar el proyecto de Gaudí pues lo veían complicado. El arquitecto se vio abandonado y desmoralizado con lo que optó por renunciar al cargo. En ese momento de incomprensión llegó a decir que "serían incapaces de terminarlo y capaces de dejarlo inacabado". Y así fue hasta que en 1906 el arquitecto diocesano Ricardo García Guereta se puso manos a la obra para terminar el edificio, variando considerablemente el proyecto de Gaudí aunque intentó inspirarse en él en algunos detalles, como son los cupulines de las chimeneas.

El edificio recuerda una fortificación medieval y se encuentra rodeado por un foso que da luz y facilita la ventilación de la planta semisótano destinada a archivos, bodega y habitaciones del portero. En planta baja tenían que ubicarse la cocina, la secretaría, la sala de conferencias y la sala del tribunal, entre otras dependencias. Según el proyecto de Gaudí el hall debía alzarse hasta la cubierta donde se habrían construido unas lucernas que darían luz a todo el cuerpo central del edificio, igual que en el Palau Güell.

La planta principal tiene el salón del trono, la biblioteca, las habitaciones y el despacho del obispo, una capilla y diversas dependencias para invitados. Y en la segunda planta Gaudí pensó poner dormitorios.

Como ya hemos dicho, Gaudí preveía unas lucernas en la cubierta para iluminar el hall. El arquitecto García Guereta no lo tuvo en cuenta y dejó el hall central ciego, sin la iluminación prevista.

Destacan las vidrieras que hay por toda la fachada, principalmente a la altura de la planta noble.

El material usado en las fachadas y en los pilares interiores fue granito blanco del bierzo. La estructura se basa en paredes de carga y pilares que aguantan arcos ojivales. Los nervios de dichos arcos se ven decorados con unos piezas cerámicas vidriadas realizadas en el vecino pueblo de Jiménez de Jamuz. También destacan los espectaculares capiteles estrellados de los pilares.