Recuperado para el turismo rural, el pazo conformaba una impresionante edificación amurallada, con un gran patio interior y solana.
Sus orígenes se remontan al siglo XVI, teniendo constancia de que en 1579, Alonso Nuñez de Taboada, primer poseedor de las Casas de Bendoiro, ordena que se pongan en su sepultura las armas de los Taboada y Churruchaos, "de quienes vengo y desciendo".
En el escudo oval que preside la entrada principal, figuran las armas de los Taboada, Arias, Camba, López de Lemos, y Churruchaos.
Entre los emparentamientos nobles, cabe destacar que en el pazo nació la que fue esposa del primer Conde de Fontao, Moscoso de Altamira, hombre prominente, que fue presidente del Senado y ministro de la Gobernación con Isabel II.