El edificio, uno de los monumentos más notables del barroco portugués, fue diseñado por el arquitecto italiano Nicolau Nasoni, quién, pese al declive y dificultades del terreno consiguió una escenografía perfecta junto al río Duero y el propio paisaje del entorno, donde se ubican los hermosos jardines en terrazas que hoy se pueden contemplar.
El palacio, de planta cuadrangular, cuenta con cuatro torreones en cada ángulo, cubiertos por tejados piramidales. Sus muros son ondulantes y las escalinatas interiores y exteriores complementan la decoración del edificio. Destacan por su originalidad las cuatro fachadas, todas diferentes. Cada una de ellas se adorna con motivos florales, escudos de armas y medallones, confiriendo, en su conjunto, un estilo romántico y decadente. El arquitecto se inspiró en la propia escultura típica del barroco italiano donde abundan elementos acuáticos como algas, peces, líquenes, etc.
Como cualquier edificio notable, el palacio do Freixo también sufrió modificaciones a lo largo de su historia. Precisamente, el vizconde do Freixo hizo varias intervenciones, lo que vino a transformar su aspecto. La más importante fue la que convirtió al edificio en fábrica de harinas, de la que todavía se conserva una esbelta chimenea de ladrillo rojo junto a la piscina y terrazas exteriores del palacio. La chimenea está perfectamente integrada en el conjunto general del edificio.