Au XVIIe siècle, le beau château de Saliès tient salon sur les arts, la science ou la littérature autour de sa châtelaine, Antoinette de Salvan de Saliès (une rue et une école d’Albi portent son nom). Cette avant-gardiste « féministe » prônait l’égalité des sexes et reste connue sous le nom de « La Viguière d’Alby » grâce à son roman à succès La Comtesse d’Issembourg (1678). Traduit et diffusé jusqu’à Paris, il relatait le chagrin amoureux d’une comtesse allemande en retraite dans un couvent albigeois. Mais le château, dans la famille d’Aragon depuis plus de quatre siècles, a également vu grandir l’un des plus célèbres Résistants tarnais, Charles d’Aragon (1911-1986), qui en avait fait son fief. Aujourd’hui, le domaine abrite toujours une somptueuse orangerie réaménagée en salle de réception pour événements.
Du château de Rouffiac, il ne reste plus qu’une tour et un corps de logis qui abritent aujourd’hui l’école élémentaire du village. Mais dès le XIIe siècle, les seigneurs de Rouffiac occupaient les lieux et accueillirent sur leurs terres le fameux Simon de Montfort —principale figure de la croisade contre les Albigeois —, lui assurant leur soutien ! Puis le domaine passa de main en main perdant petit à petit son importance et son rôle défensif pour devenir plus pacifiquement l’école communale.
À Carlus se tenait un imposant château qui dominait et surveillait la région : le château Castel de Lutz (qui deviendra Carlus), bâti au XIIIe siècle en même temps que le village et à la demande du roi Louis VIII. Une tour, une maison forte, une église et quelques habitations s’y dressaient ceinturées d’une muraille. Mais au 17e siècle, Richelieu fit tout démanteler… et il ne reste aucun vestige de cette époque à part le cimetière ancien. Un vieux séquoia marque désormais son emplacement historique, remémore le passé… et incite à la promenade.
À l’ouest d’Albi, longeant le Tarn, apparaît le château de Lasbordes. Construit à la fin du XVIIe siècle par la famille d’Aussaguel, riches pasteliers albigeois, il se dénote par sa construction de briques et de galets dragués dans la rivière et son plan rectangulaire à la vaste cour d’entrée. Son style noble et élégant affiche un imposant escalier intérieur, de somptueuses cheminées, et en façade, les armoiries de la famille ! Il profite surtout d’un superbe panorama sur la cathédrale Sainte-Cécile et accueille depuis 1988 sur son domaine de 65 hectares un parcours de golf 18 trous considéré comme l’un des plus beaux d’Occitanie.