Le musée des Beaux-Arts a été crée en 1864, grâce au legs consenti par le comte Jean-Marie de Silguy (17985-1864) à sa ville natale. La seule exigence du généreux donateur d'une remarquable collection de peintures et de dessins était qu'un musée soit édifié pour l'accueillir.
Ce "palais à l'italienne" et l'oeuvre de l'architecte Joseph Bigot, le plus célèbre dans le Finistère à cette époque, à qui l'ont doit également les flèches de la cathédrale. Le musée est inauguréen 1872, l'un des premiers en France à être installé dans un bâtiment construit spécialement. 
Le musée possède un fonds de dessins et d'estampes de grande qualité exposés en alternance. Il couvre principalement le domaine français : Callot, Vouet, Le Brun, Boucher, Fragonard, Greuze, Robert... Les oeuvres et artistes liés à la Bretagne sont bien représentés : Sérusier, Isabey, Maufra, Filiger, Yan'Dargent...