La Société des Amis des Arts débuta en 1851 sous la forme d'une société d'actionnaires lancée par quelques graveurs, et présidée par Henri Grandjean-Perrenoud. Elle se restructura en 1864, prenant alors le nom qui est encore le sien. Sa collection devint Musée vers 1880, et s'installa dans un bâtiment propre, le Musée des Beaux-Arts, en 1926