När Gustav III 1786 instiftade Kungl. Vitterhets Historie och Antikvitets Akademien genom att ombilda sin mors, drottning Lovisa Ulrikas, Vitterhetsakademi tillkom också det som nu kallas Vitterhetsakademiens bibliotek. Från början bestod det av ett fåtal böcker som tillsammans med arkivalier och fornsaker överlämnats från det nedlagda Antikvitetsarkivet, vars uppgifter den nya akademien fick överta.

Från det lilla fåtalet böcker har Vitterhetsakademiens bibliotek utvecklats till att bli det största specialbiblioteket inom sitt område i Sverige. För att citera ett uttalande redan från 1920-talets början: "Biblioteket utgör ... ett av de förnämsta specialbiblioteken på fornkunskapens område i Europa och är mycket anlitat av forskare." Det senare gäller i hög grad i nutiden. Om biblioteket tidigare främst användes av de anställda vid Statens historiska museum och Riksantikvarieämbetet är förhållandet numera det omvända. Det är studerande och forskare i arkeologi som dominerar låneverksamheten.