Muuseumi arheoloogiakogu sai alguse 1878.–79. aastal Viljandi ordulinnusel toimunud arheoloogilistel kaevamistel kogutud leidudest. 19. sajandi lõpul toimusid väljakaevamised samuti mitmetel Viljandi ümbruse kalmetel, millest muuseumis säilitatakse Heimtali, Vana-Võidu ja Sürgavere kivikalmete leide.

Eesti Vabariigi ajal tegutses arheoloogia keskmuuseumina Tartu Ülikooli arheoloogia kabineti kogu, kuhu viidi ka 1937–39. a kaevamistel kogutud Lõhavere linnuse leiud. Viljandi Muuseumi kogudesse jõudsid lisaks juhuleidudele Viljandi ordulinnusel, Villu keldri ümbruses 1939. a toimunud kaevamistel leitud esemed.

Pärast Teist maailmasõda said muuseumikogud täiendust muuseumi enda korraldatud kaevamistelt.  Muuseumi jõudsid Tõrva Tantsumäe ja Vooru linnuste, Siimusaare kiviaja ja eelrooma rauaaja asulakoha, Risti kirikuaseme ning mõnede külakalmistute leiud. Mitmete Teaduste Akadeemia Ajaloo Instituudi arheoloogide korraldatud suuremate kaevamiste leiud viidi Tallinna. Nii on Ajaloo Instituudi kogus Madi kivikalme, Kärevere külakalmistu, Lõhavere ja Sinialliku linnuste ning Valma kiviaja asulakoha ja Olustvere raua- ja keskaja asulakoha leiud. Naanu linnusel toimunud kaevamiste leidudest on osa Viljandi Muuseumis, teine osa Ajaloo Instituudis.

Alates 1989. aastast on Viljandi linnas toimunud hulgaliselt päästekaevamisi ja järelevalvetöid, mille leiud moodustavad suure osa Viljandi Muuseumi arheoloogiakogust. Maakonnas toimunud suurematest uuringutest anti muuseumile üle Sammaste kivikalme kaevamisleiud. Kivisaare kiviaja asula ja matmispaiga leide säilitatakse Tartu Ülikooli arheoloogiakogus.

1. jaanuari 2012. a seisuga on Viljandi Muuseumi arheoloogiakogus (tähis A) ligi 60 000 eset. Erilisemate leidudena võib esile tuua Viljandi ordulinnuselt kogutud raiddetailide kollektsiooni. Viljandi linnuselt on kogutud üks Eesti rikkalikumaid 16. saj leiukogumeid. 2003.–2004. a leiti maalingutega klaaspeekrite kilde, mis pärinevad ilmselt Veneetsias valmistatud nõust.