1878. aasta kevadel alustati Viljandi maagümnaasiumi ajalooõpetaja Th. Schiemanni eestvõttel ja erukindralmajor Fr. von Ditmari rahalisel toel Viljandi ordulinnuse varemetes arheoloogilisi kaevamisi. Suve jooksul kogunenud leidude põhjal moodustati kogu, mida hakati lahke toetaja auks kutsuma Ditmari muuseumiks. Aja jooksul täienes kollektsioon annetuste, ostude ja hilisemate arheoloogiliste kaevamiste leidudega. 1881. aastal asutati kaevamisi korraldanud komitee (Ausgrabungscomité) baasil Viljandi Kirjanduslik Selts, millest sai muuseumi hoidja. Seltsi liikmed tegelesid lisaks ajalooteemaliste loengute korraldamisele ka muuseumi esemete konserveerimise ja korrastamisega. Numismaatika- ja esemekogud kataloogiti. Oma tegevust kajastati aastatel 1882–1918 ilmunud aastaraamatutes. Esimese maailmasõja ajal 1915. aastal sulges tsaarivõim koos teiste baltisaksa organisatsioonidega nii seltsi kui muuseumi.

Eesti Vabariigi esimesel iseseisvusperioodil seltsi tegevus soikus. Selle Eestisse jäänud liikmed 1920. aastatel enam endist tegevusmahtu ei taastanud. Nende suurimaks saavutuseks jäi muuseumi avamine mõneks ajaks seltsi esimehe insener Fr. Werncke eramajas ja endises kasiinohoones. Peamiselt baltisakslastest koosneva seltsi tegevus hääbus 1930. aastate teisel poolel ning lõppes ametlikult 1939. aastal enamiku selle liikmete Eestist lahkumise järel.

1929. aastal loodi Viljandisse veel üks muinsustega tegelev selts – Viljandi Kodu-uurimise Selts. See võttis oma peaeesmärgiks muuseumi (taas)avamise Viljandis. Tugev linna toetus ja intensiivne kogumistöö lubasid kodu-uurijatel 1936. aastal endise aadlipreilide pansionaadi hoones väljapaneku avada. Selleks deponeeris Viljandi Kirjanduslik Selts kodu-uurimise seltsile osa oma kogudest, peamiselt arheoloogilised leiud ja linnusest väljakaevatud kapiteelid. Nõukogude perioodil sai Viljandi Muuseum oma valdusse ka väärtusliku, ligi 2500 münti sisaldava numismaatikakogu ja osa aastakümnete jooksul kogunenud raamatukogust.

Pärast Eesti okupeerimist NSV Liidu poolt Viljandi Muuseum riigistati ning sai palgalise töötaja. Saksa okupatsiooni ajal 1942. aastal koliti muuseum vanasse apteegihoonesse Kindral Laidoneri platsil. Teise maailmasõja tules muuseumi kogud õnneks kannatada ei saanud, küll aga mõjusid laastavalt sõjajärgsed aastad, mil stalinlik poliitika jättis asutuse ilma suurest osast väärttrükistest. Nõukogude aastad vormisid Ditmari muuseumi järeltulijast tüüpilise koduloomuuseumi, kus suurem osa väljapanekust pidi propaganda eesmärgil kujutama töövõite ja saavutusi.

Taastatud Eesti Vabariigis valmis muuseumihoone nõukogude ajal plaanitud laiendus, kus paiknevad hoidlad ja tööruumid ning külastajate tarvis on lugemissaal. Vanast apteegihoonest kujunes näitusemaja, mille esimene korrus renoveeriti ja avati külastajatele 1996. aastal ning teine korrus 2002. aastal.

Pikemalt saab Viljandi Muuseumi varasemast ajaloost lugeda Ain Vislapuu artiklitest muuseumi aastaraamatutest:  Väljakaevamiste komiteest Viljandi Muuseumini (AR 1997) ja Viljandi Kodu-uurimise Seltsi muuseum (AR 1998). Teemaga on seotud ka Aare Kodara artikkel Esimesed arheoloogilised väljakaevamised Viljandi linnusevaremetes 1878-1879. a. (AR 1997).