Zestawy soczewek, pozwalające uzyskiwać znaczne powiększenia, znane były holenderskim szlifierzom soczewek w końcu XVI wieku. W tym środowisku powstał około 1590 roku pierwszy mikroskop. W marcu 1625 po raz pierwszy użyto słowa "mikroskop" - pojawiło się ono w liście jednego z badaczy do włoskiego księcia Federiga Cesiego.
Właściwy rozwój mikroskopu nastąpił jednak dopiero w drugiej połowie XVII wieku.

Wczesne mikroskopy dawały niewielkie powiększenia (do 60 razy) z uwagi na wady ówczesnych soczewek. Takim mikroskopem, powiększającym zaledwie 40-krotnie, angielski uczony Robert Hooke odkrył około 1665 roku komórkową budowę organizmów żywych.
Przyrodnik holenderski i kupiec bławatny Antony van Leeuwenhoek skonstruował udoskonalony mikroskop stosując nadzwyczaj dokładnie oszlifowane soczewki o bardzo krótkiej ogniskowej. Taki mikroskop dawał już powiększenie 270-krotne, chociaż jego wysokość wynosiła tylko 5 centymetrów i zawierał tylko jedną soczewkę. We wrześniu 1674 roku doniósł Towarzystwu Królewskiemu w Londynie, że za pomocą zbudowanego własnoręcznie mikroskopu udało mu się dostrzec "bardzo małe żyjątka". Człowiek po raz pierwszy zobaczył bakterie.

Możliwości ujawnione w ten sposób przez mikroskop stały się bodźcem do jego doskonalenia. W drugiej połowie XVIII wieku mikroskop wyposażono w obiektywy achromatyczne skonstruowane przez Anglika, Johna Dollonda i Niemca, Josepha von Fraunhofera.
W 1827 roku Włoch Giovanni B. Amici wynalazł obiektyw immersyjny. W 1872 roku niemiecki fizyk Ernst Abbe wyposażył mikroskop w przyrząd oświetlający.
Na początku XX wieku, mikroskop optyczny pozwalał już uzyskiwać powiększenia około 2000-krotne. W 1931 roku zespół fizyków niemieckich pod kierunkiem fizyka Ernsta Ruska (który otrzymał za to Nagrodę Nobla), skonstruował mikroskop elektronowy, którego wersję użyteczną zbudowała w 1938 roku firma Siemens. Pozwala on uzyskiwać powiększenia rzędu 250 tysięcy razy.
W 1942 roku Francuz C. Magnan wynalazł tzw. mikroskop protonowy, którego teoretyczne możliwości sięgają powiększenia 500 000-krotnego; w praktyce jednak nie przewyższa on mikroskopu elektronowego. W 1956 roku Amerykanin Ervin W. Mueller skonstruował mikroskop jonowy do badania struktury metalowych ostrzy, pozwalający uzyskiwać powiększenia rzędu kilku milionów razy.