Le musée Gallo-Romain est créé par décret impérial le 8 mars 1862 ; Claude Rossignol, directeur des archives de la Côte-d'Or, est nommé directeur, et Philibert Beaune est désigné peu après attaché à la conservation. Comme les musées de Versailles et du Luxembourg, le musée appartient à la seconde conservation des Musées impériaux. A sa création le musée ne conserve aucune collection et ne répond à aucun projet scientifique officiel. Dès 1864, Auguste Jean-Baptiste Verchère de Reffye, officier d'intendance de Napoléon III, propose à l'empereur un projet novateur. Le 1er avril 1865, la première réunion de la Commission consultative pour l’organisation du musée se réunit sous la présidence du Comte de Nieuwerkerke, surintendant des Beaux-Arts. Cette Commission regroupe de grands noms de l’archéologie, de la paléontologie, de la géologie, de la numismatique, de l'épigraphie et de l'architecture comme Alexandre Bertrand, Édouard Lartet, Félix de Saulcy. La commssion ratifie le projet initial de Verchère de Reffye. Dès août 1866, Alexandre Bertrand assure la direction du musée, alors que Claude Rossignol est écarté.
En 1866, il est précisé que « le musée de Saint-Germain a pour but de centraliser tous les documents relatifs à l’histoire des races qui ont occupé le territoire de la Gaule depuis les temps les plus reculés jusqu’au règne de Charlemagne ; de classer ces documents d’après un ordre méthodique ; d’en rendre l’étude facile et à la portée du public ; de le publier et d’en propager l’enseignement ».
Le Musée des Antiquités nationales est donc le premier musée consacré entièrement à l’archéologie du territoire national.
Les sept premières salles sont inaugurées par l’Empereur le 12 mai 1867, lors de l'exposition universelle.
Quarante-quatre salles sont ouvertes au public en 1907.

La naissance du musée et son développement est inséparable de celle de la Commission de Topographie des Gaules et de l'action des sociétés savantes. Parmi les toutes premières collections à être entrées figurent celles de Jacques Boucher de Perthes, considéré comme le père de la préhistoire, qui révélèrent, au milieu du XXe siècle, l’existence d’hommes préhistorique antérieure aux Gaulois.
L’essor de la préhistoire française connait par la suite une extraordinaire expansion, grâce au travail de Gabriel de Mortillet, attaché de la conservation au musée et père de la chronologie préhistorique, qui fit entrer de très nombreuses séries archéologiques de référence au musée. On doit également à Édouard Piette la plupart des pièces d’art paléolithique conservées au musée.
Dans l’entre deux guerres, Henri Hubert concevoit une refonte complète des collections du musée, en leur adjoignant une section d’archéologie comparée, faisant notamment appel aux découvertes de l’Extrême Orient.
Les grands archéologues du XXe siècle ont contribué à l’enrichissement et à l’étude des collections, comme en particulier l’Abbé Breuil, Louis Capitan, Henri et Jacques de Morgan, l’Abbé Cochet, Joseph Déchelette, et bien d’autres encore.
Des collections nouvelles continuent d’entrer à Saint-Germain. Elles proviennent des recherches actuelles menées en France ou à l’étranger, comme l’extraordinaire série d’objets de Nouvelle-Guinée, collectée parPierre Pétrequin, ou encore d’importantes fouilles de sauvetage, comme l’exceptionnel mobilier des tombes à char gauloises de l’aéroport de Roissy découvert en 1995.