Héritier d'une famille d'érudits originaires de Sens, Maurice Prou devient élève de l’École des chartes où il rédige une thèse consacrée à l'édition et l’étude de la charte de franchise de Lorris-en-Gâtinais (1884). Après un passage par l'École française de Rome (1884-1885), il est nommé au cabinet des médailles de la Bibliothèque nationale puis professeur de diplomatique à l'École des chartes à la mort d'Arthur Giry en 1899. Il s'était déjà distingué par la publication d'un Manuel de paléographie conçu en complémentarité avec le Manuel de diplomatique de son prédécesseur et qui eut une extraordinaire influence. Manuel élémentaire dans ses deux premières éditions, cet ouvrage devient un important traité faisant la synthèse des recherches, notamment celles de l'école allemande de paléographie2.
À la mort de Paul Viollet, en 1916, il est chargé des cours d'histoire des institutions de l'École des chartes, jusqu'à ce que la chaire soit pourvue, en 1919. Il devient directeur de l'École des chartes en 1916, et le demeure jusqu'en 1930.
Il joue un grand rôle dans le renouveau de l’histoire du droit et des institutions à la fin du XIXe siècle. Il a longtemps été membre du comité de rédaction de la Revue historique de droit et de la Société d’histoire du droit.
Il est élu à l'Académie des inscriptions et belles-lettres le 11 février 1910.
Maurice Prou a par ailleurs présidé la Société archéologique de Sens, suivant ainsi l'exemple de son grand-père, Jean-Louis Prou.