Une église primitive existait à Massy, aux alentours du IXe siècle. Elle était consacrée à Saint Germain, pour rappeler sa dépendance à l'abbaye de Saint-Germain-des-Prés. Elle était située près de l'actuelle rue Gambetta. L'église est bâtie au XIIIe siècle. Elle connut plusieurs péripéties, notamment durant les Guerres de religion. Il ne reste de ce bâtiment que le clocher, du 13è style roman 1er étage, puis tendance gothique 2ème étage, la nef s'écroulant au milieu du XVIIe siècle, probablement pour des raisons liées aux fondations et au type de terrain du lieu.
Au XVIIIe siècle, l’abbé Jean Lebeuf raconte que se trouvaient dans le chœur les fragments de la tombe d'un seigneur de l'endroit, enterré en 1290, et celle d'un curé, peut-être datant du XIVe siècle.
L'édifice est classé au titre des monuments historiques en 1920.
Touchée en juin 1944 par des bombardements alliés visant la gare de triage1, seul le clocher est resté debout. En décembre 2011, début des travaux de restauration du beffroi