Selon la légende les habitants des Balmes voulaient construire un prieuré pour perpétuer la mémoire d'un pieux ermite occis et enterré en un lieu inconnu. Ils se mirent à l'œuvre mais dès que les murs atteignirent la naissance de la voute ils s'effondrèrent pendant la nuit, sans cause apparente. Ils changèrent d'endroit mais la seconde église connut le même sort.
Le plus sage des bâtisseurs proposa alors d'atteler les boeufs à un chargement de pierres et de les laisser aller à leur gré. Ils recommenceraient la construction là où les bœufs s'arrêteraient.
Ces derniers s'arrêtèrent à 200 pas de l'ermitage.
Un trou creusé pour la construction fit apparaître le squelette du saint. L'édifice reconstruit une troisième fois défie encore les siècles !...