Alfons Mervillie groeide op in een boerengezin met zestien kinderen. Hij volgde onderwijs in het Klein Seminarie te Roeselare, waar hij o.a. les kreeg van Hugo Verriest en van Gezellecomponist Johan De Stoop, eveneens auteur van het Klokke Roeland-lied. De Stoop ontdekte zijn muzikaal talent en stelde hem aan als hulporganist en koorleider. Na een jaar wijsbegeerte te Roeselare, volgde hij Theologie aan het Groot Seminarie te Brugge. Hij werd priester gewijd in 1882 en was ondertussen aangesteld als leraar orgel en kerkzang in de normaalschool van Torhout, waar hij de bijnaam kreeg 'Bach Mervillie'.
Hij was de eerste toondichter die gedichten van Guido Gezelle op muziek heeft gezet. Mervillie componeerde 290 orgelwerken, 50 koorstukken en liederen, waaronder de bekendste Duinelied Leve De Panne (1878), het kerstlied Duizende Sterren Versieren den Hemel (1879) en het oogstlied Het Laatste van de oogst is binnen (1902). Hij schreef ook o.a. 'Gusten, verhaal uit den ouden tijd' (1891) naast artikels (en gedichten) voor Vlaamse tijdschriften zoals Rond den Heerd en Duinengalm. Hij werd als dichter bekend door de vertaling van het gedicht 'Evangeline' van Henry Wadsworth Longfellow, een Amerikaanse dichter die toen heel populair was onder de Vlaamse dichters (denk aan Guido Gezelles vertaling van The Song of Hiawatha).