Hij is in 1792 als onwettig kind geboren. Zijn vader is een soldaat in het keizerlijke leger, maar vertrekt weer voordat hij met Josef's moeder kan trouwen. Zijn moeder verdient de kost met verstelwerk. Josef groeit in armoede op bij zijn moeder in Salzburg. Zijn doopvader (een geestelijke) zorgt ervoor dat hij naar het gymnasium kan en vervolgens naar de priesteropleiding. Naast deze studie doet Josef veel aan muziekstudie en betaalt een deel van de studie door als muzikant op te treden.
Oberndorf is de eerste plaats waar Josef Mohr na zijn wijding als kapelaan wordt benoemd. Vrij snel na het gebeuren in de kerstnacht van 1818 vertrekt Josef Mohr op eigen verzoek om in een volgende plaats kapelaan te worden. Hij kon het niet zo goed vinden met zijn pastoors, want hij wordt tussen 1819 en 1827 elf maal overgeplaatst. In 1828 wordt hij pastoor in Hintersee, waar hij tot 1837 blijft.

graf mohr

Dan wordt hij pastoor in Wagrain. Hier wordt hij bekend als een sterk sociaal voelend mens, die opkomt voor de armsten en zich niet neerlegt bij de gevestigde orde. Hij sterft in 1848 in armoede aan een longontsteking.

Zijn graf wordt ook nu nog in ere gehouden op het kerkhof bij de kerk van Wagrain.