Nato in Germania, a Straubing, da un povero maestro vetraio, entrò subito come apprendista nella bottega del padre. Nel 1802, dopo una fallimentare attività come occhialaio, fu impiegato nell'officina ottica dell'Istituto matematico e meccanico di Monaco, diretto da George Friedrich von Reichenbach (1771-1826) e Joseph von Utzscheneider (1763-1840). Per conto della ditta, Fraunhofer venne inviato ad imparare le tecniche di fusione del vetro ottico. Nel 1809 divenne direttore della vetreria. Successivamente ebbe anche il titolo onorifico di professore. Grazie al suo contributo, la manifattura bavarese di strumenti scientifici assunse negli anni venti del XIX secolo più rinomanza di quella londinese. Fraunhofer riassumeva in sé una mirabile padronanza delle tecniche artigianali e un'approfondita conoscenza delle leggi dell'ottica, sviluppata attraverso una pratica quotidiana di lavoro.