Il naît à Buffalo (États-Unis) de parents originaires du Palatinat rhénan en Allemagne qui se réfugient aux États-Unis suite à la Révolution allemande de 1848.

En 1879, il décroche son diplôme d’ingénieur de l’École des mines à l’université Columbia. Un de ses professeurs le recrute comme statisticien au Bureau du Recensement des États-Unis (U.S. Census) à Washington. Il travaille au dépouillement du recensement de 1880 (durée: 9 ans) puis au bureau américain des brevets. Après ses inventions, il est nommé Docteur de l'université Columbia.

Carte Hollerith.

Ensuite, il remporte le concours lancé par le Bureau américain du recensement et construit une machine à statistiques à cartes perforées. Il dépose la demande de brevet correspondante le 8 juin 18871. Grâce à cette machine, le recensement (auparavant manuel) de 1890 est traité en trois ans seulement. Il s'inspire notamment d'une idée de son collègue John Shaw Billings (en) directeur des statistiques de santé, dont il courtise la fille. Ce dernier suggère en effet d'utiliser un métier à tisser Jacquard pour mécaniser la lecture des fiches de recensement.

Hollerith fonde en 1896 la Tabulating Machine Co. qui deviendra plus tard l'International Business Machines Corporation plus connue sous le nom « IBM ».

Hermann Hollerith est à l'origine de l'industrie mécanographique.