Ouvrier fondeur et dirigeant syndical, pionnier du mouvement ouvrier américain et partisan de la I° Internationale.

En 1857, il devient le secrétaire de l'« Iron-Moulders' International Union » (syndicat national des ouvriers fondeurs). Puis il prend part à la guerre civile dans le camp nordiste (1861-1865).

En 1866, Sylvis a un rôle central dans la fondation de la National Labor Union, la première organisation syndicale des États-Unis. Il devient ensuite journaliste au Workingman's Advocate (le Défenseur des travailleurs), le plus important journal ouvrier du pays.

Au congrès de 1867 de la NLU, il défend la nécessité de constituer un parti travailliste. Ces discussions aboutiront à la constitution du National Reform Party (Parti de la Réforme Nationale), défini comme un parti des travailleurs. Sylvis défend aussi l'adhésion de la NLU à l'Association Internationale des Travailleurs. Mais les délégués au congrès voulurent poursuivre la discussion avant de s'engager et se contententèrent d'exprimer leur « sympathie » envers l'Internationale.

Sylvis est élu président de la NLU lors de son 3° congrès (août 1868), mais il décède en 1869, à 41 ans. La NLU péréclita rapidement après sa mort.