Welsh nació en Columbia (Pensilvania), y fue educado en las escuelas de la ciudad. Trabajó en el negocio maderero antes de alistarse en el ejército para luchar en la guerra Mexicano-Estadounidense, donde resultó herido en la batalla de Buena Vista. Welsh recibió por su valentía en el campo de batalla el ascenso a teniente. Regresó a Columbia al finalizar la guerra y trabajó sucesivamente como comerciante, propietario de un bote en el canal Pennsylvania Main Line, juez de paz, y superintendente de la esclusa.
Cuando estalló la Guerra Civil, Welsh formó una compañía de voluntarios de la región y fue nombrado su capitán. Fue pronto elegido teniente coronel del 2º de Infantería de Pensilvania, un regimiento con una antigüedad de tres meses que servía en el valle de Shenandoah. Cuando su plazo de alistamiento terminó, Welsh fue designado por el gobernador Andrew Curtin como coronel del 45.º de Pensilvania, un regimiento con una antigüedad de tres años, y lo dirigió durante el año 1862 en la Campaña de la Península. Welsh fue nombrado comandante de una brigada del IX Cuerpo del ejército del Potomac. Sus hombres asaltaron posiciones confederadas en South Mountain y en Antietam en el transcurso de la campaña de Maryland. Su brigada sirvió en la batalla de Fredericksburg, donde la actuación de Welsh fue objeto de las alabanzas de sus superiores. Fue promocionado a general de brigada de voluntarios el 13 de marzo de 1863, y enviado hacia el oeste a Kentucky con el IX Cuerpo, y después a Misisipi a servir bajo las órdenes de Ulysses S. Grant durante el sitio de Vicksburg.
Welsh, ahora al mando de la Primera División, marchó con el general William T. Sherman a Jackson (Misisipi), donde contrajo malaria. Murió en Cincinnati, (Ohio), durante el viaje de regreso hacia su casa. Fue enterrado en el cementerio Mount Bethel en su nativa Columbia.
