A comienzos de la guerra civil fue nombrado coronel en el primer regimiento de infantería de Ohio en abril de 1861. Sirvió en las defensas de Washington D. C. y vio acción en la primera batalla de Bull Run. El 3 de septiembre de 1861, fue promovido a brigadier general de voluntarios tocándole comandar una división en Tennessee. Ganó a las insignias de teniente coronel del ejército regular por su participación en la captura de Nashville, Tennessee, y posteriormente comandó la segunda división del ejército de Ohio en la batalla de Shiloh durante el segundo día de lucha, y luego en la campaña subsecuente contra Corinth. Fue promovido a mayor general de voluntarios el 17 de julio de 1862.
McCook había recibido el comando del primer cuerpo de ejército de Ohio, cuando poco después tuvo que ver acción contra los confederados en la batalla de Perryville sufriendo fuertes bajas y siendo obligado a retroceder una milla en octubre de 1862. Luego de esto, el comando del ejército de Ohio fue reorganizado y a McCook se le designó comandante del ala derecha del XIV cuerpo del nuevo ejército de Cumberland. En este comando, nuevamente sufrió fuertes pérdidas en la batalla de Stones River, siendo otra vez reorganizada la estructura de comando y su tropa renombrada como el XX Cuerpo. Luego, por tercera y última vez, en la batalla de Chickamauga, las tropas de McCook sufrieron grandes pérdidas siendo rechazadas del campo de batalla. McCook fue sometido a corte marcial y culpado parcialmente por el desastre de la Unión en esta batalla. Si bien no fue declarado culpable fue relevado de su puesto en el ejército de Cumberland.
McCook esperó casi un año antes de recibir un nuevo comando de cualquier tipo. Éste llegó gracias a la amenaza del General confederado Jubal Early contra Washington. McCook fue puesto al frente de las "defensas del río Potomac y Washington" y estuvo a cargo de todas las fuerzas que defendieron la capital en la batalla de Fort Stevens. El día que terminó la batalla, también terminó el comando de McCook de las defensas de la ciudad y se quedó nuevamente sin comisión. Cerca del término de la guerra se le dio una nueva asignación en el distrito de Arkansas oriental. Recibió su promoción a brigadier general y a mayor general del ejército regular por sus servicios durante la guerra.
