Archibald fue elegido en las elecciones legislativas para Nueva Escocia de 1851, siendo uno de los partidarios del gobierno de Joseph Howe (del partido reformista de Nueva Escocia. Durante la legislatura, Archibald tomó posicionamientos frecuentemente opuestos a los otros miembros del ala liberal. Apoyó los gobiernos municipales electos, por ejemplo, y fue uno de los defensores de la escuela gratuita pagada por el estado (política que muchos liberales de Nueva Escocia veían como un gasto innecesario). Archibald también defendió la reciprocidad con los Estados Unidos de América y se opuso a los esfuerzos de expandir los límites de la provincia electoral.
En 1855 sería reelegido, y fue nombrado Abogado General de Nueva Escocia el 14 de agosto de 1856. Su duración en el puesto sería corta debido a un enfrentamiento en la legislatura, que se produjo después de que el presidente de las Sociedad Caritativa Irlandesa fuese despedido de su puesto gubernamental y acusado de traición. El gobierno liberal había estado hasta entonces apoyado por la mayoría de la población católica de la provincia, pero a comienzos de 1857 ocho liberales católicos y dos protestantes se dieron de baja del partido y se pasaron al Partido Progresista Conservados de Nueva Escocia, en la oposición, que fue entonces capaz de formar su propio gobierno. Archibald fue obligado a dimitir de su cargo el 21 de febrero de ese año.
En las elecciones provinciales de 1859 los liberales de Howe volvieron al gobierno mediante una campaña en defensa de intereses de los protestantes. Esencialmente se trató de una cínica apelación a los prejuicios populares, tras la cual no se produjeron acciones significativas contra los católicos de la provincia. Archibald no se presentó, aunque volvió a ser nombrado Abogado General el 10 de febrero de 1860. volvió al parlamento tras la victoria en unas elecciones parciales el 8 de marzo de ese año y en su nuevo cargo legislativo fue uno de los principales impulsores del desarrollo ferroviario, incluso tras la depresión económica de 1862.
En diciembre de 1862 el Howe fue nombrado Comisionado Imperial de Pesca por el gobierno británico. Archibald le sucedió como nuevo líder liberal, aunque Howe continuó ejerciendo el cargo de Premier hasta las siguientes elecciones.
A comienzos de 1863 el ministerio de Howe llevó a cabo una propuesta de Ley que proponía volver a introducir los requisitos de propiedad mínimos para los votantes. La propuesta no llegó a convertirse en Ley antes de las elecciones provinciales de mayo de 1863 y, por otra parte, debido a la gran impopularidad de esa propuesta el grupo político de los liberales, liderado ahora por Archibald, sufrió una aplastante derrota en los comicios. El partido sólo obtuvo 14 escaños de un total de 55, si bien Archibald sí que fue personalmente reelegido en su distrito del sur de Colchester.
A pesar de ser el líder de la oposición entre 1863 y 1867, Archibald a menudo estuvo del lado del gobierno conservador y en contra de su propio partido en algunas iniciativas legislativas de importancia. Apoyó el plan de impuestos de educación propuesto por el gobierno de Charles Tupper, aunque éste tenía la oposición de la mayoría de los miembros de su propio partido. Archibald fue luego el representante del Partido Liberal de Nueva Escocia en la primera conferencia de la Confederación de Canadá, que tuvo lugar en Charlottetown, en la isla Pince Edward, en 1864. Tras la conferencia fue el único miembro del partido liberal que apoyó la entrada del Nueva Escocia en la confederación.
Archibal se enfrentó a una pugna por el liderato del partido con William Annand, que defendía la oposición a la confederación, en 1866, pero emergió victorioso. Cuando Nueva Escocia se unió a la nueva nación de Canadá el 1 de julio de 1867, Archibald fue nombrado Secretario de Estado para las Provincias en el gobierno de John A. Macdonald.
El sistema político de Nueva Escocia se transformó tras el debate de la Confederación, y las elecciones federales provinciales de septiembre de 1867 tuvieron lugar entre partidos pro-confederación y anti-confederación, en lugar de liberales y conservadores. El partido pro-confederación sufrió una derrota aplastante y Archibald (a pesar de haber gastado una enorme cantidad de dinero) fue derrotado por Archibald McLelan en la pugna por el escaño de Colchester. Dimitió de su puesto el 30 de abril de 1868.
La opinión popular de Nueva Escocia fue sin embargo moviéndose en favor de la Confederación, particularmente después de que el anti-confederación Joseph Howe se uniese al gobierno de Macdonald en 1869. McLelan siguió a Howe a ese bando, y fue nombrado para un puesto en el Senado de Canadá en agosto de ese año. Esto permitió a Archibald volver a presentarse al puesto en las elecciones parciales por la vacante, y continuó apoyando al gobierno de Macdonald en el parlamento (aunque no volvió a ser elegido para un puesto en el mismo).
En 1870 Archibald pronunció un discurso en favor de la conciliación con los líderes de la Rebelión del Río Rojo en Manitoba. Este discurso fue oído por George-Étienne Cartier, que en ese momento era de hecho el líder del gobierno canadiense mientras que Macdonald se recuperaba de una enfermedad importante. Cartier pidió a Archibald que fuese el primer Teniente Gobernador de Manitoba y de los Territorios del Noroeste. Aunque tenía poco interés en la región, Archibald aceptó con la condición de ser elegido para la Corte Suprema de Nueva Escocia tras servir en una legislatura.
Archibald juró el cargo en agosto de 1870, en las Cataratas del Niágara, en Ontario. Luego viajó a Manitoba y comenzó a formar el primer gobierno de la provincia. Había un considerable antagonismo entre la población Métis y los soldados recientemente llegados desde Ontario, y Archibald tuvo problemas en conseguir candidatos aptos para trabajar con él. Haste enero de 1871, los únicos miembros de su gobierno eran un mercante local, Alfred Boyd, y Marc-Amable Girard, un recién llegado de Quebec. Archibald mismo fue el primer ministro de hecho de la provincia, y a menudo determinaba la política sin consultar a sus ministros.
A pesar de la oposición de muchos de los anglófonos de la provincia, Archibald fue capaz de establecer las fronteras electorales de la provincia en diciembre de 1870. Archibald mismo fue el líder del partido favorable al gobierno en las elecciones siguientes, con la poplación francófona prácticamente unida en su favor y mientras que John Christian Schultz dirigía a un grupo de anglófonos que se oponían a la política de conciliación. Archibald tuvo éxito, y la oposición de Schultz ganó sólo cinco escaños y siendo Schultz derrotado en su propio distrito electoral.
Archibald creó un gabinete de cinco miembros en enero de 1781, incluyendo en él a Boyd, Girard, Henry Joseph Clarke, James Mackay y Thomas Howard. El grupo equilibraba las divisiones étnica, lingüística y religiosas de la provincia. Archibald se quedó con el cargo de Primer Munistro.
Continuó entonces con su política de concilicación con la población Métis, recomendándoles inscribir sus tierras en el registro e incluso manteniendo reuniones con Louis Riel después de que una banda armada Métis defendiese al gobierno contra invasores fenianos de América. Sus verdaderas intenciones eran evitar que los Métis se sublevasen en el corto plazo, y permitir que se fuese produciendo una gradual hegemonía de los colonos canadienses en la región. En cualquier caso, sus políticas encontraron la oposición tanto de Macdonald como de Howe (que por entonces era el ministro de Asuntos Indianos).
Ante esa oposición, Archibald presentó su dimisión a finales de 1871. Macdonald en principio tuvo problemas en encontrar a un sustituto, e incluso pidió a Archibald que reconsiderase su decisión. Finalmente, el gobierno federal eligió a Francis Godschall Johnson el 9 de abril de 1872, pero su nombramiento fue revocado antes incluso de que jurara su cargo. Hasta octubre de 1872 Archibald no volvió a Ontario.
A su vuelta, a Archibald no le fue asignado inmediatamente un puesto en la corte de Nueva Escocia, sino que fue nombrado en febrero de 1873 director de la Compañía del Ferrocarril Canadiense del Pacífico (Canadian Pacific Railway Company). Recibió el cargo en junio, pero se retiró poco después para ser nombrado Teniente Gobernador de Nueva Escocia (James W. Johnston había recibido este puesto en primer lugar, pero se tuvo que retirar por motivos de salud). Sirvió en ese puesto hasta junio de 1883, momento en que llegó a su fin su segundo mandato.
En 1886 se convirtió en el presidente de la Sociedad Histórica de Nueva Escocia (Nova Scotia Historical Society), que había ayudado a fundar seis años antes. En 1888, Archibald McLelan fue elegido nuevo Teniente Gobernador de Nueva Escocia. McLelan había renunciado a su escaño en el senado en 1881 y había vuelto por tanto a la Casa de los Comunes. El escaño de Colchester quedó de nuevo vacante e, irónicamente, Archibald volvía a ser el preferido para presentarse como candidato liberal-conservador. Fue reelegido el 15 de agosto, 18 años después de su anterior salida.
Archibald se incolucró poco en las actividades del parlamento tras su vuelta, y no pronunció ningún discurso. No se volvió a presentar en 1891 por problemas de salud, y murió al año siguiente.
