S'il a travaillé avec de grands noms de la chimie comme Viktor Meyer ou Arthur Hantzsch, il n'a jamais obtenu le moindre diplôme dans ce domaine. Il a déposé 66 brevets.
Sandmeyer a fréquenté l'école communale de Aarau et a obtenu plus tard un diplôme de mécanique de précision à Zurich. Il entre en contact avec les sciences naturelles au travers de son ami Gustav Schmidt qui avait étudié la chimie à l'École polytechnique fédérale de Zurich. Sandmeyer se familiarisa avec la chimie dans sa cuisine où il réalisait lui-même ses expériences. Ce sont ses observations qui inspirèrent à son ami le thème de sa thèse: l'action des aldéhydes sur le furfural.
En 1882, le Viktor Meyer l'embauche en tant qu'assistant d'enseignement à l'institut de chimie technique de l'École polytechnique fédérale de Zurich. Ils travaillèrent entre autres sur une méthode de synthèse des thiophènes que Meyer avait découvert quelque temps plus tôt. En 1884, Sandmeyer découvre une méthode de synthétèse des halogénures d'aryle qui porte aujourd'hui son nom, la réaction de Sandmeyer. Lorsque Viktor Meyer, alors âgé de 36 ans, est promu à l'université de Göttingen, il convainc Sandmeyer de le suivre pour un semestre en tant qu'assistant. Viktor Meyer a d'ailleurs écrit à ce propos «Das war für mich geradezu eine Lebensfrage, oder zumindest eine Frage für meine Gesundheit» («ce fut pour moi tout simplement une question vitale, ou tout du moins une question de santé»).
Lors de son retour à Zurich, Sandmeyer travaille pour Arthur Hantzsch à l'École polytechnique fédérale. En 1888, il commence une carrière dans l'industrie avec Johann Rudolf Geigy-Merian, le propriétaire de l'usine chimique J. R. Geigy & Cie (plus tard nommée Ciba Geigy, aujourd’hui Novartis). Il en devient membre du conseil d'administration à partir du .
Il est impliqué dans le développement de plusieurs colorants et inventa une nouvelle méthode de synthèse de l'indigo. Il travailla également sur des méthodes de synthèse de l'isatine, notamment la synthèse de diphénylures-isatine de Sandmeyer (1903) et la synthèse d'isonitrosoacétanilide-isatine de Sandmeyer (1919) qui reste aujourd'hui l'une de principales méthodes de synthèse.
En 1892, Sandmeyer épouse Mina Billeter avec laquelle il n'a pas eu d'enfant.
