Caillou est probablement né à Bordeaux. Certains historiens ont suggéré qu'il était un neveu de Piers Gaveston, le favori du roi Édouard II d'Angleterre mais ont confondu avec Bertrand de Caillou. Quoi qu'il en soit, Edmond est recruté par Édouard pour défendre la frontière écossaise et les châteaux de Berwick et Roxburgh. Il est ainsi capitaine des troupes gasconnes à Berwick.
Pendant l'hiver 1315, la famine se fait sentir à Berwick. Les soldats sont forcés de manger leurs propres chevaux. Caillou suggère au gouverneur de Berwick, Maurice de Berkeley, de mener des raids en Écosse afin de se ravitailler. Berkeley refuse fermement, à la grande indignation de Caillou, qui appelle les Gascons à se mutiner.
Le , Caillou part mener un raid avec les soldats gascons de la garnison de Berwick. James Douglas, informé des mouvements des Gascons, les surprend et les attaque à la bataille de Skaithmuir. Caillou est tué par Douglas pendant le combat.
Références
Calendar of Documents relating to Scotland, ed. Bain, J. Vol III, AD 1307-1357. Edinburgh 1887.
James Balfour Paul, Scots Peerage IX vols. Edinburgh 1904.