Fludyer est le fils aîné de Samuel Fludyer, un tailleur de Londres originaire de Frome dans le Somerset. Il suit ses études à la Westminster School. Il est, par son éducation religieuse, un dissenter, bien qu'il se tourne plus tard vers l'Église d'Angleterre. En entrant dans l'entreprise de son père, il le développe jusqu'à devenir un des commerçants les plus riches de la City: à sa mort, sa fortune est estimée à 900 000 £.
Il est élu au Common Council en 1734, devient alderman en 1751 puis sheriff de la City en 1754 et 1755, et accède au poste de lord-maire en 1761 et 1762. Il devient aussi directeur de la Banque d'Angleterre en 1753 pendant quatre mandats, puis est élu député-gouverneur de 1766 à sa mort, en 1768. En , en tant que sheriff, il envoie une lettre au roi George III de la part du lord-maire, des aldermen, et du common council, dans laquelle il exprime la satisfaction de voir le Roi revenir indemne de ses campagnes germaines. Le roi le remercie en l'anoblissant, puis, quatre ans plus tard, l'élève au rang de baronnet. La perruque élaborée qu'il porte en accédant au poste de lord-maire en 1761 est décrite dans le roman de William Hogarth de la même année, Five Orders of Periwigs.
En 1754, Fludyer entre au Parlement, après avoir payé 1 500 £ pour s'assurer un siège à la circonscription électorale de Chippenham dans le Wiltshire. Chippenham est une ville textile, et Fludyer scelle son influence en achetant toute la production de vêtements à un prix honnête, ce qui joue un rôle important dans la prospérité de la ville. Il est généralement considéré comme partisan du gouvernement Whig, bien que n'en étant pas un porte-parole: en 14 ans à la House of Commons, il ne s'est jamais exprimé. Lors de l'élection générale de 1761, il est candidat au parlement pour la Cité de Londres, mais malgré avoir été un des 4 vainqueurs à un vote à main levée informel, il est battu au scrutin. Il reste cependant membre du Parlement pour Chippenham.
Pendant son second mandat au Parlement, il semble chercher activement des contrats avec le gouvernement pour son commerce, ce qui est facilité par le vote dont il dispose en tant que MP. En 1763, il décroche un contrat, en partenariat avec Adam Drummond, avec la Trésorerie, en tant que gestionnaire des payes versées aux forces britanniques dans les colonies d'Amérique du Nord. Lorsque le gouvernement du Marquis de Rockingham remplace celui de George Grenville, Fludyer fait partie de la liste de ceux dont les contrats sont censés être annulés, mais la rupture n'est pas signée avant , date à laquelle Rockingham démissionne. La nouvelle administration de William Pitt l'Ancien prolonge le contrat.
Fludyer se marie deux fois: d'abord avec Jane Clerke, décédée en 1757, avec qui il a une fille, puis avec Caroline Brudenell, en 1758. Il a deux fils avec elle:
Sir Samuel Fludyer (1759-1833), qui lui succède en tant que baronnet, et qui est élu Membre du Parlement pour Aldborough;
