C’est alors que la rupture entre Lambert et Varga provoqua un « procès » contre le second, accusé d’être un agent de la CIA et du KGB[1]. Varga est exclu en 1973[2]. On produisit des lettres de Varga demandant des subventions à des institutions américaines au moment de son arrivée en France après l'écrasement de la révolte hongroise de 1956, ou encore faisant état de la collaboration de Varga à la revue anticommuniste L'Est et l'Ouest financée par la CIA[3]. Ayant réuni les « preuves » dans une brochure verte (connue sous le titre Provocation dans la IVe Internationale – l’itinéraire du provocateur Varga, la direction de l’OCI décida d’exclure les « varguistes », parmi lesquels les frères Daniel, Alain et David Assouline[4]. Un comité international comprenant Lutte ouvrière, la LCR (dont le représentant dans ce comité était le futur journaliste du Monde, Georges Marion), la Tendance spartakiste internationale et le SWP, ne trouva aucun élément probant permettant de conclure que Varga était un agent du KGB et un agent de la CIA, que ce soit pendant la période 1957-1960 ou après avoir rejoint les rangs de l'OCI. Par contre, les archives personnelles de Varga montrent que celui-ci chercha des fonds auprès de multiples sources y compris des sources proches du gouvernement américain, pour financer son institut Imre Nagy[5]. La fraction varguiste organisa des diffusions de tracts à l’entrée des réunions de l’OCI, notamment à la Mutualité, ce qui occasionna de violents affrontements avec le service d’ordre lambertiste[3].
Michel Varga fonda par la suite la LIRQI[6], Ligue internationale de reconstruction de la Quatrième Internationale, puis la LOR, Ligue ouvrière révolutionnaire. Ce groupe regroupait des militants en France, mais aussi en Espagne et au Maroc.
Parmi les dirigeants de la LOR on trouve Daniel Assouline, Alain Assouline et David Assouline (lequel deviendra sénateur PS en 2004[4]). La LOR disposait d’une publication hebdomadaire de deux pages, dirigée par Daniel Assouline et ayant pour titre La Vérité des révolutionnaires et pour sous-titre Organe de la Ligue ouvrière révolutionnaire, section française de la Quatrième Internationale[7]. Ce groupe n’a probablement jamais dépassé la centaine d’adhérents[8].
La LOR avait l’habitude de mener des actions unitaires avec la LCR et avec LO et ces trois organisations présentèrent ensemble 3 700 candidats dans 80 communes aux élections municipales de 1983.
La LOR fusionna avec la LCR à l’automne 1987. Ses militants fusionnent alors avec la tendance animée par Gérard Filoche, la « T13 ».