Seit dem 13. Jahrhundert war Venedig dafür berühmt, unter zwei rivalisierenden Faktionen aufgeteilt zu sein: den Castellani, die rote Hüte und Schals trugen und Ostvenedig repräsentierten, und die Nicolotti, mit schwarzen Hüten und Schals, die für den westlichen Teil der Stadt standen.
Um einen großen Religionsstreit im Mittelalter beizulegen, planten sie ein Treffen auf dieser Brücke, der Ponte dei Pugni (was sich mit ‚Brücke der Fäuste‘ übersetzen lässt), damit der Streit ein für alle Mal beendet wird. Die Castellani haben zwar gewonnen, doch die Kämpfe haben damit nicht aufgehört. Die Faustkämpfe wurden später weiter als sportliche Wettkämpfe ausgetragen, bei denen Richter am Fuße der Brücke saßen, Punkte zählten und Regelverstöße notierten. Es gab drei Arten an Kämpfen: Boxen, bei dem derjenige verlor, der als erstes zu bluten begann. Dann gab es ‚frota‘, bei dem es sich um eine große Schlägerei mit so gut wie keinen Einschränkungen handelte, und schließlich den ‚geordneten Krieg‘, dessen Ziel es war, so viele Mitstreiter wie möglich von der Brücke ins Wasser zu werfen. Früher bestanden diese Brücken alle aus Holz und hatten keine Geländer. Das Ganze fand 1705 allerdings ein jähes Ende, als ein Kampf außer Kontrolle geriet und einige Teilnehmer Messer, Steine und Stecken benutzten, was natürlich gegen die Regeln verstieß. Die Kämpfer wurden vom Priester der nahegelegenen Kirche San Barnaba auseinandergetrieben, der rennend sein Kreuz durch die Luft wedelte und wütend verdammende Schreie von sich gab. Die Einheimischen kommen auch heute noch jeden Tag hierher, holen sich aber meistens nur ein paar Sachen vom Obst- und Gemüsehändlerboot, anstatt sich gegenseitig zu verprügeln.