A partir del siglo XIII dos bandas rivales dividieron la ciudad de Venecia: los Castellani que llevaban un sombrero y una bufanda roja y representaban la parte oriental de la ciudad; y los Nicolotti que llevaban un sombrero y una bufanda negra y representaban la parte occidental de Venecia. En la Edad Media, para resolver una importante disputa religiosa, las dos bandas decidieron encontrarse en este puente, el Ponte dei Pugni, que sería el puente de los Puños, y resolverla de una vez por todas. Ganaron los Castellani, pero la situación no cambió y las peleas a puñetazos siguieron hasta convertirse en eventos deportivos, cuyos jueces sentaban al pie del puente, anotando los puntos y controlando que no hubiera infracciones. Había tres tipos de pelea: Boxeo, en el que el primero que sangraba perdía la pelea; la ‘frota’ que era una gran pelea donde casi no había reglas ni restricciones; y por último había la “guerra ordenada” cuyo objetivo era que el mayor número de adversarios del equipo rival terminara en el agua del canal bajo el puente. Echar alguien al agua era más fácil porque hasta hace poco los puentes eran de madera y no tenían barandilla. Todo terminó en 1705, cuando se perdió el control de una pelea y algunos participantes, en contra de las reglas, sustituyeron los puños por cuchillos, piedras y bastones. El cura de la cercana iglesia de San Barnaba salió corriendo de la iglesia para separar los participantes, agitando una cruz en el aire y gritando en un frenesí de condena. Los locales siguen viniendo aquí a diario, aunque sólo para comprar frutas y verduras en el barco del verdulero.
