A partire dal 13 secolo e per gran parte del medioevo, Venezia era divisa in due grandi fazioni: i Castellani, il cui colore era il rosso, che occupavano la zona orientale della città, e i Nicolotti, vestiti di blu, nella parte occidentale. Nel medioevo, ci fu una disputa particolarmente accesa e si decise di organizzare un incontro proprio su questo ponte, il Ponte dei Pugni, per stabilire chi avrebbe preso il comando della città. Vinsero i Castellani, tuttavia le lotte sul ponte non smisero, e col tempo divennero veri e propri eventi sportivi, con tanto di giudici ufficiali e presiedere. C’erano tre tipi di incontri: ‘pugilato’, nel quale il primo a perdere sangue veniva squalificato; ‘la guerra ordinata’, il cui scopo era quello di lanciare in canale il maggior numero di avversari; e infine ‘la frota’, che era essenzialmente una lotta all’ultimo sangue senza regole. Da ricordare che fino al 19 secolo, I ponti erano in legno e non possedevano corrimano. Queste risse organizzate furono terminate nel 1705, quando sfuggì di mano la situazione e un gruppo di partecipanti si presentò con coltelli, sassi e bastoni, il ché era espressamente vietato. Lo scontro venne interrotto dal parroco della vicina chiesa di San Barnaba, che cominciò a correre freneticamente in mezzo alla folla reggendo un crocifisso in aria e urlando condanne a squarciagola. D’allora in poi, sul ponte forse solo ragazzini si scambiano qualche pugno per gioco. I veneziani percorrono questo ponte ogni giorno, anche se si tratta solamente di fare qualche spesa alla barca del fruttivendolo.