Nacque a Santo Stefano di Magra (SP) il 6 marzo 1847.

Fu allievo alla Scuola Normale di Pisa ove si laureò nel 1869.

Dapprima si dedicò all'insegnamento medio.
Nel 1878 gli fu affidata la cattedra di Algebra all'Università di Palermo.
Due anni più tardi (188o), passò per concorso alla cattedra di Calcolo all'Università di Bologna, che conservò sino alla morte.

I principali contributi dell'Arzelà riguardano la teoria delle funzioni di variabile reale e, più specialmente, le successioni di funzioni di una variabile che inquadrò nella teoria delle funzioni di due variabili reali.
In particolare, determinò la condizione necessaria e sufficiente per la continuità della somma di una serie di funzioni continue e il criterio di uguale continuità che porta il suo nome.

Si occupò pure del principio di Dirichlet, spianando la via alla celebre giustificazione di esso data dall'Hilbert.

Socio corrispondente dell'Accademia Nazionale dei Lincei e di varie altre accademie.

Nel 1907 divise col Castelnuovo il Premio Reale dei Lincei.

Morì a Santo Stefano Magra (SP) il 15 marzo 1912.