RSYNC por defecto intenta conectar al puerto ssh 22, en el caso que utilicéis un puerto distinto (totalmente recomendable por cierto) tendréis que especificarlo, sino no funcionará.
Para especificar un puerto distinto al 22 utilizando rsync hay que pasarle la opción -e del siguiente modo:
rsync -e 'ssh -P9999'
Simplemente modificad 9999 por el puerto que utilicéis y ya funcionará, podéis ver ejemplos totalmente funcionales del uso de rsync en este otro artículo.