Con la siguiente línea de comandos, lograremos eliminar todos los directorios que estén vacíos a partir de el directorio en el que nos encontremos (.):
find . -type d -empty -print0 | xargs -0 rmdir
La explicación es sencilla, usamos find para buscar, le indicamos que queremos buscar directorios (-type d), que estén vacíos (-empty), y los mostramos por pantalla (print), posteriormente, al resultado de este comando le pasamos la orden de borrado de directorio usando Xargs.