Personalmente me resulta extremadamente incómodo el modo visual de VIM:
Este modo es una mejora respecto a vi. Mediante unas ciertas combinaciones de teclas en combinación con las teclas de movimiento del cursor, se puede marcar un área de texto, ya sea un grupo de líneas o un bloque. Una vez se tiene el texto marcado se pueden usar comandos del modo comandos para manipularlo. Las operaciones que se pueden realizar en este modo son más simples que las del modo comandos.
Para desactivarlo hay dos opciones, la forma permanente es editar el fichero ~/.vimrc y añadir lo siguiente:
set mouse-=a
Si queréis hacerlo solo para la terminal vim abierta, ejecutad dentro de vim:
:set mouse-=a
Via | www.varesano.net