Bueno, eso depende ... para empezar te sirve si queres que la información que envias pueda ser verificada por quien la recibe, y también te sirve si vos queres verificar que lo que recibiste esta ``entero'' y sin cambios. Por esta última razón, yo creo que todas las personas que utilizan código libre necesitan saber utilizar gpg. Se ha tornado algo común, especialmente en código fuente de software de seguridad, firmar digitalmente los archivos, de esta forma todos los que utilizamos estos fuentes podemos estar seguros de que no fue modificado en ninguna parte (como por ejemplo en el servidor ftp del cual descargamos el paquete).
Las otras razones son las más obvias, si queres enviar correos encriptados y/o firmados digitalmente a tus amigos, parientes, compañeros de trabajo, etc. que también utilicen gpg o cualquier software compatible con OpenPGP, necesitas gpg. Si queres desencriptar las cosas que te mandan tus amigos, parientes, compañeros de trabajo, etc., también necesitas gpg.