La leyenda sostiene que el Hombre Gris es el fantasma de un joven que viajaba desde Charleston para ver a su prometida. En el camino, él y su caballo quedaron atrapados en el lodo de arenas movedizas en los pantanos antes de la isla de Pawley, y murieron. Su espíritu ha rondado la costa cercana desde entonces, buscando a la chica que amaba.
Algunas historias han sido conflictivas sobre su identidad, pero algunas ideas incluyen:
- Percival Pawley, el homónimo de la isla
- Plowden Charles Jeannerette Weston, uno de los primeros residentes que era dueño de la casa que ahora es Pelican Inn
- Edward Teach, más conocido como Barbanegra
Charles Joyner dice que la leyenda parece originarse en un libro de historias de fantasmas de Julian Stevenson Bolick, publicado en 1956. El Hombre Gris recibió atención nacional justo después del huracán Hugo cuando los residentes Jim y Clara Moore fueron entrevistados en el programa de televisión Misterios sin resolver. Contaron su historia sobre la visión del hombre en la playa y cómo desapareció cuando les saludaron. Su casa se salvó de la tormenta mientras que las casas de sus vecinos sufrieron graves daños.
Otros que se han encontrado con el espíritu le han atribuido el mérito de haberles salvado a ellos o a sus casas. O bien han llegado a la orilla o han abandonado la zona y han regresado para encontrar sus casas y pertenencias indemnes a las fuertes tormentas.
Se le ha descrito como un hombre con ropa gris, un abrigo largo, vestido «como un pirata», y a veces sin piernas.