La légende veut que l’homme gris soit le fantôme d’un jeune homme voyageant de Charleston pour voir sa fiancée. En chemin, lui et son cheval ont été pris dans une boue de pluff semblable à des sables mouvants dans les marais avant Pawley’s Island, et sont morts. Son esprit hante depuis lors le rivage voisin, à la recherche de la fille qu’il aimait.
Certaines histoires ont été contradictoires sur son identité, mais voici quelques idées :
- Percival Pawley, l’homonyme de l’île
- Plowden Charles Jeannerette Weston, un résident de la première heure qui possédait la maison qui est maintenant le Pelican Inn
- Edward Teach, plus connu sous le nom de Barbe Noire
Charles Joyner dit que la légende semble provenir d’un livre d’histoires de fantômes de Julian Stevenson Bolick, publié en 1956. L’homme gris a attiré l’attention nationale juste après l’ouragan Hugo lorsque les résidents Jim et Clara Moore ont été interviewés dans l’émission de télévision Unsolved Mysteries. Ils ont raconté qu’ils avaient vu l’homme sur la plage et qu’il avait disparu lorsqu’ils l’avaient salué. Leur maison a été épargnée par la tempête alors que les maisons de leurs voisins ont été lourdement endommagées.
D’autres personnes qui ont rencontré l’esprit lui ont attribué le mérite de les avoir sauvés ou d’avoir sauvé leurs maisons. Soit ils ont débarqué, soit ils ont quitté la région et sont revenus pour trouver leurs maisons et leurs biens indemnes de violentes tempêtes.
Il a été décrit comme un homme portant des vêtements gris, un long manteau, habillé « comme un pirate », et parfois comme n’ayant pas de jambes.