Der Legende nach ist der Graue Mann der Geist eines jungen Mannes, der von Charleston zu seiner Verlobten reiste. Unterwegs gerieten er und sein Pferd in den Sümpfen vor Pawley’s Island in Treibsand-ähnlichen Schlamm und starben. Seitdem spukt sein Geist an der nahe gelegenen Küste herum und sucht nach dem Mädchen, das er liebte.
Einige Geschichten haben sich über seine Identität widersprochen, aber einige Ideen beinhalten:
- Percival Pawley, der Namensgeber der Insel
- Plowden Charles Jeannerette Weston, ein früher Bewohner, dem das Haus gehörte, das heute das Pelican Inn ist
- Edward Teach, besser bekannt als Blackbeard
Charles Joyner sagt, die Legende scheine aus einem Buch mit Geistergeschichten von Julian Stevenson Bolick zu stammen, das 1956 veröffentlicht wurde. Der Graue Mann erlangte kurz nach dem Hurrikan Hugo nationale Aufmerksamkeit, als die Bewohner Jim und Clara Moore in der Fernsehsendung Unsolved Mysteries interviewt wurden. Sie erzählten, wie sie den Mann am Strand sahen und wie er verschwand, als sie ihm zuwinkten. Ihr Haus blieb von dem Sturm verschont, während die Häuser ihrer Nachbarn schwer beschädigt wurden.
Andere, die dem Geist begegnet sind, haben ihm zugeschrieben, dass er sie oder ihre Häuser gerettet hat. Entweder kamen sie an Land oder verließen die Gegend und kehrten zurück, um ihre Häuser und Habseligkeiten unversehrt von schweren Stürmen vorzufinden.
Er wurde als ein Mann beschrieben, der graue Kleidung und einen langen Mantel trug, der „wie ein Pirat“ gekleidet war und manchmal keine Beine hatte.