Legendan mukaan Harmaa mies on Charlestonista morsiamensa luo matkustaneen nuoren miehen aave. Matkalla hän ja hänen hevosensa jäivät kiinni juoksuhiekkaa muistuttavaan pluff-mutaan Pawley’s Islandia edeltävillä soilla ja kuolivat. Hänen henkensä on siitä lähtien kummitellut läheisellä rannalla etsien rakastamaansa tyttöä.
Joidenkin tarinoiden mukaan hänen henkilöllisyytensä on ollut ristiriitainen, mutta joitakin ideoita ovat mm. seuraavat:
- Percival Pawley, saaren nimenkantaja
- Plowden Charles Jeannerette Weston, varhainen asukas, joka omisti kodin, joka on nykyisin Pelican Inn
- Edward Teach, joka tunnetaan paremmin nimellä Mustaparta
Charles Joynerin mukaan legenda näyttäisi saaneen alkunsa Julian Stevenson Bolickin kummitustarinoita sisältävästä kirjasta, joka julkaistiin vuonna 1956. Harmaa mies sai kansallista huomiota heti hurrikaani Hugon jälkeen, kun asukkaita Jim ja Clara Moorea haastateltiin televisio-ohjelmassa Unsolved Mysteries. He kertoivat tarinansa miehen näkemisestä rannalla ja siitä, kuinka hän katosi, kun he vilkuttivat. Heidän talonsa säästyi myrskyssä, kun taas heidän naapureidensa kodit vaurioituivat pahoin.
Muut hengen kohdanneet ovat uskoneet hänen pelastaneen heidät tai heidän kotinsa. Joko he ovat nousseet maihin tai lähteneet alueelta ja palattuaan löytäneet kotinsa ja omaisuutensa vahingoittumattomina ankarista myrskyistä.
Hänet on kuvattu mieheksi, jolla on harmaat vaatteet ja pitkä takki, joka on pukeutunut ”kuin merirosvo” ja jolla joskus ei ole jalkoja.