Volgens de legende is de Gray Man de geest van een jongeman die vanuit Charleston op weg was om zijn verloofde te zien. Onderweg kwamen hij en zijn paard vast te zitten in de drijfzandachtige modder in de moerassen voor Pawley’s Island, en stierven. Zijn geest waart sindsdien rond aan de kust, op zoek naar het meisje van wie hij hield.
Sommige verhalen zijn tegenstrijdig over zijn identiteit, maar enkele ideeën zijn:
- Percival Pawley, de naamgever van het eiland
- Plowden Charles Jeannerette Weston, een vroege bewoner die het huis bezat dat nu Pelican Inn is
- Edward Teach, beter bekend als Blackbeard
Charles Joyner zegt dat de legende lijkt te zijn ontstaan uit een boek met spookverhalen van Julian Stevenson Bolick, gepubliceerd in 1956. De Grijze Man kreeg nationale aandacht vlak na Orkaan Hugo toen bewoners Jim en Clara Moore werden geïnterviewd in het televisieprogramma Unsolved Mysteries. Zij vertelden hun verhaal over het zien van de man op het strand en hoe hij verdween toen zij zwaaiden. Hun huis bleef gespaard in de storm terwijl de huizen van hun buren zwaar beschadigd werden.
Anderen die de geest zijn tegengekomen hebben hem gecrediteerd met het redden van hen of hun huizen. Of ze zijn aan land gekomen of hebben het gebied verlaten en zijn teruggekeerd om hun huizen en bezittingen ongedeerd door de zware stormen aan te treffen.
Hij is beschreven als een man met grijze kleding, een lange jas, gekleed “als een piraat,” en soms alsof hij geen benen had.