Legenden siger, at den grå mand er spøgelset af en ung mand, der rejste fra Charleston for at se sin forlovede. Undervejs blev han og hans hest fanget i kviksandlignende pludsel mudder i marsken før Pawley’s Island, og de døde. Hans ånd har hjemsøgt kysten i nærheden lige siden og ledt efter den pige, han elskede.
En del historier har været uenige om hans identitet, men nogle ideer er bl.a.:
- Percival Pawley, øens navnebror
- Plowden Charles Jeannerette Weston, en tidlig beboer, der ejede det hjem, der nu er Pelican Inn
- Edward Teach, bedre kendt som Blackbeard
Charles Joyner siger, at legenden synes at stamme fra en bog med spøgelseshistorier af Julian Stevenson Bolick, der blev udgivet i 1956. Den grå mand fik national opmærksomhed lige efter orkanen Hugo, da beboerne Jim og Clara Moore blev interviewet i tv-programmet Unsolved Mysteries (Uopklarede mysterier). De fortalte deres historie om, at de havde set manden på stranden, og at han forsvandt, da de vinkede. Deres hus blev skånet i stormen, mens deres naboers huse blev stærkt beskadiget.
Andre, der har mødt ånden, har krediteret ham for at have reddet dem eller deres hjem. Enten er de kommet i land eller har forladt området og er vendt tilbage for at finde deres hjem og ejendele uskadte af de voldsomme storme.
Han er blevet beskrevet som en mand iført gråt tøj, en lang frakke, klædt “som en pirat” og nogle gange som en mand uden ben.