A legenda szerint a szürke ember egy fiatalember szelleme, aki Charlestonból utazott menyasszonyához. Útközben a Pawley’s Island előtti mocsárban a Pawley’s Island előtti mocsárban futóhomokszerű pléhiszapba keveredett lovával együtt, és meghalt. Szelleme azóta is kísért a közeli parton, a lányt keresve, akit szeretett.
Néhány történet ellentmondásos a kilétét illetően, de néhány elképzelés a következő:
- Percival Pawley, a sziget névadója
- Plowden Charles Jeannerette Weston, egy korai lakos, aki a mai Pelican Inn nevű ház tulajdonosa volt
- Edward Teach, ismertebb nevén Blackbeard
Charles Joyner szerint a legenda úgy tűnik, hogy Julian Stevenson Bolick 1956-ban kiadott szellemtörténeteket tartalmazó könyvéből származik. A Szürke Ember országos figyelmet kapott közvetlenül a Hugo hurrikán után, amikor Jim és Clara Moore lakosok interjút adtak az Unsolved Mysteries című televíziós műsorban. Elmesélték történetüket arról, hogy látták a férfit a parton, és hogy eltűnt, amikor integettek neki. Az ő házukat megkímélte a vihar, míg a szomszédaik házai súlyosan megrongálódtak.
Mások, akik találkoztak a szellemmel, neki tulajdonították, hogy megmentette őket vagy az otthonukat. Vagy partra szálltak, vagy elhagyták a területet, és visszatérve otthonaikat és holmijukat sértetlenül találták a súlyos viharokban.
Azt írták le róla, hogy szürke ruhát és hosszú kabátot viselő, “kalózként” öltözött férfi, akinek néha nincs lába.