Podle pověsti je Šedý muž duchem mladého muže, který cestoval z Charlestonu za svou snoubenkou. Cestou uvízl i se svým koněm v bahně podobném tekutým pískům v bažinách před Pawley’s Islandem a zemřel. Jeho duch od té doby straší na nedalekém pobřeží a hledá dívku, kterou miloval.
Některé příběhy si v otázce jeho identity protiřečí, ale mezi některé nápady patří např:
- Percival Pawley, jmenovec ostrova
- Plowden Charles Jeannerette Weston, dřívější obyvatel, který vlastnil dům, v němž je nyní hostinec Pelican Inn
- Edward Teach, známější jako Černovous
Charles Joyner tvrdí, že legenda zřejmě pochází z knihy duchařských příběhů Juliana Stevensona Bolicka, vydané v roce 1956. Šedý muž získal celonárodní pozornost těsně po hurikánu Hugo, když byli obyvatelé Jim a Clara Mooreovi zpovídáni v televizním pořadu Nevyřešené záhady. Vyprávěli svůj příběh o tom, jak viděli muže na pláži a jak zmizel, když jim zamávali. Jejich dům byl při bouři ušetřen, zatímco domy jejich sousedů byly těžce poškozeny.
Další lidé, kteří se s duchem setkali, mu připisují záchranu sebe nebo svých domů. Buď vystoupili na břeh, nebo opustili oblast a vrátili se, aby našli své domy a majetek nepoškozené silnými bouřemi.
Byl popisován jako muž v šedém oděvu, dlouhém kabátě, oblečený „jako pirát“ a někdy jako muž bez nohou.