De legende gaat als volgt: In 1814 bezocht Thomas zijn familie in Hartford, Connecticut. Toen hij uit het raam keek, merkte hij dat zijn jongere broers en zussen niet met een ander kind aan het spelen waren. Toen hij op onderzoek uitging, ontdekte hij dat deze jonge vrouw, Alice Cogswell, doof was. Thomas kende geen gebarentaal en probeerde met Alice te communiceren door op zijn hoed te wijzen en H-A-T in het vuil te schrijven. Zij begreep hem en hij werd geïnspireerd om haar meer te leren. Haar vader, Mason Cogswell, een rijke arts, financierde vervolgens Thomas’ reis naar Europa, aangezien er in de Verenigde Staten op dat moment geen scholen voor dove kinderen waren.
Thomas reisde eerst naar Engeland, waar hij op wegversperringen stuitte bij de familie Braidwood. Deze familie beheerde in Engeland veel scholen voor dove leerlingen die zich richtten op de orale onderwijsmethode, wat betekent dat van de leerlingen werd verwacht dat zij liplezen en spraak beheersten. Zij waren niet erg bereid om hun methoden te delen met een jonge beginneling uit Amerika, vooral omdat Thomas niet in staat was om het gevraagde schoolgeld te betalen. Tegelijkertijd was hij er niet tevreden over dat de orale methode de gewenste resultaten opleverde. Toen hij echter in Engeland was, ontmoette hij Abbe Sicard, de directeur van het Institut Royal des Sourds-Muets in Parijs, Frankrijk, en twee van zijn faculteitsleden, Laurent Clerc en Jean Massieu, beiden hoog opgeleid aan deze school. Thomas Hopkins Gallaudet vergezelde hen terug naar Frankrijk om daar meer van hen te leren. Het duurde echter niet lang of hij had geen geld meer om zichzelf te onderhouden. Hij besefte dat hij nog niet klaar was om zelf een school op te richten en riep Clerc op om hem naar Amerika te vergezellen. Op de terugweg leerde Clerc Thomas gebarentaal en Thomas leerde Clerc Engels, en samen richtten zij in 1817 de American School for the Deaf op. Laurent Clerc werd de eerste dovenleraar voor dove leerlingen in de Verenigde Staten.
Gallaudet trouwde later met een van de afgestudeerden van de school, Sophia Fowler, en zij kregen acht kinderen. Het jongste kind heette Edward Miner Gallaudet. Op 20-jarige leeftijd reisde Edward Miner Gallaudet naar Washington, D.C., om daar een school voor dove kinderen te leiden. Zeven jaar later, in 1864, ondertekende President Abraham Lincoln het handvest voor de oprichting van een nationale hogeschool voor dove studenten. Gallaudet University is genoemd ter ere van Edwards vader, Thomas Hopkins Gallaudet.