Legenden går så här: År 1814 besökte Thomas sin familj i Hartford, Connecticut. När han tittade ut genom fönstret lade han märke till att hans yngre bröder och systrar inte lekte med ett annat barn. När han gick ut för att undersöka saken fick han veta att denna unga kvinna, Alice Cogswell, var döv. Eftersom Thomas inte kunde teckenspråk försökte han kommunicera med Alice genom att peka på sin hatt och skriva H-A-T i smutsen. Hon förstod honom och han blev inspirerad att lära henne mer. Hennes far, Mason Cogswell, en förmögen läkare, finansierade därefter Thomas resa till Europa eftersom det vid den tiden inte fanns några skolor för döva barn i USA.
Thomas reste först till England, där han stötte på vägspärrar med familjen Braidwood. Denna familj drev många skolor för döva elever i England som fokuserade på den orala utbildningsmetoden, vilket innebar att eleverna förväntades behärska läppläsning och tal. De var inte alltför villiga att dela med sig av sina metoder till en ung uppkomling från Amerika, särskilt som Thomas inte kunde betala de avgifter de krävde. Samtidigt var han inte nöjd med att den muntliga metoden gav önskvärda resultat. Under sin vistelse i England träffade han emellertid Abbe Sicard, föreståndare för Institut Royal des Sourds-Muets i Paris, Frankrike, och två av hans lärare, Laurent Clerc och Jean Massieu, båda högutbildade akademiker från skolan. Thomas Hopkins Gallaudet följde med dem tillbaka till Frankrike för att lära sig mer av dem där. Inom kort fick han dock slut på pengar för att försörja sig själv. Då han insåg att han fortfarande inte var redo att starta en skola på egen hand, bad han Clerc att följa med honom tillbaka till Amerika. På vägen tillbaka lärde Clerc Thomas teckenspråk och Thomas lärde Clerc engelska, och tillsammans grundade de 1817 American School for the Deaf. Laurent Clerc blev den första döva läraren för döva elever i USA.
Gallaudet gifte sig senare med en av skolans utexaminerade, Sophia Fowler, och de fick åtta barn. Det yngsta barnet fick namnet Edward Miner Gallaudet. Vid 20 års ålder reste Edward Miner Gallaudet till Washington D.C. för att driva en skola för döva barn där. Sju år senare, 1864, undertecknade president Abraham Lincoln stadgan för att inrätta ett nationellt college för döva studenter. Gallaudet University är uppkallat efter Edwards far, Thomas Hopkins Gallaudet.