Legenden går sådan her: I 1814 besøgte Thomas sin familie i Hartford, Connecticut. Da han kiggede ud af vinduet, bemærkede han, at hans yngre brødre og søstre ikke legede med et andet barn. Da han gik ud for at undersøge sagen, fandt han ud af, at denne unge kvinde, Alice Cogswell, var døv. Da Thomas ikke kunne tegnsprog, forsøgte han at kommunikere med Alice ved at pege på sin hat og skrive H-A-T i jorden. Hun forstod ham, og han blev inspireret til at lære hende mere. Hendes far, Mason Cogswell, en velhavende læge, finansierede efterfølgende Thomas’ rejse til Europa, da der ikke fandtes skoler for døve børn i USA på det tidspunkt.
Thomas rejste først til England, hvor han stødte på vejspærringer hos Braidwood-familien. Denne familie drev mange skoler for døve elever i England, der fokuserede på den mundtlige undervisningsmetode, hvilket betød, at eleverne forventedes at beherske læbelæsning og tale. De var ikke alt for villige til at dele deres metoder med en ung nybegynder fra Amerika, især ikke fordi Thomas ikke var i stand til at betale de gebyrer, de krævede. Samtidig var han ikke tilfreds med, at den mundtlige metode gav ønskværdige resultater. Under sit ophold i England mødte han imidlertid Abbe Sicard, lederen af Institut Royal des Sourds-Muets i Paris, Frankrig, og to af hans lærere, Laurent Clerc og Jean Massieu, begge højtuddannede kandidater fra skolen. Thomas Hopkins Gallaudet ledsagede dem tilbage til Frankrig for at lære mere af dem der. Inden længe løb han imidlertid tør for midler til at forsørge sig selv. Da han erkendte, at han stadig ikke var klar til at oprette en skole på egen hånd, opfordrede han Clerc til at ledsage ham tilbage til Amerika. På vejen tilbage lærte Clerc Thomas tegnsprog, og Thomas lærte Clerc engelsk, og sammen etablerede de den amerikanske skole for døve i 1817. Laurent Clerc blev den første døve lærer for døve elever i USA.
Gallaudet blev senere gift med en af skolens dimittender, Sophia Fowler, og de fik otte børn. Det yngste barn fik navnet Edward Miner Gallaudet. I en alder af 20 år rejste Edward Miner Gallaudet til Washington, D.C., for at lede en skole for døve børn der. Syv år senere, i 1864, underskrev præsident Abraham Lincoln charteret om at oprette et nationalt college for døve studerende. Gallaudet University er opkaldt til ære for Edwards far, Thomas Hopkins Gallaudet.