Elżbieta urodziła się w Nowym Jorku 28 sierpnia 1774 roku. Stany Zjednoczone stawały się wówczas na skutek walk niepodległościowych (1773-1783) z kolonii angielskiej – nowym, niepodległym państwem. Elżbieta była córką protestanckich rodziców. Miała zaledwie trzy lata, kiedy zmarła jej matka. Wtedy ojciec dziecka, Ryszard Bayley, dyrektor nowojorskiego szpitala, wszedł po raz drugi w związek małżeński. Jednak ciągłe konflikty córki z macochą doprowadziły do tego, że Elżbieta została zmuszona opuścić dom w wieku 16 lat. W dwudziestym roku życia wyszła za nowojorskiego kupca, Wiliama Magee Setona (1794), z którym miała pięcioro dzieci. Niestety, mąż zbyt ryzykował w swoich transakcjach kupieckich. Niebawem doprowadził swoje przedsiębiorstwo do bankructwa.