Os Carters podem ter tido uma filha pequena, mas também tinham três noras quando Jimmy se tornou presidente, e a maior parte da família mudou-se para Washington.
Jack e sua esposa Julieta “Judy” Langford eles ficaram na Geórgia, onde conheceram seu filho Jason James Carter 7 de agosto de 1975 e onde está a filha Sara Alecrim nasceu em 19 de dezembro de 1978. (Após o divórcio, Jack se casou com a mãe de seus dois filhos Elizabeth Brasfield 15 de maio de 1992)
O segundo filho dos Carters, James Earl “Chip” Carter IIItrabalhou para o Comitê Nacional Democrata em Washington enquanto seu pai estava no cargo e mudou-se para a Casa Branca com sua esposa Caron Grifo, que estava grávida de oito meses no dia da inauguração. Mesmo assim, ela percorreu o percurso do desfile com o resto da família por vários quarteirões enquanto o presidente e a primeira-dama davam o passo sem precedentes de caminhar um quilômetro e meio do Capitólio até o número 1600 da Avenida Pensilvânia.
“As pessoas ao longo do percurso do desfile, quando nos viram chegando, começaram a aplaudir e a chorar”, Jimmy. mais tarde escreveu“e também foi uma experiência emocionante para nós.”
