Keluarga Carter menghabiskan hari-hari awal mereka sebagai suami dan istri di Pangkalan Angkatan Laut di Norfolk, Virginia, tempat Jimmy menghabiskan sebagian besar minggunya untuk mengerjakan tugas dan Rosalynn menikmati kursus kilat di bidang ekonomi rumah tangga.
Anak pertama mereka, laki-laki John William “Jack” Carterlahir 3 Juli 1947, jadi pasangan ini merayakan ulang tahun pertama mereka di rumah sakit sebagai keluarga beranggotakan tiga orang. Tahun berikutnya, Jimmy terpilih mengikuti sekolah kapal selam di New London, Connecticut, dan akhirnya memiliki jam kerja tetap sehingga ia bisa pulang setiap malam bersama istri dan anaknya.
Selamat datang putranya James Earl “Chip” Carter III pada 12 April 1950, saat mereka tinggal di Hawaii. Kemudian dia berada di San Diego, California, dan kemudian kembali ke New London – tempat putranya Donnell Jeffrey “Jeff” Carter Ia lahir pada tanggal 18 Agustus 1952. Mereka pindah ke Schenectady, New York, agar Jimmy bisa belajar energi nuklir di Union College.
Rosalyn mengatakan dia berencana menjadi istri Angkatan Laut, berpindah dari kota ke kota dan melihat dunia bersama suaminya. Yang akhirnya dia lakukan, tapi tidak seperti yang dia bayangkan.
