Robert Smith Jr. era filho de Robert Ferrer, aristocrata francês, que por ser huguenote sofria perseguições dos católicos, por isso fugindo dentro de um barril ficou a deriva no canal da Mancha. Foi recolhido por embarcação da Inglaterra, onde permaneceu algum tempo. Posteriormente, transferiu-se com um grupo de colonos protestantes para os Estados Unidos, onde adotou o sobrenome Smith (ferreiro).
Alem de Fannie, o casal Robert Smith e Mary Dollard, tiveram outras cinco filhas.