Fanny Kelly war die Tochter eines James Wiggins, der im Zuge der großen Aussiedlerwelle zwischen 1852 bis 1856 sein Glück in Kansas versuchen wollte. Er schloss sich 1856 einer Gruppe von Siedlern an, die im Allen County in Kansas den Ort Geneva gründeten. Danach kehrte er nach zu seiner Familie zurück, um diese nachzuholen. Während der Reise erkrankte er an der Cholera und verstarb. Seine Witwe setzte den Weg mit ihrer Tochter Fanny alleine fort. In Geneva lernte Fanny Josiah S. Kelly kennen, den sie heiratete. Da dieser gesundheitlich angeschlagen war, beschloss die Familie, nach Idaho überzusiedeln und schloss sich am 17. Mai 1864 einem kleinen Treck an. Dieser wurde am 12. Juli 1864 von einer großen Anzahl Hunkpapa-Soiux überfallen, wobei fünf Weiße getötet und vor allem Frauen und Kinder verschleppt wurden, darunter auch Fanny Kelly. Ihre Gefangenschaft dauerte bis zum 12. Dezember 1864, wo sie wieder freigelassen und den Soldaten von Fort Sully übergeben wurde.