А что Вы собственно хотите? Вопрос-то ведь простой - что сильнее: чувство долга по отношению к ребенку или чувство к этой женщине. Все. Совет один: примите решение. Туда или оттуда. И выполняйте его. До звона в голове. Само ничего никогда не устроится.
Другого пути к сожалению нет. Увы.
С уважением, как человек однажды испытавший подобное - человеку которому это предстоит.