Без меня ему не нужен наш ребенок

Недавно мы расстались с моим гражданским мужем. Нашему ребенку только – только 3 месяца исполнилось. Впоследствии мы не общались, он нас не навещал, пару раз только купил детское питание. Мужчина, с которым сейчас живем вместе, в принципе не против усыновления моего ребенка, но проблема в том, что разница во внешности чересчур заметна. Ведь скоро сын подрастет и сам все поймет. Я бывшему говорила, что как отец он нам нужен, а он ответил, что либо я возвращаюсь с ребенком, либо пусть каждый живет своей жизнью. То есть сын ему, видно, не нужен. Очень меня удручает и тревожит данная ситуация. Посоветуйте, как быть с этим человеком, сама не нахожу ответа.