Малышка, ты совершенно правильно говоришь... В такой ситуации не расслабишься. Да и нельзя этого делать. К "бывшим" часто уходят... Это печальная статистика...
Истерики тут конечно не помогут, но выражать мужу своё недовольство подобным общением все же стоит. Мягко, но постоянно. Он должен понять, что это тебя беспокоит и огорчает, и свести их общение к минимуму или прекратить вообще.