碰到出轨的男人两边都想要，应该怎么办呢？