这个问题没有一个确定的答案，因为每个人的情况都不同。有些男人可能会很快意识到他们的情人已经断了联系，并感到不安和焦虑，而另一些男人可能会很长时间才意识到这一点，或者可能并不会感到特别焦虑。此外，这也取决于男人和婚外情人之间的关系以及他们在一起的频率和方式。
然而，一般来说，如果婚外情人在过去的几天或几周内没有回复男人的消息或电话，男人可能会开始感到焦虑和担心。如果这个情况持续了更长时间，比如说一个月或更长时间，男人可能会非常不安，甚至开始主动寻找婚外情人的下落。
需要强调的是，婚外情并不是一种健康的关系形式，而且对所有参与者都会带来伤害和痛苦。如果你是男人，发现自己对婚外情人的关系感到焦虑或担忧，你可能应该开始认真考虑结束这段关系，以避免更多的痛苦和伤害。
