当有人引用“物以类聚，人以群分”这一成语时，你可以从以下几个方面进行反驳或讨论：

成语的本意

“物以类聚”指的是同类的东西聚在一起，而“人以群分”则是指性格、志趣、爱好相同的人容易聚集在一起。这个成语本身并没有贬义，只是描述了一种自然现象和社会现象。

避免标签化

批评使用这一成语的人可能是在攻击个人，暗示对方势利眼或歧视。这种批评忽视了成语本身的中性，而是将焦点放在了使用者的意图上。

共同点与差异

强调即使人们属于不同的群体，也可以通过共同点建立联系和相处。例如，不同兴趣爱好或地位的人也可以找到共同话题和相处之道，求同存异是关键。

社会角色与责任

对于公众人物、社会工作者和党政领导等，应该具备与不同人群打交道的能力，以促进社会和谐和提高工作效率，而不是拘泥于“物以类聚，人以群分”的观念。

仁德与道义

指出人际关系的长久与否取决于维系关系的核心因素，如仁德、道义或崇高的理想抱负。这样的关系更能经受时间的考验，而基于利益的关系则可能在利益消失后瓦解。

避免刻板印象

提醒对方避免使用这一成语来刻板地评判他人，每个人都是独特的，不能仅仅根据他们周围的人群来判断他们的性格或品质。

通过以上几点，你可以全面而深入地讨论“物以类聚，人以群分”这一成语，既尊重其本意，又避免其被误用或滥用。