“人以类聚物以群分” 不是骂人的话，而是一个中性词。这个成语的意思是指同类的东西常聚在一起，志同道合的人相聚成群，反之就分开。它出自《战国策·齐策三》和《易经·系辞上》。

具体来说，这个成语可以用作褒义，也可以用作贬义，具体取决于使用的语境。例如，当描述朋友之间门当户对、志同道合时，它是褒义词；而当描述坏人相互勾结时，它则带有贬义。

因此，在使用“人以类聚物以群分”这个成语时，需要根据具体的语境来判断其感情色彩，而不能简单地将其视为贬义词。