Dire de quelqu'un "qu'il a eu le nez fin". Antisémite ?

L'autre jour je parlais d'un collègue qui a fait du fric en soulignant "qu'il avait eu le nez fin" et on m'a accusé d'antisémitisme.

Je précise que le collègue a effectivement un nom qui se termine par "berg".