Je doute que ça soit dû à tes idées, surtout si tu ne les as pas affichées dans le bureau de vote (chose illégale, par ailleurs). Si tu as, comme tu le dis, un physique disgracieux, sa réaction doit plutôt venir de là.
J'ai été assesseur en 2022, puis là aux européennes, et franchement, à moins qu'un électeur soit impoli ou vienne troubler l'ordre public (comme la prof tarée à Bourg-en-Bresse qui a renversé les tables...), on ne montre aucune hostilité. Là, ce que tu décris, ça ressemble plus à une réaction instinctive d'antipathie.