Понимаешь, это не обязательно делается со злым умыслом, чтобы попортить другому жизнь. Чаще такие люди неплохие и ничего злонамеренного специально не творят. Без всякого гипноза и т.п. Просто мы их так воспринимаем (ну может не только мы, обычно почти все отмечают неприятное "послевкусие" после такого контакта).
Для упрощения можно сказать что такие типы несут какой-то "негатив", "тяжелую ауру" и т.п. - хотя могут быть вполне жизнерадостными. Наиболее простое и земное объяснение - что всё-же они напрягают своим поведением в т.ч. невербальным, возможно в них чувствуется скрытая агрессия и т.п.