ну это же обстоятельства. конечно, бытие накладывает свой отпечаток на сознание, но бедный не значит плохой.
вообще, если бы тема звучала как "общение с плохими людьми", однозначно все бы быстрее сошлись во мнении, что с плохими людьми лучше не общаться от слова совсем.
Кстати в целом в русской культуре принято страдать. страдание - это хорошо. быть счастливым и богатым считается греховным. это если говорить о русской литературе. она воспевает страдание.