同事经常邀请我晚上一块吃饭，不是和哪一个人单独吃饭，几个人一块，男朋友经常给我打电话，我和同事在一块时，不方便和他常时间聊，他一旦知道我出去吃饭，就会生气，我已经拒绝同事几次了，同事反倒说我：不喜欢和他们在一起－－我该怎么办？