挨在一起的合不来的同事，是挺郁闷的。

可以先分析一下他说这话的原因吧，暂时想到了两点，一是这个人本生看不起非英语母语的人，二是他的确有困难听懂你的英语。

情况一就比较难办了，如果是二的话你还可以做些事情来改善，说话时节奏放慢了，单词尽量发标准了。还有说有没工作的时候聊聊天了。总之多沟通吧。