是的，"人来人往"这个成语确实含有反义词。根据其含义，即人来来往往连续不断，也形容忙于应酬，其反义词主要包括：

人迹罕至：

形容地方偏僻，很少有人来往。

渺无人烟：

形容地方非常荒凉，几乎没有人烟。

门可罗雀：

形容门庭冷落，来客稀少。

荒山野岭：

形容地方荒凉，人烟稀少。

穷乡僻壤：

形容地方偏僻贫穷，人烟稀少。

冷冷清清：

形容环境冷清，没有人气。

这些反义词都表达了与“人来人往”相反的概念，即人烟稀少或地方偏僻。