在《三国演义》中，诸葛亮借东风的故事里，他手中的旗子实际上飘向的是 西北方向。原因如下：

借东风的目的：

诸葛亮借东风是为了火攻赤壁，而赤壁之战发生在冬季，盛行西北风。因此，他需要的是东南风来助火攻。

实际风向：

虽然诸葛亮借的是东南风，但当时实际的风向是西北风。因此，当东南风吹来时，旗子会飘向相反的方向，即西北方向。

文学与历史的差异：

需要注意的是，《三国演义》是一部历史小说，其中的情节并非完全符合历史事实。虽然有些细节可能经过艺术加工，但借东风的故事核心是展示诸葛亮的智慧和策略。

综上所述，诸葛亮借东风时，他手中的旗子飘向西北方向，是因为他借的是东南风，而当时实际的风向是西北风。