交互软件是接受用户操作与控制的接口软件。交互软件提供构造不同控制设备间对话的机制(如跟踪器,触觉接口)，并把对话用于系统或应用，使多模式显示相应变化。 　　这个软件的第一部分由控制设备取得输入，并解释它们。可以使用几个程序库，作为商业产品或作为共用件(shareware)，它可以读普通接口设备的数据，如Data Glove和各种跟踪器。商业程序库的例子有Sense 8的World Toolkit。程序库包括由接口设备得到输出的驱动器，和包括予测跟踪和手姿识别的程序。 　　构造交互软件的第二部分转变系统状态信息，由控制设备进入对话（这对系统和应用是有意义的），同时滤掉对话中错误的不可靠的部分（这可能由输入设备中的错误数据产生）。然后把这些对话送交虚拟世界系统，执行某些有用的操作。 　　交互是VR系统关键部分，它涉及硬件和软件。VR中接口硬件提供身体各部分的位置和状态。这些信息一般用于：(1)映射用户行为到环境变化(如手移动物体)，(2)发命令给环境(如手姿或按键)，(3)提供信息输入(如语音,文本或数值输入)。用户意图应由硬件输出判定。由于硬件的不精确，推理可能复杂化。