《中华人民共和国旅游法》第五十七条规定，旅游者行程开始前解除合同的，应按约定支付违约金，若在行程中解除合同，旅游经营者有权要求旅游者支付实际费用。因此旅游者不能随时单方面解除合同。