委托人或者受托人可以随时。因解除合同给对方造成损失的，除不可归责于该当事人的事由以外，应当赔偿损失。
委托合同是以双方信任为存在的条件，如果一方不守信用，失信于另一方，继续已无必要，法律赋予了双方当事人的，即只要一方想终止合同，就可以随时解除合同，而且不须有任何的理由。
委托合同的一方当事人解除委托合同而造成对方损失的，应当承担赔偿责任。解除委托合同受到的损害，就委托人而言，通常是受托人未完成委托事务而解除合同，委托人自己不可能亲自处理该项事务，而且又不能及时找到合适的受托人代他处理该委托事务而发生损害的情形;就受托人而言，是指由于委托人在受托人处理委托事务尚未完成前解除了合同，使受托人因不能继续履行义务而少获得报酬。
受托人处理事务不尽注意义务，怠于委托事务的处理，委托人无奈而解除委托合同，虽会给受托人造成一定损失，但因解除合同事由不可归责于委托人或者不能完全归责于委托人，委托人对受托人因而遭受的损失不予赔偿或者只赔偿其部分损失。
委托合同是以双方信任为存在的条件，如果一方不守信用，失信于另一方，继续已无必要，法律赋予了双方当事人的，即只要一方想终止合同，就可以随时解除合同，而且不须有任何的理由。
1.委托人可以随时撤销委托。如果互相没有信任或者已不再需要办理委托的事项，委托人即可单方解除委托合同，无须征得受托人的同意即可发力。但是受托人可以要求委托人赔偿相应的损失。
2.受托人可以随时辞去委托。委托合同的成立既需要委托人对受托人的了解和信任，也需要受托人对委托人的信任。如果受托人不愿意办理受委托的事务，受托人无须表明任何理由，即可解除合同。
委托合同的一方当事人在不利于对方当事人的时期解除委托合同而造成对方损失的，应当承担赔偿责任，所谓不利于对方当事人的时期，就不利于委托人方面而言，当受托人在未完成委托事务的情况下解除合同时，委托人自己不可能亲自处理该项事务，而且又不能及时找到合适的受托人代他处理该委托事务而发生损害的情形;就不利于受托人方面而言，是指由于委托人在受托人处理委托事务尚未完成前解除了合同，使受托人因不能继续履行义务而少获的报酬。委托人除对受托人已履行的部分给付报酬外，对在不可归责于受托人的情况下，因解除委托合同给委托人造成的报酬减少承担赔偿责任。