Answer:
you answer that you will come and ask for the proper time to arrive (merci ; c'est très gentil de votre part. A quelle heure devons nous arriver ?)
or you anwer that you cannot come for whatever reason (previous engagement, ect..)
(nous vous remercions de votre invitation ; nous sommes désolés de ne pouvoir accepter / de ne pas pouvoir venir, car nous serons en voyage ...)