В общем-то, нет. Это будет выглядеть не более грубо, чем если бы вы вытерли рот по окончании совместного обеда.
Однако стоит иметь в виду, что подобный жест может быть истолкован вашим партнером как знак того, что вам не понравилось ощущение его слюны.
Поэтому не стоит это афишировать.