Ola Nico, o problema em questão pode ser resolvido com modelos de reconhecimento de gestos , um framework interessante para se estudar se chama mediapipe do goolge : https://developers.google.com/mediapipe/solutions/vision/gesture_recognizer, espero ter ajudado.