Saya menggunakan dogtail (https://fedorahosted.org/dogtail/) untuk melakukan hal-hal seperti itu, dengan menggunakan ini saya telah membuat kerangka pengujian otomatis untuk aplikasi Linux(Ubuntu) saya. Kerangka itu mengklik tombol dan mengetik ke dalam kolom teks.
lihat contoh gedit, https://fedorahosted.org/dogtail/browser/examples/gedit-test-utf8-procedural-api.py
Jadi gunakan saja dogtail misalnya
dogtail.rawinput.click(100, 100)
Saya dapat menyarankan Anda PyAutoGUI, ini memungkinkan untuk mengontrol penuh Mouse dan Keyboard dan mendapatkan Tangkapan Layar dan bahkan Anda dapat menemukan gambar di dalam layar (seperti:di mana tombolnya?), sangat berguna untuk mengotomatiskan klik secara dinamis. Ini berfungsi untuk Windows, macOS, dan Linux.
Misalnya:
>>> import pyautogui
>>> screenWidth, screenHeight = pyautogui.size()
>>> pyautogui.moveTo(screenWidth / 2, screenHeight / 2)
Lihat halaman Pendahuluan.