]> git.aero2k.de Git - urlbot-v3.git/commitdiff
attempt to fix amazon errors
authorThorsten <mail@aero2k.de>
Mon, 19 Dec 2022 15:21:05 +0000 (16:21 +0100)
committerThorsten <mail@aero2k.de>
Mon, 19 Dec 2022 15:21:05 +0000 (16:21 +0100)
distbot/common/utils.py
distbot/plugins/url.py

index c115ab9fd347723ad215f8449ccd1af2cb3df1b6..6ca819a54726e9633ff5f6caa476daa0d9f29ef5 100644 (file)
@@ -11,7 +11,7 @@ from functools import wraps
 logger = logging.getLogger(__name__)
 
 BUFSIZ = 8192
-USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'
+USER_AGENT = 'Mozilla/5.0 (iPhone; CPU iPhone OS 16_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) CriOS/108.0.5359.112 Mobile/15E148 Safari/604.1'
 
 
 def retry(ExceptionToCheck, tries=4, delay=3, backoff=2, logger=None):
index e421f89da17c6598d2a4f581c6a7b2e9aa87d620..dae31d4b78d840e75824f630fcff954fb2bb371d 100644 (file)
@@ -102,6 +102,8 @@ class URLResolver(Worker):
                     url = url.rstrip(stupid)
             try:
                 title = extract_title(url)
+                if "amazon" in url and "Tut uns Leid!" in title:
+                    return
             except UnicodeError as e:
                 message = 'Bug triggered (%s), invalid URL/domain part: %s' % (str(e), url)
                 logger.warning(message)