]> git.mxchange.org Git - fba.git/blobdiff - fba/utils.py
Continued:
[fba.git] / fba / utils.py
index dd12f307207e83f37f8d12de64bfac61077c1473..6652c19261e7747d268f5213d3d220e207f1af14 100644 (file)
@@ -62,9 +62,9 @@ def fetch_url(url: str, headers: dict, timeout: tuple) -> requests.models.Respon
     # Invoke other function, avoid trailing ?
     logger.debug("components[%s]='%s'", type(components), components)
     if components.query != "":
-        response = network.fetch_response(components.netloc, f"{components.path}?{components.query}", headers, timeout)
+        response = network.fetch_response(components.netloc.split(":")[0], f"{components.path}?{components.query}", headers, timeout)
     else:
-        response = network.fetch_response(components.netloc, components.path if isinstance(components.path, str) and components.path != '' else '/', headers, timeout)
+        response = network.fetch_response(components.netloc.split(":")[0], components.path if isinstance(components.path, str) and components.path != '' else '/', headers, timeout)
 
     logger.debug("response[]='%s' - EXIT!", type(response))
     return response
@@ -125,6 +125,7 @@ def deobfuscate(domain: str, blocker: str, domain_hash: str = None) -> str:
 
     if domain.find("*") >= 0:
         logger.debug("blocker='%s' uses obfuscated domains", blocker)
+        instances.set_has_obfuscation(blocker, True)
 
         # Obscured domain name with no hash
         row = instances.deobfuscate("*", domain, domain_hash)
@@ -135,9 +136,9 @@ def deobfuscate(domain: str, blocker: str, domain_hash: str = None) -> str:
             domain = row["domain"]
         else:
             logger.warning("blocker='%s' has domain='%s' that cannot be deobfuscated.", blocker, domain)
-            instances.set_has_obfuscation(blocker, True)
     elif domain.find("?") >= 0:
         logger.debug("blocker='%s' uses obfuscated domains", blocker)
+        instances.set_has_obfuscation(blocker, True)
 
         # Obscured domain name with no hash
         row = instances.deobfuscate("?", domain, domain_hash)
@@ -148,7 +149,6 @@ def deobfuscate(domain: str, blocker: str, domain_hash: str = None) -> str:
             domain = row["domain"]
         else:
             logger.warning("blocker='%s' has domain='%s' that cannot be deobfuscated.", blocker, domain)
-            instances.set_has_obfuscation(blocker, True)
     else:
         logger.debug("domain='%s' is not obfuscated", domain)