Continued:
- also set has_obfuscation here, too

Continued:
- change has_obfuscation when detected, not when a domain wasn't deobfuscated
- also count de-/obfuscated domains

Continued:
- some people entered invalid domains names with two dots (foo..bar)

Continued:
- ordered SELECT statement for update_nodeinfo() command
- added --no-auto as another "filter" parameter
- don't check domains that turn e.g. into an IP address before redirecting to
  them

Continued:
- added some more checks to avoid exceptions

Continued:
- row["software"] is the proper way here, ops

Continued:
- Paula has finally seen the wrong outcome of publishing a #FediBlock list
  publicly:
  "Too many people use blocklists as-is and don't use their own brain. Blindly
   blocking instances because someone else says so is not good."

Continued:
- added another alias for 'misskey'

Continued:
- commit after each CSV row being handled
- tpzo fixed in module name
- always add domain to domains list

Continued:
- if later more "hidden" blocklists are added --domain=foo can only process
  foo's blocklist

Continued:
- old left-over

Continued:
- some CSV files have their headers upper-case

Continued:
- added command 'fetch_csv' which fetches CSV files and processes them for
  further instance discovery and blocklist expansion
- introduced function processing.csv_block() which does the above processing
- return non-zero exit code when source was queried to recently

Continued:
- has_obfuscation should be only an indicator if a single domain is obfuscated
  then this should be set to True, otherwise False

Continued:
- please execute SQL command:
  "UPDATE instances SET command = 'redirect_target' WHERE command = 'fetch_generator';"
- yes, it is done during detection mode 'generator' but it was discovered as
  redirection target

Continued:
- some people think that CamelCase.Domain is something to be proud of
- truth is, that those upper-case characters are being lower-cased before a DNS
  server is been queried

Continued:
- instances.has_pending() raises an exception if domain is not registered yet
- instances.update() checks is_registered() first, then has_pending()

Continued:
- some url.netloc may contain port number which needs to be split off

Continued:
- more checks on empty/None domain names

Continued:
- added last_response_time which is a float that stores the last response time
- you have to run following SQL statement on your blocks.db:
  ALTER TABLE instances ADD last_response_time FLOAT NULL DEFAULT NULL;

Continued:
- introduced software_helper.is_relay() function to check if given software name
  is a supported relay software
- federation.fetch_instances() will throw an exception if invoked with relay
  software
- also command fetch_instances avoids them

Continued:
- fetch_relays now supports --software=foo parameter
- added support for 'pub-relay' relays, they provide their peers over their
  nodeinfo URL (see element metadata -> peers)

Continued:
- skip empty domain names
- also strip spaces on start/end away

Continued:
- tpzo fixed

Continued:
- no need for double-fetching generic JSON API

Continued:
- skip more empty/None strings

Continued:
- functions in module fba.helpers.tidyup are relatively "expensive", means they
  need a lot of CPU cycles
- let's avoid invoking them on empty string

Continued:
- added alias 'glitchcafe' for mastodon

Continued:
- renamed processing.domain() to processing.instance()
- renamed its parameter 'name' to 'blocked' (unified)

Continued:
- some messages are now info, one is debug

Continued:
- notice added about difference between total peer/block count

Continued:
- during fetching block lists or peers, filter out already blacklisted
  entries which will keep the list variable's memory usage smaller

Continued:
- formatted template block
- added average blocks

Continued:
- need to check blacklist/is_wanted()-check first before invoking
  blocks.is_instance_blocked()

Continued:
- removed a lot redundant messages, can be easier

Continued:
- added checks if instance is registered when update function are invoked
- some empty lines added

Continued:
- removed no longer used import

Another attempt to rewrite:
- don't update nodeinfo URL and detection mode to STATIC_CHECK while fetching
  blocks for Pleroma
- Pleroma has their block list exposed in that nodeinfo and not in separate API

Continued:
- some misskey instances may have no nodeinfo URL, e.g. they got only detected
  through APP_NAME method
- still they may provide a blocklist
- it is now rewritten that first a generic "/api/v1/instance/domain_blocks" is
  fetched and if it fails, a software-specific attempt is done

Continued:
- also need to break the loop when no 'data' element is being returned which
  might be the case when the server doesn't return a JSON

Continued:
- let's try it stricter: 200 OK is the only HTTP status code we accept
- log failing fetch of /instances from a Lemmy instance

Ops:
- need to be negated
- moved LICENSE file to docs

Continued:
- if/elif/raise blocks should be separated from other logic
- tpzo fixed

Continued:
- warn about invalid SHA256 domain digests (aka. hashes)
- some mastodon instances maybe not include them at all?

Continued:
- fixed some pylint issues

Continued:
- I hope this isn't to strict, some hosts return a "298 None" which the HTTP
  library doesn't see as failed (response.ok = False) but still doesn't return
  a JSON

Continued:
- exclude NULL values for detection_mode

Continued:
- half day for rechecking block lists was to fast
- also shortened API last access

Continued:
- reformatted a bit

Continued:
- fixed Shell script
- scoreboard for commands is total peers

Continued:
- renamed update_data() to update()

Sorting order changed:
- first total_peers/blocks descending
- then last_updated ascending

Continued:
- debug log message added

Continued:
- added alias 'revolver' as this is another one for pleroma

Continued:
- fetch all data in /list view
- added total_peers and total_blocks to be exposed

Continued:
- added parameter --software3 which searchinf for a file 'software.txt'
- you can generate this by running e.g.
  sqlite3 ./blocks.db "SELECT software FROM instances WHAT_EVER_PARAMETER;" > software.txt
- reset nodeinfo_url if software is now None
- always set complete URL, including domain

Continued:
- renamed fetch_nodeinfo() to fetch() as it is already part of module nodeinfo
- added 3rd optional parameter to it, fetching of /.well-known/* isn't then
  required anymore and saves another request
- also the wanted URL can be directly used

Continued:
- also order this list by total peers first, then row id

Continued:
- also order by rowid descending

Continued:
- sorted domains for fetch_blocks after how many total blocks have already been
  found

Continued:
- neodb is providing at least /apt/v1/instance/peers

Continued:
- strip spaces off

Continued:
- added "dynamic alias" for software type 'gnusocial'

Continued:
- added parameter --mode for updating node-info for detection mode
- this mode does only check outdated instances

Continued:
- added parameter --no-software which fetching instances with no software
  detected and not recently being checked
- the parameter --force is not re-checking recently entries. If you want this
  you need to use ./nodeinfo.sh --software --force but be kind to other
  webmasters!

Continued:
- some websites are so badly configured that they return a broken gzip body
- let's handle that exception here, too

Continued:
- wording fixed

Continued:
- ops, don't link None

Continued:
- added alias 'russkey' for 'misskey'

Continued:
- no, nope: validators.hostname() was a bad idea, it also let IP addresses and
  local host names in as well
- added command remove_invalid to remove those from database
- renamed recheck.sh -> nodeinfo.sh

Continued:
- chaos.social isn't part of oliphant, so it still requires being handled
  separately
- fetch software/origin from local database instead software from remote
  nodeinfo (saves some requests to their servers)

Continued:
- links from infos.html view to list.html added

Fixed:
- I missed changing this one

Continued:
- use validators.hostname() as these are host names

Continued:
- fixed instance (host) names with two dots causing a UnicodeError

Continued:
- need to skip recently but unknown instances (software is None but nodeinfo
  has recently being updated

Continued:
- don't invoke federation.fetch_instances() when last_instance_fetch is
  recently being updated (means recently being fetch already)
- column for instances.is_recent() needs to now only start with "last_"
- don't determine unknown software if instances was recently fetched

Fixed:
- ops, didn't notice the inverted function name (my fault)
- also added proper debug message

Continued:
- typical for oliphant members: Hide their own blocklist and then handle it
  over to Codeberg repository of oliphant
- this helper now has a simple function to check if the provided domain should
  be excluded

Continued:
- added detection-mode 'APP_NAME' which reflects meta information
  name="application-name"
- allow checking generator type if status code 410 (Gone) is given, e.g.
  wordpress.com still returns a full HTML code to check

Continued:
- also re-check 'GENERATOR' detection mode

Continued:
- switched: PLATFORM before GENERATOR, the last one can be "personalized"

Continued:
- added --software2 for re-checking instances with `software` given and no
 `detection_mode` given
- also added og:platform to HTML base template

Continued:
- combine all discourse into one

Continued:
- no need to enter json.from_response() when response isn't okay or status code
  != 200 was found

Continued:
- show depth here, too

Continued:
- 'nube' is Spain and means cloud in English, this is another (valid) alias for 'nextcloud'

Continued:
- renamed report.txt to report.log

Continued:
- these commands can never have origin=None, so let's prevent them here

Continued:
- fba.commands.fetch_blocks() does the last checkup if the domain is valid et
  cetera, including deobfuscation

Continued:
- you can now with --feed=https://some-fba/feed.atom specify an other ATOM feed
  from an FBA/Pleroma bot
- parserset_defaults() is now specified first, then additional parameter

Continued:
- added __version__

Continued:
- is_recent() check doesn't make sense here, if the domain isn't registered
  it cannot be recently checked (ops)

Continued:
- also store peer count for relays

Continued:
- added debug line

Continued:
- ignore unsupported content type when response.text has zero length

Continued:
- ops, missed 1st parameter

Continued:
- added --timeout option for easy re-checking instances with timeout
- please increase "connection_timeout" and "read_timeout" config keys first!

Continued:
- added network 'mammuthus[ experimental]' for retriving peers
- moved software-related (not version number) functions to software.py
- strip off " experimental", so you can enter e.g. 'mammuthus' easier

Continued:
- don't link or show 'None', just a dash is okay