Actually add piece hashes to the database.

Updated and added a lot of unittests.

Still need to add tests for the Peer and Cache Managers.

Always use SHA1 hashes for pieces.

Only affects non-sha1 files like source files.
Also added a unit test for it.
Also added a unit test for the previous piece boundaries bug.

Minor typo fixes in the Peer manager.

Multiple peer downloading is mostly working now.

Many bug fixes, too numerous to mention.
Lots of new (probably temporary) logging.
New test stuff for the multi-peer downloading.
Still fails on large files when retrieving piece hashes from peers.

Fix a bug in the ThrottlingProtocol when writeSequence is called with a tuple.

Fix a bug in the Hash checker when updating exactly to a piece boundary.

Fix some minor documentation typos.

More multiple peer downloading work, finished but still untested.

Minor update to the multiple peer downloading (still not working).

Massive work on the peer downloading, not working or complete yet.

WIP on multiple peer downloading (completely broken).

Fix a bug caused by twisted unquoting URLs received by the web server.

Store the peer rank as an attribute and recalculate it automatically.

Make all the peer rankings exponentially decreasing.

Return 404s to all requests for Packages.diff and Sources.diff.

Make the upload limit a config option.

Only throttle uploads to peers, not to apt.

Retire one TODO and add another.

Allow the actions to call the local node's remote interface.

The find_* actions now start with only the local node instead of
the nodes from the routing table.

KRPC calls callback with the response dictionary by itself.

Previously it was a dictionary, whose key 'rsp' contained the response dictionary.
The response dictionary has a key '_krpc_sender' added.

Reorganize the DHT's remote interface parameters.

Now the parameter ordering matches the one in the knode module.

Also makes the _krpc_sender optional so the remote interface can
be called by the local node.

Use copies of the routing table nodes in actions.

The recursive actions need to use copies of the nodes in the routing
table, otherwise the token and num_values could be preset or set
twice by multiple actions.

Import the log module, DOH.

Merge small DHT buckets when a node is removed.

Workaround old sqlite not having 'select count(distinct key)'.

Remove the duplicate error logging from the knode module.

Remove the unused steveholt entry from the bootstrap list.

Fix some bugs in the pinging and ID checking.

Raise an exception if the node's ID has changed. This means the node's
returned results will be ignored.

The KTable replaceStaleNode now adds the new node if there's space even
if the old one isn't found. This is due to the node ID having changed
resulting in instantly removing the node from the routing table.

The handler for the ping result in insertNode was mistakenly taking the
Failure returned as a result as a node and passing it to replaceStaleNode.

Move the HTML stats page generation for the DHT into the stats module.

Rename the knode functions to match the krpc method names.

Added the number of times each action was started to the DHT stats.

Add bytes/sec to the DHT stats.

Display DHT statistics to the HTTP user.

Adds 2 new interfaces to the DHT implementation:
 * DHTStats: DHT that supports gathering statistics
 * DHTStatsFactory: DHT that supports creating it's own HTTP server
apt_dht_Khashmir supports IDHTStats and formats stats for HTML.
apt_dht_Khashmir also supports IDHTStatsFactory if twisted.web2 is found.
Main script passes the DHT class to the main program.
Main script (DHT only) starts the stats factory if the DHT supports it.
Main program retrieves statistics from the DHT when asked by the HTTPServer.

Start using the new DHT stats module (untested).

Add the new stats module to the DHT.

Fix minor bugs in the use of sha module and misspelled b2a_hex.

Fixed justSeenNode in KTable to update the bucket properly.

It now moves the seen node to the end and marks the bucket as
having been updated.

Another TODO item.

Don't use the tables findNodes when you can just bisect for it.

Add new node to table when refreshing old node.

Fixes a bug introduced by commit:

    6ce38471: fix peer update problem connection refused in store value

Rename all apt-dht files to apt-p2p.

Rename project to apt-p2p.

Merge branch 'documentation' into apt-dht

Various documentation fixes and additions.

Document the DHT package.

Document the DHT's main khashmir module.

Document the DHT's krpc module.

Merge branch 'apt-dht' of ssh://git.camrdale.org/git/apt-dht into apt-dht

More todo items.

Document the DHT's util module.

Document the DHT's node module.

Document the DHT's ktable module.

Document the DHT's knode module.

Document the DHT's khash module.

Document the DHT's db module.

Document the DHT's actions module.

Document the DHT's DHT module.

Add cleanup to the MirrorManager for the AptPackages.

Fix a minor error in the DB's storeFile function.

A few more documentation fixes.

Documented the util module.

Documented the db module.

Documented the PeerManager module.

Documented the Hash module.

Documented the HTTPServer module.

Documented the HTTPDownloader module.

Document the MirrorManager module.

Document the AptPackages module.

Document the apt_dht module.

Document the apt_dht_conf module.

Document the apt_dht module's __init__ file.

Move the normalization of key lengths from the HashObject to the DHT.

Add property tracking to downloads from peers.

HTTPServer responds correctly to requests for torrent strings.

Upgrade policies to SVN version and fix a small bug.

Fixed the policies usage when writeLimit was None to not do anything.

Store piece hashes in the DB.

Also broke up single table into files and hashes.
Main code uses the new hash routine.
lookupHash now checks for torrent string hashes.
The HTTPServer still needs to interpret torrent string hashes.

Add appropriate piece strings to the DHT.

Added piece hashing to the HashObject.

Only use the ThrottlingProtocol if the producer is streaming.

Fixed the ThrottlingFactory to work with web2 static streams from the web server.

Another attempt at throttling, still not working.

A new TODO item.

Also remove changed cache files during directory scan.

Ignore unknown cache files during directory scan.

Standardize the number of values retrieved from the DHT.

Added the new RETRIEVE_VALUES configuration parameter.
The desired number of values can now be negative, indicating
that only the closest STORE_REDUNDANCY nodes are to be queried.

Rewrite of the actions to take advantage of the commonalities between them.

Check response packet lengths before sending.

Remove an unneeded khashmir file.

Break up the find_value into 2 parts (with get_value).

To better support multiple values per key, the old find_value request is
broken up into find_value, which doesn't stop when it finds a node with
values but just records the number of values the node has, and
get_value, which queries the found nodes that have values to retrieve
them.

Refresh DHT values just before they are due to expire.

Move the key expiring to the checkpoint function.

Unload the AptPackages caches after a period of inactivity.

Updated the copyright definitions.

More and better error messages in the DHT.

Also added message verification for the incoming message
to prevent abuse.

Return a token in find_node responses, use it in store_value requests.

Also changed the checkpointing frequency to 5 minutes so that storing 3
old tokens will give an age of 10-15 minutes (as per protocol).

Use compact encoding of peer info for downloads.

Remove some extra logging that shouldn't have been in the last commit.

Use compact encoding of node contact info in the DHT.

Allow arbitrary strings to be stored in the DHT database.

Also removed the refreshValues as it is no longer needed.