TODO

   1 Some last few things to do before release.
   2
   3 - Handle/investigate the HTTP client pipeline errors
   4 - DB should not always restat files (especially for expired hashes)
   5 - remove missing files at startup (in DB's removeUntracked)
   6 - when files modtime but not size changes, rehash them to be sure
   7 - lengthen the expiry time for DHT entries
   8 - remove files from the peer's download cache
   9 - update the modtime of files downloaded from peers
  10   - also set the Last-Modified header for the return to Apt
  11 - make the DHT timeouts configuration parameters
  12 - refresh expired DHT hashes concurrently instead of sequentially
  13
  14 Consider what happens when multiple requests for a file are received.
  15
  16 When another request comes in for a file already being downloaded,
  17 the new request should wait for the old one to finish. This should
  18 also be done for multiple requests for peer downloads of files with
  19 the same hash.
  20
  21
  22 Packages.diff files need to be considered.
  23
  24 The Packages.diff/Index files contain hashes of Packages.diff/rred.gz
  25 files, which themselves contain diffs to the Packages files previously
  26 downloaded. Apt will request these files for the testing/unstable
  27 distributions. They need to be dealt with properly by
  28 adding them to the tracking done by the AptPackages module.
  29
  30
  31 Improve the downloaded and uploaded data measurements.
  32
  33 There are 2 places that this data is measured: for statistics, and for
  34 limiting the upload bandwidth. They both have deficiencies as they
  35 sometimes miss the headers or the requests sent out. The upload
  36 bandwidth calculation only considers the stream in the upload and not
  37 the headers sent, and it also doesn't consider the upload bandwidth
  38 from requesting downloads from peers (though that may be a good thing).
  39 The statistics calculations for downloads include the headers of
  40 downloaded files, but not the requests received from peers for upload
  41 files. The statistics for uploaded data only includes the files sent
  42 and not the headers, and also misses the requests for downloads sent to
  43 other peers.
  44
  45
  46 Consider storing deltas of packages.
  47
  48 Instead of downloading full package files when a previous version of
  49 the same package is available, peers could request a delta of the
  50 package to the previous version. This would only be done if the delta
  51 is significantly (>50%) smaller than the full package, and is not too
  52 large (absolutely). A peer that has a new package and an old one would
  53 add a list of deltas for the package to the value stored in the DHT.
  54 The delta information would specify the old version (by hash), the
  55 size of the delta, and the hash of the delta. A peer that has the same
  56 old package could then download the delta from the peer by requesting
  57 the hash of the delta. Alternatively, very small deltas could be
  58 stored directly in the DHT.
  59
  60
  61 Consider tracking security issues with packages.
  62
  63 Since sharing information with others about what packages you have
  64 downloaded (and probably installed) is a possible security
  65 vulnerability, it would be advantageous to not share that information
  66 for packages that have known security vulnerabilities. This would
  67 require some way of obtaining a list of which packages (and versions)
  68 are vulnerable, which is not currently available.
  69
  70
  71 Consider adding peer characteristics to the DHT.
  72
  73 Bad peers could be indicated in the DHT by adding a new value that is
  74 the NOT of their ID (so they are guaranteed not to store it) indicating
  75 information about the peer. This could be bad votes on the peer, as
  76 otherwise a peer could add good info about itself.
  77
  78
  79 Consider adding pieces to the DHT instead of files.
  80
  81 Instead of adding file hashes to the DHT, only piece hashes could be
  82 added. This would allow a peer to upload to other peers while it is
  83 still downloading the rest of the file. It is not clear that this is
  84 needed, since peer's will not be uploading and downloading ery much of
  85 the time.