]> git.mxchange.org Git - quix0rs-gnu-social.git/commitdiff
Fix merge #101 by replacing a non-working Yahoo! link with Wikipedia
authorMikael Nordfeldth <mmn@hethane.se>
Fri, 26 Feb 2016 12:41:14 +0000 (13:41 +0100)
committerMikael Nordfeldth <mmn@hethane.se>
Fri, 26 Feb 2016 12:41:14 +0000 (13:41 +0100)
The link was meant to describe robots.txt crawl-delay info

CONFIGURE

index 362448a3b662d5d388ac2b35ec6453642af35027..b1773347d413633434e2e6cf18c41acef47688a9 100644 (file)
--- a/CONFIGURE
+++ b/CONFIGURE
@@ -674,7 +674,7 @@ Web crawlers. See http://www.robotstxt.org/ for more information
 on the format of this file.
 
 crawldelay: if non-empty, this value is provided as the Crawl-Delay:
-    for the robots.txt file. see https://help.yahoo.com/kb/search
+    for the robots.txt file. see <https://en.wikipedia.org/wiki/Robots_exclusion_standard#Crawl-delay_directive>
     for more information. Default is zero, no explicit delay.
 disallow: Array of (virtual) directories to disallow. Default is 'main',
     'search', 'message', 'settings', 'admin'. Ignored when site