From 1d967a4d423c0571a86d319ac16d704bbf29e51a Mon Sep 17 00:00:00 2001 From: Tatsuya Kinoshita Date: Sat, 19 Dec 2020 13:20:49 +0900 Subject: Add examples of siteconf, set user_agent to Googlebot for Twitter --- doc-jp/README.siteconf | 6 ++++++ 1 file changed, 6 insertions(+) (limited to 'doc-jp/README.siteconf') diff --git a/doc-jp/README.siteconf b/doc-jp/README.siteconf index 4189712..d638a9a 100644 --- a/doc-jp/README.siteconf +++ b/doc-jp/README.siteconf @@ -48,6 +48,12 @@ user_agent "Lynx/2.8.8dev.3 libwww-FM/2.14 SSL-MM/1.4.1" Google に Lynx であると告げます。(これによりテキストブラウザ向けページが 返ります) +url m!^https?://([a-z]+\.)?twitter\.com/! +user_agent "Googlebot/2.1" + +Twitter に Googlebot であると告げます。(これによりJavaScriptが無効の +ブラウザが拒否されずにページが返ります) + ===== 正規表現について ===== 次の正規表現はいずれも同じ意味を表します。 -- cgit v1.2.3