Comments on: Sharing Statistics (and why it’s a really really dumb idea) http://isaacschlueter.com/2005/09/dont-publish-stats/ Just slightly more than my twitter stream. Fri, 20 Nov 2015 19:11:20 +0000 http://wordpress.org/?v=2.5.1 By: segeln » Blog Archive » Unser Blog und der Kampf gegen den Spam - oder: B2Evolution, Versuche Statistiken zu manipulieren, unnötigen Traffic und was man dagegen tun kann http://isaacschlueter.com/2005/09/dont-publish-stats/#comment-465 segeln » Blog Archive » Unser Blog und der Kampf gegen den Spam - oder: B2Evolution, Versuche Statistiken zu manipulieren, unnötigen Traffic und was man dagegen tun kann Thu, 06 Apr 2006 12:33:56 +0000 http://isaacschlueter.com/?p=295#comment-465 [...] Die integrierte Antispam-Liste von B2Evolution hat die Funktion einer Blacklist: Kommt eine Anfrage von einem dort aufgeführten Server, wird die Anfrage nicht gezählt und erscheint auch nicht in den Statistiken. Das ist grundsätzlich hilfreich - reicht aber nicht, denn die Anfrage des Spamer erzeugt ja trotzdem Systemlast und Traffic. Bei den Spamanfragen wird hauptsächlich immer die Statistikseite des Blogs aufgerufen. Dazu reicht ein Blick in die Logfiles des Webservers - in den B2Evolution-Statistiken tauchen sie ja durch die Blacklist-Funktion nicht mehr auf. Das ist der erste Ansatzpunkt: Man sollte die Anzeige der Statistikfunktion - jenem disp=stats - verhindern. Isaac Schlueter hat einen interessanten englischen Beitrag zu diesem Thema geschrieben: Man teilt dem Anfragenden einfach mit, daß die Statistikseite für immer gelöscht wurde. Da das schon durch den Webserver passiert, erzeugt es kaum Traffic und Systemlast. Zur Aktivierung trägt man einfach in die .htaccess folgendes ein: RewriteCond %{QUERY_STRING} disp=stats [NC] RewriteRule ^.*$ - [G,L] Ein Blick in die Logfiles zeigt, daß dadurch schon jede Menge Traffic - der Geld kosten kann - verhindert wird. [...] [...] Die integrierte Antispam-Liste von B2Evolution hat die Funktion einer Blacklist: Kommt eine Anfrage von einem dort aufgeführten Server, wird die Anfrage nicht gezählt und erscheint auch nicht in den Statistiken. Das ist grundsätzlich hilfreich - reicht aber nicht, denn die Anfrage des Spamer erzeugt ja trotzdem Systemlast und Traffic. Bei den Spamanfragen wird hauptsächlich immer die Statistikseite des Blogs aufgerufen. Dazu reicht ein Blick in die Logfiles des Webservers - in den B2Evolution-Statistiken tauchen sie ja durch die Blacklist-Funktion nicht mehr auf. Das ist der erste Ansatzpunkt: Man sollte die Anzeige der Statistikfunktion - jenem disp=stats - verhindern. Isaac Schlueter hat einen interessanten englischen Beitrag zu diesem Thema geschrieben: Man teilt dem Anfragenden einfach mit, daß die Statistikseite für immer gelöscht wurde. Da das schon durch den Webserver passiert, erzeugt es kaum Traffic und Systemlast. Zur Aktivierung trägt man einfach in die .htaccess folgendes ein: RewriteCond %{QUERY_STRING} disp=stats [NC] RewriteRule ^.*$ - [G,L] Ein Blick in die Logfiles zeigt, daß dadurch schon jede Menge Traffic - der Geld kosten kann - verhindert wird. [...]

]]>
By: Isaac http://isaacschlueter.com/2005/09/dont-publish-stats/#comment-341 Isaac Mon, 13 Feb 2006 17:55:16 +0000 http://isaacschlueter.com/?p=295#comment-341 JG, Please see <a href="http://www.catb.org/~esr/faqs/smart-questions.html" rel="nofollow">this page</a> and read all that it has to say. In particular, pay attention to the <a href="http://www.catb.org/~esr/faqs/smart-questions.html#rtfm" rel="nofollow">sections</a> on <a href="http://httpd.apache.org/docs/1.3/mod/mod_rewrite.html" rel="nofollow">RTFM</a> and <a href="http://www.google.com/search?q=.htaccess" rel="nofollow">STFW</a>. I am happy to share information, and even help to enlighten where I can. I try not to be rude, even when annoyed. But I'm not teaching an "Intro to Web Mechanics" course. You're going to have to hunt this beast on your own, Grasshopper. JG,

Please see this page and read all that it has to say.

In particular, pay attention to the sections on RTFM and STFW.

I am happy to share information, and even help to enlighten where I can. I try not to be rude, even when annoyed. But I’m not teaching an “Intro to Web Mechanics” course.

You’re going to have to hunt this beast on your own, Grasshopper.

]]>
By: guchuj05 http://isaacschlueter.com/2005/09/dont-publish-stats/#comment-340 guchuj05 Sun, 12 Feb 2006 21:40:26 +0000 http://isaacschlueter.com/?p=295#comment-340 Another question: Is there anything that needs to go before or after this bit of code? <code> RewriteCond %{QUERY_STRING} disp=stats [NC] RewriteRule ^.*$ - [G,L] </code> Sorry, but I don't know anything about this sort of thing. Thank you, JG Another question: Is there anything that needs to go before or after this bit of code?

RewriteCond %{QUERY_STRING} disp=stats [NC]
RewriteRule ^.*$ - [G,L]

Sorry, but I don’t know anything about this sort of thing.
Thank you,
JG

]]>
By: guchuj05 http://isaacschlueter.com/2005/09/dont-publish-stats/#comment-337 guchuj05 Sun, 12 Feb 2006 19:45:41 +0000 http://isaacschlueter.com/?p=295#comment-337 I tried to download my htaccess file to edit it, but it said 'for the system only.' How do I go about adding: RewriteCond %{QUERY_STRING} disp=stats [NC] RewriteRule ^.*$ - [G,L] to the file? Thanks. I tried to download my htaccess file to edit it, but it said ‘for the system only.’ How do I go about adding:

RewriteCond %{QUERY_STRING} disp=stats [NC]
RewriteRule ^.*$ - [G,L]

to the file?
Thanks.

]]>
By: Websiteentwicklung - Unser Blog und der Kampf gegen den Spam - oder: B2Evolution, Versuche Statistiken zu manipulieren, unnötigen Traffic und was man dagegen tun kann http://isaacschlueter.com/2005/09/dont-publish-stats/#comment-258 Websiteentwicklung - Unser Blog und der Kampf gegen den Spam - oder: B2Evolution, Versuche Statistiken zu manipulieren, unnötigen Traffic und was man dagegen tun kann Thu, 27 Oct 2005 18:12:16 +0000 http://isaacschlueter.com/?p=295#comment-258 [...] Die integrierte Antispam-Liste von B2Evolution hat die Funktion einer Blaglist: Taucht eine Anfrage von einem dort aufgeführten Server auf, wird die Anfrage nicht gezählt und taucht auch nicht in den Statistiken auf. Das ist grundsätzlich hilfreich - reicht aber nicht, denn die Anfrage des Spamer erzeugt ja trotzdem Systemlast und Traffic. Bei den Spamanfragen wird hauptsächlich immer die Statistikseite des Blogs aufgerufen. Dazu reicht ein Blick in die Logfiles des Webservers - weil in den B2Evolution-Statistiken tauchen sie ja durch die Blacklist-Funktion nicht mehr auf. Das ist der erste Ansatzpunkt: Man sollte die Anzeige der Statistikfunktion - jenem disp=stats - verhindern. Isaac Schlueter hat einen interessanten englischen Beitrag zu diesem Thema geschrieben: Man teilt dem Anfragenden einfach mit, daß die Statistikseite für immer gelöscht wurde. Da das schon durch den Webserver passiert, erzeugt es kaum Traffic und Systemlast. Zur Aktivierung trägt man einfach in die .htaccess Folgendes ein: <code>RewriteCond %{QUERY_STRING} disp=stats [NC] RewriteRule ^.*$ - [G,L]</code> Bei uns sieht das dann so aus. Ein Blick in die Logfiles zeigt, daß dadurch schon jede Menge Traffic - der Geld kosten kann - verhindert wird. [...] [...] Die integrierte Antispam-Liste von B2Evolution hat die Funktion einer Blaglist: Taucht eine Anfrage von einem dort aufgeführten Server auf, wird die Anfrage nicht gezählt und taucht auch nicht in den Statistiken auf. Das ist grundsätzlich hilfreich - reicht aber nicht, denn die Anfrage des Spamer erzeugt ja trotzdem Systemlast und Traffic. Bei den Spamanfragen wird hauptsächlich immer die Statistikseite des Blogs aufgerufen. Dazu reicht ein Blick in die Logfiles des Webservers - weil in den B2Evolution-Statistiken tauchen sie ja durch die Blacklist-Funktion nicht mehr auf. Das ist der erste Ansatzpunkt: Man sollte die Anzeige der Statistikfunktion - jenem disp=stats - verhindern. Isaac Schlueter hat einen interessanten englischen Beitrag zu diesem Thema geschrieben: Man teilt dem Anfragenden einfach mit, daß die Statistikseite für immer gelöscht wurde. Da das schon durch den Webserver passiert, erzeugt es kaum Traffic und Systemlast. Zur Aktivierung trägt man einfach in die .htaccess Folgendes ein:

RewriteCond %{QUERY_STRING} disp=stats [NC]
RewriteRule ^.*$ - [G,L]

Bei uns sieht das dann so aus. Ein Blick in die Logfiles zeigt, daß dadurch schon jede Menge Traffic - der Geld kosten kann - verhindert wird. [...]

]]>
By: kwa http://isaacschlueter.com/2005/09/dont-publish-stats/#comment-232 kwa Tue, 04 Oct 2005 01:13:20 +0000 http://isaacschlueter.com/?p=295#comment-232 After removing the "disp=stats" pages and links from my blog, I've seen referrer spam seriously reduced in the two following weeks. However, I've seen referrer spammers hitting other pages who never published statistics once the "disp=stats" pages disappeared from all my site's blogs... I've just updated my .htaccess file with your "page gone" solution, since some spammers appear to hit it anyway. And filtering using a simple check with "disp=stats" is much quicker than checking every banned keywork/URL/domain. Maybe it's not _so_ bad to leave the stats online? ;-) BTW, nice post! Thanks! After removing the “disp=stats” pages and links from my blog, I’ve seen referrer spam seriously reduced in the two following weeks. However, I’ve seen referrer spammers hitting other pages who never published statistics once the “disp=stats” pages disappeared from all my site’s blogs…

I’ve just updated my .htaccess file with your “page gone” solution, since some spammers appear to hit it anyway. And filtering using a simple check with “disp=stats” is much quicker than checking every banned keywork/URL/domain. Maybe it’s not _so_ bad to leave the stats online? ;-)

BTW, nice post! Thanks!

]]>
By: Isaac http://isaacschlueter.com/2005/09/dont-publish-stats/#comment-229 Isaac Tue, 27 Sep 2005 16:33:26 +0000 http://isaacschlueter.com/?p=295#comment-229 I think the real problem is sharing one's referers in the first place. Once a blog system starts doing this, it's a free-for-all for spammers. If they do not even wait for the HTTP response code, then it would be odd that returning a 410 would have any effect. And yet, it's impossible to deny that this has had a huge effect on the spam that I'm receiving. I wonder if perhaps this is due to the fact that spammers look for targets based on a google search for "disp=stats". If that's the case, then maybe the real effect is that I told Google, Yahoo, et al., to remove my stats page from their listings by flagging them as 410 Gone. If all bloggers stopped publishing their referrers, and took active steps to prevent comment spam, then I am convinced that this problem would go away. People who depend on spam for google rankings would have to find another way (for example, through spamblogs) that doesn't involve spamming ME with mountains of false referer headers. I think the real problem is sharing one’s referers in the first place. Once a blog system starts doing this, it’s a free-for-all for spammers.

If they do not even wait for the HTTP response code, then it would be odd that returning a 410 would have any effect. And yet, it’s impossible to deny that this has had a huge effect on the spam that I’m receiving.

I wonder if perhaps this is due to the fact that spammers look for targets based on a google search for “disp=stats”. If that’s the case, then maybe the real effect is that I told Google, Yahoo, et al., to remove my stats page from their listings by flagging them as 410 Gone.

If all bloggers stopped publishing their referrers, and took active steps to prevent comment spam, then I am convinced that this problem would go away. People who depend on spam for google rankings would have to find another way (for example, through spamblogs) that doesn’t involve spamming ME with mountains of false referer headers.

]]>
By: jwedgeco http://isaacschlueter.com/2005/09/dont-publish-stats/#comment-226 jwedgeco Tue, 27 Sep 2005 00:53:55 +0000 http://isaacschlueter.com/?p=295#comment-226 <blockquote>I wonder if there's a way to automagically read the logs and build the list of IPs to ban based on that.</blockquote> I do that now based on referers and IP addresses.

I wonder if there’s a way to automagically read the logs and build the list of IPs to ban based on that.

I do that now based on referers and IP addresses.

]]>
By: Isaac http://isaacschlueter.com/2005/09/dont-publish-stats/#comment-225 Isaac Mon, 26 Sep 2005 23:54:56 +0000 http://isaacschlueter.com/?p=295#comment-225 <blockquote>I can tell this by my apache logs. Some spammers drop the TCP connection as soon as the request is sent.</blockquote> I wonder if there's a way to automagically read the logs and build the list of IPs to ban based on that. I'll be keeping an eye out for your article.

I can tell this by my apache logs. Some spammers drop the TCP connection as soon as the request is sent.

I wonder if there’s a way to automagically read the logs and build the list of IPs to ban based on that.

I’ll be keeping an eye out for your article.

]]>
By: jwedgeco http://isaacschlueter.com/2005/09/dont-publish-stats/#comment-224 jwedgeco Mon, 26 Sep 2005 23:25:54 +0000 http://isaacschlueter.com/?p=295#comment-224 Hi Isaac, I'm pestered by referer spammers as well. One thing that I have noticed is that the worst spammers don't even read http status codes. I can tell this by my apache logs. Some spammers drop the TCP connection as soon as the request is sent. They don't even wait for the response. I've resorted to using iptables to block IP addresses. I've written an article for Linux Journal and I'm waiting on it to be approved. Look for it in print or on the web site. Jason Hi Isaac,

I’m pestered by referer spammers as well. One thing that I have noticed is that the worst spammers don’t even read http status codes. I can tell this by my apache logs. Some spammers drop the TCP connection as soon as the request is sent. They don’t even wait for the response. I’ve resorted to using iptables to block IP addresses. I’ve written an article for Linux Journal and I’m waiting on it to be approved. Look for it in print or on the web site.

Jason

]]>

Warning: fopen(/var/www/isaacschlueter.com/public/wp-content/cache/meta/wp-cache-59881ff9deac4eb7cf3a28f70819d31d.meta) [function.fopen]: failed to open stream: Permission denied in /var/www/isaacschlueter.com/public/wp-content/plugins/wp-super-cache/wp-cache-phase2.php on line 378

Warning: fputs(): supplied argument is not a valid stream resource in /var/www/isaacschlueter.com/public/wp-content/plugins/wp-super-cache/wp-cache-phase2.php on line 379

Warning: fclose(): supplied argument is not a valid stream resource in /var/www/isaacschlueter.com/public/wp-content/plugins/wp-super-cache/wp-cache-phase2.php on line 380