Nachdem wir 2007 das letzte Mal eine statistische Auswertung zum Spamaufkommen und der Wirksamkeit von Filtermaßnahmen vorgenommen haben, folgt hier die Auswertung für das Jahr 2009.

Es geht um unseren kleinen, unauffälligen Familien-Mailserver mit gerade einmal zehn beruflich und privat genutzten Postfächern. Der älteste Domainname, der darauf gehostet wird, ist seit 11 Jahren registriert.

Übersicht

Gesamtes Email-Aufkommen in 2009	4,6 Millionen
... pro Tag	12.500
Spamanteil	99,7%

Wirksamkeit

Filterstufe	Effekt
Stufe 1: Postfix-Regeln zur Prüfung des HELO Kommandos	40,1%
Stufe 2: Postfix-Regeln zur Prüfung des MAIL FROM Kommandos	3,1%
Stufe 3: Postfix-Regeln zur Prüfung des RCPT TO Kommandos	2,2%
Stufe 4: Überprüfung eingehender Mail mit policyd-weight	49,5%
Stufe 5: Greylisting	4,7%
Stufe 6/7: Klassischer Spamfilter	0,1%
Zugestellte Mails (erfahrungsgemäß zu 90% spamfrei)	0,3%

Maßnahmen zur Filterung im Detail

Stufe 1: Postfix-Regeln zur Prüfung des HELO Kommandos

• Ungültiger Hostname
• Unvollständiger Hostname (kein FQDN)
• Eigener Domainname des Mailservers im HELO Kommando

Der Effekt dieser Filterungen ist frappierend. Es sind gerade die PC aus Bot-Netzen, die irgendwelche eingliedrigen Namen wie "localhost" oder einfach nur "???" als ihren Namen angeben. Der SMTP-Standard verlangt zwar nicht ausdrücklich, daß der HELO-Name ein FQDN sein muß, diese Praxis hat sich aber inzwischen durchgesetzt. Man kann zwar den HELO-Hostnamen darauf prüfen, ob er ein korrekt geformter FQDN ist, aber nicht darauf, ob er im DNS wirklich bekannt ist. Viele Betreiber weisen ihren Mailservern Phantasie-Subdomains zu.

Ganz gerissene Sendeprogramme geben den eigenen Domainnamen des Empfängers (also z.B. "tedesca.net") im HELO-Kommando an - weg damit.

Stufe 2: Postfix-Regeln zur Prüfung des MAIL FROM Kommandos

• Unvollständige Email-Adresse (ohne Domain-Teil)
• Unbekannter (nicht auflösbarer) Domainname

Diese Tests, ebenso wie die der Stufe 3, dienen eher der Vollständigkeit und sind beim Postfix einfach mit dabei.

Stufe 3: Postfix-Regeln zur Prüfung des RCPT TO Kommandos

• Angabe des Namens einer Verteilerliste
• Relaying (zu fremdem Zielserver)

Wer Verteilerlisten benutzt, muß darauf achten, daß kein Unbefugter an diese Listen senden kann. Sonst kommt es schon ohne böse Absichten zu peinlichen Überraschungen, wenn ein Empfänger an alle antwortet...

Relaying wird nur noch sehr selten versucht. Offenbar sind diese Schlupflöcher auf Mailservern schon lange genug populär und mittlerweise alle gestopft.

Stufe 4: Überprüfung eingehender Mail mit policyd-weight

• Überprüfen nach DNSBLs
• Heuristiken über HELO, MAIL FROM und Client IP Adressen

Diese Tests sind relativ "teuer", da pro eingegangene Mail etliche Anfragen ins Internet gesendet werden müssen. Wir mögen die DNSBL-Tests daher eigentlich nicht sehr, sie sind aber außerordentlich wirksam. Da dynamische IP-Adreßbereiche der Absender mit einem Mißtrauensvorschuß beaufschlagt werden, richtet sich die Maßnahme nicht nur gegen wohlbekannte Spamversender, sondern auch besonders gegen Bot-Netze.

Der Policy-Daemon ist eine sehr komfortable Implementierung der DNSBL-Tests und einiger anderer Heuristiken. Anlaß für manuelles Feintuning seiner Arbeit konnten wir bisher nicht finden.

Man kann auch als "guter" Mailserverbetreiber unvermutet auf eine DNSBL gelangen, ohne daß nachvollziehbar wäre, auf welche Weise. Streiten nützt in diesem Fall gar nichts, die Listenbetreiber haben da eine stoische Ruhe. Auch wenn man solches noch nie getan hat, muß man beteuern, künftig kein Spam mehr versenden zu wollen und wird dann nach einigen Tagen (hoffentlich) von der Liste wieder entfernt. Es lohnt sich, gelegentlich nachzuprüfen, ob sich der eigene Mailserver noch eines gutes Rufes erfreut. Wer sich einen neuen Server mietet und diesen als Mailserver verwenden möchte, sollte gleich prüfen, ob die IP-Adresse "sauber" ist und schlimmstenfalls den Provider um eine andere IP-Adresse bitten.

Stufe 5: Greylisting und Namensprüfung

• Abweisen aller eingehendem Mails mit einem transienten Fehler; Annahme der Mail, wenn sie nach einer Karenzzeit von einigen Sekunden wiederholt gesendet wird
• Unbekannte Empfängernamen

Greylisting ist nach wie vor wirksam. Die Zahl von 4,7% in der Gesamtstatistik sieht auf den ersten Blick nicht sehr eindrucksvoll aus, das liegt aber daran, daß durch die vorgelagerten Tests bereits so viel ausgefiltert wird. Andersherum betrachtet, filtert Greylisting 90% des noch für diese Methode in der Kette verbleibenden Verkehrs aus. Das dürfte den Anteil des Verkehrs aus Bot-Netzen widerspiegeln, da jeder richtige Mailserver nach gewisser Zeit den Sendeversuch wiederholt, wenn er einen 400er Fehler beim ersten Versuch gemeldet bekommt. Bei einem fest installierten Spamserver ist das SMTP-Protokoll immer vollständig implementiert. Wenn ein Mailserver nach einem 400er Fehler keinen neuen Sendeversuch unternimmt, ist das ein Versäumnis des Administrators.

Natürlich ist der Anteil unbekannter Empfängernamen deutlich höher, wie hatten uns schon früher mit diesem Phänomen auseinandergesetzt. Diese Sendeversuche werden aber in der Mehrheit schon durch die Stufen 1 und 4 abgefangen.

Stufe 6: Klassischer Spamfilter

• serverweite Schwarze Listen
• Spamassassin mit Razor und Pyzor

Stufe 7: Spamfilter mit nutzerspezifischen Einstellungen

• individuelle Schwarze Listen
• Bayes-Analyse

Immerhin noch ein Viertel des Restverkehrs läßt sich mit Spamassassin abfangen. Dazu gehören auch die eigenen Schwarzen Listen, auf denen zum Beispiel alle nicht abbestellbaren Newsletter geführt werden.

Rechtzeitige Zurückweisung

Die oben genannten Tests 1 bis 6 sollten durchgeführt werden, bevor der Mailserver die eingehende Nachricht überhaupt angenommen hat. Mit anderen Worten: Die Policyserver- und Filteraufrufe müssen an den richtigen Stellen in die smtpd_helo_restrictions, smtpd_sender_restrictions und smtpd_recipient_restrictions des Postfix-Servers eingebaut werden. Das hat einen formalen und zwei praktische Gründe.

1. Der formale Grund ist äußerst wichtig, wenn ein größerer Benutzerkreis mit Maildiensten bedient wird. Für eine einmal angenommene Mail hat der Server die Verantwortung; er muß sie auf jeden Fall zustellen. Die Ablage in ein nutzerspezifisches Spam-Postfach darf nur noch aufgrund einer vom Nutzer vorgegebenen eigenen Regel erfolgen.

2. Der erste praktische Grund ist die Minimierung des Datenverkehrs im Netz. Die inzwischen wie Spam geliebten Backscatter-Mails (d.h. eine Mitteilung über Nichtzustellbarkeit an die gefälschte aber meist existierende Absenderadresse) werden dadurch vermieden.

3. Der zweite praktische Grund liegt in der sicheren Behandlung der gefürchteten "false Positives". Durch die Rückweisung einer Mail noch während des Zustellvorgangs erhält der "gute" Absender auch sofort das Feedback über die gescheiterte Zustellung und kann darauf reagieren.

Top 10 der Spamversender (nach IP-Adresse)

Platz 1: 6589 Ereignisse, IP 83.66.167.71
inetnum: 83.66.167.0 - 83.66.171.255
descr: DOL ANKARA-VAE ADSL STATIC
country: TR

Platz 2: 5342 Ereignisse, IP 88.147.128.28
inetnum: 88.147.128.0 - 88.147.175.255
descr: Network of Saratov branch of OJSC "Volgatelecom"
country: RU

Platz 3: 4913 Ereignisse, IP 58.211.198.18
inetnum: 58.211.198.16 - 58.211.198.23
descr: Suzhou Kaiyuan Circuit Co.,Ltd
country: CN

Platz 4: 4648 Ereignisse, IP 213.243.5.100
inetnum: 213.243.0.0 - 213.243.15.255
descr: Dogan Iletisim Elektronik Servis Hizmetleri A.S.
country: TR

Platz 5: 3796 Ereignisse, IP 84.21.74.1
inetnum: 84.21.74.0 - 84.21.75.255
netname: XXLINE-CORE-NET
descr: block for core of network
country: RU

Platz 6: 3201 Ereignisse, IP 77.91.190.21
inetnum: 77.91.128.0 - 77.91.191.255
netname: UA-TELESYSTEMS-20070426
descr: Telesystems of Ukraine LLC
country: UA

Platz 7: 2670 Ereignisse, IP 63.150.92.98
NetRange: 63.144.0.0 - 63.151.255.255
OrgName: Qwest Communications Company, LLC
Country: US

Platz 8: 2531 Ereignisse, IP 203.45.38.197
inetnum: 203.40.0.0 - 203.47.255.255
netname: TELSTRAINTERNET2-AU
descr: Telstra Internet
country: AU

Platz 9: 2434 Ereignisse, IP 66.109.226.202
inetnum: 66.109.224.0 - 66.109.255.255
descr: Sanitary Process Systems
country: US

Platz 10: 1807 Ereignisse, IP 68.151.224.239
NetRange: 68.144.0.0 - 68.151.255.255
OrgName: Shaw Communications Inc.
Country: CA

Fazit

Es sind nach wie vor die selben einfachen Maßnahmen wie vor drei Jahren, mit denen sich Spam abwehren läßt. Im Gegensatz zu einigen noch etwas optimistischeren Statistiken muß ich aber feststellen, daß der Anteil erwünschten Emailverkehrs sich inzwischen im niedrigen Promillebereich bewegt: Während 2007 noch 1 Prozent der Nachrichten erwünscht waren, waren es 2009 nur noch 3 Promille.

Mehr als 90% des Spam geht offenbar von Bot-Netzen aus. Das erklärt die Wirksamkeit von Greylisting. Das Interesse der Bot-Netz-Betreiber fokussiert sich momentan offenbar eher auf die Etablierung ihres Geschäfts. Die operative Seite wird für gut genug gehalten und zeichnet sich nicht durch Innovationen aus. Die Kunden der Bot-Netz-Betreiber, die erwarten, daß ihr Spam beim Empfänger ankommt, verschwenden ihr Geld.

Für die fest installierten Spamschleudern sind aufstrebende und etablierte Wirtschaftsmächte gleichermaßen Standorte.