Spamfilter mit guter Unterstützung für reguläre Ausdrücke in allen E-Mail-Feldern?

Wir betreiben einen kleinen Windows-Shop mit Exchange. Spam ist ein ständiges Problem; Wir erhalten täglich Tausende von Spam-Nachrichten und schaffen es, den größten Teil des Spams zu entfernen, indem wir einen Filter an unserem eingehenden SMTP-Port verwenden. Trotzdem kommt etwas Müll durch. 1 % von 10.000 Spam-Nachrichten pro Tag ist immer noch ein echtes Ärgernis.

Wir verwenden derzeit Xwall als Spamfilter. Es hat zwei wirklich gute Eigenschaften.

  1. Graylisting (einfaches Ignorieren einer ersten E-Mail von zuvor ungesehenen Websites; echte Mailer auf solchen Websites senden nach einer Weile erneut, damit solche E-Mails durchkommen, aber Spammer senden fast nie erneut). Dies fängt 90% oder mehr auf.
  2. Die Möglichkeit, (Spam-)E-Mails zu eliminieren, indem mithilfe einiger einfacher Wild-String-Übereinstimmungen (Text mit Sternchen für Wildcards) nach bestimmten Zeichenfolgenmustern gesucht wird.

Es ist jedoch nicht konsequent, Musterprüfungen für jedes E-Mail-Feld zuzulassen (insbesondere können wir keine Filter auf „Von:“ anwenden, das die Spammer mit vielen nützlichen „Ich bin Spam“-Indikatoren zu füllen scheinen, z. B. „Von : Discounted Cars (Hilda.Pate@leaderRefreshing.com)". Es erlaubt auch keinen leistungsstarken Musterabgleich (z. B. anständige reguläre Ausdrücke). Das Fehlen von regulären Ausdrücken bedeutet falsch positive und falsch negative Ergebnisse. Wir haben uns jahrelang bei den Xwall-Jungs darüber beschwert aber keine antwort.

Gibt es eine Spam-Filter-Anwendung, die Folgendes hat:

  • Greylisting
  • Whitelisting mit regulären Ausdrücken für E-Mail-Adressen
  • Filtern mit echten regulären Ausdrücken für alle E-Mail-Felder nach Feld. Da Regexp-Filter erfunden wurden, um eine bestimmte Spam-Welle zu stoppen („Was hat Martha Stewart mit ihrem Gesicht gemacht?“), wäre eine wirklich nette Eigenschaft das Beendigungsdatum (standardmäßig 90 Tage?), um solche Filter altern zu lassen, mit der Fähigkeit dazu einfach wieder aktivieren, wenn die Spam-Welle anhält.
  • Die Möglichkeit, E-Mails basierend auf falsch geschriebenen Wörtern herauszufiltern (Wie viele Möglichkeiten gibt es, „Cialas“ mit lustigen Zeichen für i und l falsch zu schreiben?)
  • Aufzeichnung aller eingehenden E-Mails in einem Protokoll, mit Filtergrund (einschließlich "keine")
  • Möglichkeit, einen herausgefilterten E-Mail-Eintrag als „OK“ zu kennzeichnen, um ihn erneut einzureichen, um gelegentliche Fehlalarme zu behandeln

Andere Funktionen wie Bayes'sches Lernen sind nett, aber nicht notwendig.

Da ein solcher Filter SMTP-Nachrichten auf einem öffentlich sichtbaren SMTP-Port entgegennimmt und (gefilterte) Nachrichten an einen internen SMTP-Port weiterleitet, den wir für Exchange bereitstellen, ist es egal, wo er zu uns läuft. Insbesondere ist es akzeptabel, dass der Filter entweder unter Windows oder Linux ausgeführt wird.

Unser Exchange-Server ist ziemlich alt (2005) und wir bereiten uns auf ein Upgrade vor. Ich würde mich freuen zu hören, dass all diese Dinge in moderne Versionen von Exchange integriert sind. Pessimismus macht sich breit.

„Andere Funktionen wie Bayes'sches Lernen sind nett, aber nicht notwendig.“ Ich bin überrascht, dass Sie nicht einfach zu einer anderen Filtersoftware wechseln. Die Bayes'sche Filterung hat sich als weitaus effektiver als der Musterabgleich erwiesen.
In welchem ​​Sinne? Das Pattern-Matching-Zeug funktioniert verdammt gut und fängt oft neue Formen des gleichen alten Spams ab. Bayes'sches Zeug muss neuen Spam lernen . Ich würde mich freuen, wenn Sie eine Lösung empfehlen, die beides bietet. Ich kann ohne den bayesschen Teil leben. Ich möchte nicht ohne den Regex-Teil leben.
Ich hatte ein Kopfgeld von +100 angeboten, um mehr Action zu bekommen. Mehr Aufmerksamkeit erregte es offenbar nicht. Ist der Stand der Spam-Management-Tools wirklich so unfruchtbar?

Antworten (3)

Bayessche Filterung ist so tausend Jahre alt. ;) Ehrlich gesagt hat sich die E-Mail-Branche in den letzten fünf Jahren so sehr verändert, dass sie nicht mehr so ​​​​ist wie früher. Bayes'sche Filter waren früher die Norm für das Filtern, und jetzt werden sie sehr leicht verwendet, um nur die offensichtlichsten Übeltäter zu markieren, bei denen es sich eindeutig um unerwünschte Nachrichten handelt.

IP-Reputation ist der Punkt, an dem Sie suchen müssen, da die meisten unerwünschten Nachrichten von Bot-Netzwerken stammen, die mit IPs gefüllt sind, die immer nur ein paar hundert Spam-Nachrichten versenden und keinen aufgebauten Ruf haben, also ist dies ein einfaches Spam-Flag.

Barracuda bietet einen solchen Service zusammen mit einigen anderen an.

Ehrlich gesagt – für das, was es wert ist – verschieben Sie Ihre E-Mail zu einem dedizierten E-Mail-Anbieter. Sofern es nicht unbedingt erforderlich ist, dass Ihre E-Mail-Dienste im Haus bleiben, lohnt es sich nicht mehr, sie im Haus zu behalten. Es kommt an den Punkt, an dem Unternehmen ein Team von E-Mail-Experten einstellen müssen, nur um so etwas im Haus zu behalten, da die erforderliche Wartung immer weiter außer Kontrolle gerät.

Google wäre meine erste Wahl oder Amazon. Googles Antispam ist ehrlich gesagt erstaunlich, und Fehlalarme sind relativ selten, und das Schlimmste, was ich normalerweise verpasse, ist ein Newsletter, für den ich mich rechtmäßig angemeldet habe.

Wir möchten nicht, dass unsere E-Mail einem Anbieter zur Verfügung steht, egal welche Zusicherungen sie uns geben (NSA, irgendjemand?), Daher kommt ein Drittanbieter nicht in Frage. Ehrlich gesagt kommen wir mit nur Xwall und Exchange ziemlich gut zurecht, wir erhalten etwa 15.000 E-Mails pro Tag, von denen die meisten Spam- oder Virenvektoren sind, aber nur 20-30 Spam-Nachrichten passieren unsere Filter. Wenn wir uns diese ansehen, würden anständige reguläre Ausdrücke die Arbeit ziemlich gut beenden, wie wir sehen.
... Können Sie noch etwas zur IP-Reputation sagen? Wie kommt es zu dem Urteil, dass eine Maschine „nur ein paar hundert Spam-Nachrichten verschickt hat“? Ich würde denken, dass eine Spam-Nachricht ausreichen würde, um einen Absender rauszuschmeißen. Wer überwacht die IP-Reputation?
... wenn dies SpamHaus-Klassen-Zeug ist, ja, wir wissen bereits darüber (und unsere aktuelle Lösung verwendet es. Vielleicht muss es in meiner Anforderungsliste stehen, weil ich nicht weiß, wie effektiv es ist.) Ich kann sehen, wie Es ist hilfreich, nachdem festgestellt wurde, dass ein Computer Spam versendet, aber er wird die 1.000 Nachrichten dieses Computers nicht stoppen, wohingegen ein Filter auf "Viagra" trotzdem gut funktioniert.
Nun, die Nützlichkeit der IP-Reputation ergibt sich aus der Tatsache, dass eine IP mit einer Reputation von 0 beginnt. Kombinieren Sie das also mit der Tatsache, dass das Wort Viagra darin enthalten ist und es so ziemlich eine Garantie dafür ist, dass es markiert wird. Die meisten Mailserver-IPs würden natürlich ihr ausgehendes Volumen erhöhen – sie würden im Allgemeinen nicht von keinen Nachrichten auf eine Million an einem Tag ansteigen. Die IP-Reputation verfolgt diese Faktoren zusammen mit dem Prozentsatz, der zurückgewiesen wird (die meisten Spam-Mails leiten eine Menge Nachrichten zwischen legitimen Adressen zurück), und die Verwendung all dieser Daten wird ihm, ähnlich wie Bayesian, eine Punktzahl geben.
Wenn Sie STMP nicht mit SSL/TLS verwenden, ist Ihre E-Mail trotzdem für die NSA verfügbar.
@IraBaxter Wenn Sie sich wirklich Sorgen um die NSA machen, dann senden oder empfangen Sie niemals E-Mails außerhalb Ihres eigenen internen Netzwerks. E- Mail ist nicht sicher und daher spielt es im Allgemeinen keine Rolle, ob sie sich in der Cloud befindet.
@MichaelHampton: Ich mag es nicht, wenn die NSA schnüffelt, aber denke, dass sie nicht der direkte Bedrohungsvektor sind, selbst wenn sie die unmittelbare Ursache sind. Es ist wahrscheinlicher, dass das Big Cloud-Unternehmen bereitwillig oder nicht bereit ist, all diese Cloud-Daten aufzugeben. Es hat keinen Sinn, es ihnen einfach zu machen, indem man es ihnen gibt.
@IraBaxter OK, das macht mehr Sinn ... und ist eine viel wahrscheinlichere Bedrohung. Das Problem dabei ist, dass die besten Spamfilter Cloud-Dienste sind oder an sie angehängt sind.

GFI MailEssentials unterstützt Outlook mit

benutzerbasierte Filterregeln ermöglichen ein flexibles und granulares Filtern beliebiger Teile der E-Mail-Nachricht – einschließlich Nachrichtenkopfzeilen, Betreff, Text, Anhangsname und Anhangsinhalt – unter Verwendung verschiedener Arten von Mustervergleichsmethoden, einschließlich regulärer Ausdrücke.

Ebenfalls

Die POP2Exchange-Funktion bietet Unternehmen, die externe POP3-E-Mail-Konten verwenden, eine praktische Möglichkeit, E-Mails zu empfangen, ohne dass ein dedizierter E-Mail-Server erforderlich ist. http://www.gfi.com/products-and-solutions/email-and-messaging-solutions/gfi-mailessentials/specifications

Mehrere Anti-Spam-Filter http://www.gfi.com/products-and-solutions/email-and-messaging-solutions/gfi-mailessentials/specifications/an-arsenal-of-anti-spam-filters

IP-Blocklist-Anti-Spam-Plug-in – Ermöglicht E-Mail-Administratoren, GFI MailEssentials mit den IP-Adressen von Spam-, kompromittierten oder böswilligen SMTP-Servern zu aktualisieren, sodass E-Mails, die von diesen Servern stammen, gelöscht oder unter Quarantäne gestellt werden.

Ich habe mir die Seite angeschaut. Ihre Online-Dokumentation verwendet tatsächlich das Wort "Regex" als Filteroption für "Header", also sieht dies tatsächlich wie ein ernsthafter Kandidat aus. +1 und ich kann tiefer in dieses Thema eintauchen.
@irabaxter Haben Sie eine Lösung gefunden, die Ihren Anforderungen entspricht?

MailRoute Inc. ist ein E-Mail-Sicherheitsanbieter, der E-Mails auf Viren und Spam „wäscht“. Der Dienst funktioniert, indem er die Rolle eines Vermittlers im DNS-MX-Eintrag zwischen dem offenen Internet und dem E-Mail-Server übernimmt. Der Dienst schützt auch vor Ausfällen von E-Mail-Servern, indem eingehende E-Mails vorübergehend gehostet werden, bis der E-Mail-Server wieder bereit ist, Nachrichten zu empfangen.

Die Funktionen von MailRoute sind unter https://www.mailroute.net/ aufgeführt.

  • GreyListing zum Blockieren von Spam-Bots und Zombies
  • Schwarze Listen bekannter Spammer.
  • Spam-Fingerabdruckdatenbanken.
  • Lexikalische Analyse zur Identifizierung gängiger Spam-Wörter oder -Phrasen.
  • Bayessche Filterung.
  • Die Analyse verteilter Datenverkehrsmuster identifiziert neuen Spam.
  • Mit White- und Blacklists können Sie Scores je nach Absender anpassen.
  • Quarantäne: Spam wird sieben Tage lang im MailRoute SpamStore® gespeichert und ist über eine webbasierte Schnittstelle zugänglich.
  • Umschreiben der Betreffzeile: Voranstellen eines Wortes oder Satzes und des SpamScore® in die Betreffzeile der Nachricht.
  • Jeder Nachricht werden benutzerdefinierte Kopfzeilen hinzugefügt, sodass Sie Ihre eigenen Kriterien zum Filtern auswählen können.
  • Anpassbar auf Benutzer- oder Domänenbasis. Jeder Benutzer kann seine eigenen individuellen Einstellungen für Empfindlichkeit und Verarbeitung haben.
  • Mit domänenweiten oder individuellen White- und Blacklists können Sie bestimmte Adressen sperren oder zulassen.
  • Kompatibel mit allen E-Mail-Systemen – unabhängig von Plattform oder zugrundeliegendem Betriebssystem.
  • Die Implementierung dauert nur wenige Minuten und ist risikofrei.
  • 99,999 % Verfügbarkeitsgarantie.

Siehe detaillierte Benutzerbewertung unter http://community.spiceworks.com/topic/341240-so-far-so-good-on-mailroute-spam-filter-free-trial

Klingt irgendwie vernünftig. Wie wird der reguläre Ausdrucksaspekt meiner Frage behandelt?
Per MailRoute Advanced Support „Wir verwenden natürlich eine Menge Regex-Musterabgleich in unseren eigenen Regeln, aber keines unserer benutzerkonfigurierbaren Systeme hat Regex-Unterstützung das. Können Sie genauer erklären, wonach Sie suchen?" IMHO ist es offensichtlich, dass reguläre Benutzerausdrücke für Benutzer-Whitelists und -Blacklists verwendet werden. Ich wollte jedoch Ihre Meinung hören, bevor ich antworte.
Aus meiner obigen Abfrage: "Echte Filterung mit regulären Ausdrücken für alle E-Mail-Felder nach Feld" Warum ist das unklar? Von einem echten Spam, ein offensichtliches Beispiel: Das Feld „Von“ enthält: „Lunar Sleep Sample <LunarSleep@oaferide.com>“. Oder "Dr. Oz". Es ist erstaunlich, wie viel Cr-- man auf diese Weise eliminieren kann. Warum haben Anbieter von Mail-Tools so viel Angst davor, den Benutzern reguläre Ausdrücke zur Verfügung zu stellen? Wer nicht weiß, was es ist, wird es nicht benutzen. Diejenigen, die es tun, werden es effektiv nutzen. Und es ist nicht so, dass Regex-Bibliotheken nicht leicht verfügbar sind.
... Egal, ich will keinen Mittelsmann (die meisten von uns wollen ohnehin die NSA meiden, geschweige denn Leute, deren Motive wir nicht kontrollieren können). Mailroute ist keine Lösung für mein Problem.
Die Ende-zu-Ende-Verschlüsselung des Nachrichtentexts würde das Mithören verhindern, während ein Drittanbieterdienst verwendet wird, um Spam mithilfe der Nachrichtenkopfzeilenfelder zu filtern. Zwischenhändler in Form von SMTP-Relay-Diensten sind unvermeidlich.
FWIW per MailRoute Advanced Support „Nein, wir bieten keine benutzerkonfigurierbare Filterung nach Feldern in E-Mail-Kopfzeilen. Es ist eine interessante Idee, aber wir haben sie derzeit nicht auf dem Entwicklungsboard. Kennen Sie einen anderen Dienst, der das anbietet? das? Mir fällt nirgendwo ein, wo ich das gesehen habe.“
Spamfilter mit guter Unterstützung für reguläre Ausdrücke in allen E-Mail-Feldern?
AntwortenHierDatenschutz-Bestimmungen1y, 0v