Vervelende spam markering, niet te beïnvloeden zo lijkt het

Freedom gebruikt een span detectie systeem dat duidlijk aangeeft waarom het spam is en kan je de spamscore treshold zelf instellen: X-Soverin-Spam

MAAR er blijk nog een ander spam detectie systeem actief bij Freedom mail: X-Cloudmark
Wat is dat? Hoe beinvloed ik dat? Hoe zet ik die onzin uit.

Op een bepaalde email geeft X-Soverin-Spam een lage spam score van 1.53 van 15, en dat klopt ook wel gezien de inhoud.
Maar diezelfde email wordt toch als spam gezien omdat X-Cloudmark die mail een X-CMAE-Score 100 geeft. Volledig niet traceerbaar waarom:

X-Cloudmark-Verdict: spam
X-CMAE-Score: 100
    X-CMAE-Analysis: v=2.4 cv=EbjOQumC c=0 sm=1 tr=0 ts=66f9725d b=1
	p=7OC6ptUdAAAA:8 a=XZbtaw/FK3iryUsUTdXa6Q==:117
	a=XZbtaw/FK3iryUsUTdXa6Q==:17 a=lU03Z4yc7+u8VQHnwYB+2V2ltmY=:19
	a=EaEq8P2WXUwA:10 a=lBktYfEog8AA:10 a=5KLPUuaC_9wA:10 a=tNYaBv55wqcA:10
	a=KqaL_8Dfv5sA:10 a=g8TUdU_LZmEA:10
X-Cloudmark-Reporter: 31tmjXYpwoPwaMc4thKbx0e3MGc

Ik wil daar dus vanaf. Hoe?

Hier ook een legitieme mail van infectieradar.nl waar alle filters blij mee zijn, behalve Cloudmark die het zelfs CMAE score 100% spam geeft.

Headers
Authentication-Results: mx.soverin.net;
    dkim=pass header.d=infectieradar.nl header.s=selector1 header.b=eF3AXkIJ;
    dmarc=pass (policy=quarantine) header.from=infectieradar.nl;
    spf=pass (mx.soverin.net: domain of noreply@infectieradar.nl designates 131.224.254.252 as permitted sender) smtp.mailfrom=noreply@infectieradar.nl
...
X-ESET-AS: R=OK;S=0;OP=CALC;TIME=1729098261;VERSION=7978;MC=2094094925;ID=29956;TRN=0;CRV=0;IPC=131.224.249.73;SP=0;SIPS=3;PI=3;F=0
X-ESET-Antispam: OK
X-EsetResult: clean, is OK
X-EsetId: 37303A29A6DD5055647263
X-Soverin-Spam-Result: default: False [-0.16 / 15.00];
    DMARC_POLICY_ALLOW(-0.50)[infectieradar.nl,quarantine];
    MID_RHS_NOT_FQDN(0.50)[];
    R_SPF_ALLOW(-0.20)[+ip4:131.224.254.248/29:c];
    MIME_HTML_ONLY(0.20)[];
    R_DKIM_ALLOW(-0.20)[infectieradar.nl:s=selector1];
    MANY_INVISIBLE_PARTS(0.05)[1];
    MX_GOOD(-0.01)[];
    ARC_NA(0.00)[];
    MISSING_XM_UA(0.00)[];
    ASN(0.00)[asn:1103, ipnet:131.224.0.0/16, country:NL];
    RCPT_COUNT_ONE(0.00)[1];
    MIME_TRACE(0.00)[0:~];
    RCVD_COUNT_ZERO(0.00)[0];
    NEURAL_HAM(-0.00)[-0.999];
    FUZZY_BLOCKED(0.00)[rspamd.com];
    FROM_EQ_ENVFROM(0.00)[];
    FROM_HAS_DN(0.00)[];
    HAS_REPLYTO(0.00)[infectieradar@rivm.nl];
    REPLYTO_DOM_NEQ_FROM_DOM(0.00)[];
    TO_MATCH_ENVRCPT_ALL(0.00)[];
    TO_DN_NONE(0.00)[];
    DKIM_TRACE(0.00)[infectieradar.nl:+]
X-Cloudmark-Verdict: spam
X-CMAE-Score: 100
X-CMAE-Analysis: v=2.4 cv=Y/j+sAeN c=0 sm=1 tr=0 ts=670ff218
    p=b4NFl8uCULP0PCM4h5fg:22 a=W+NWAhnVNLSWXVDEfHQbsw==:117
    a=W+NWAhnVNLSWXVDEfHQbsw==:17 a=IkcTkHD0fZMA:10 a=BiHnTHXEV3wA:10
    a=g8TUdU_LZmEA:10 a=FZtCF9EsAAAA:8 a=dkNASG6mAAAA:8 a=2ClTzrt9AAAA:8
    a=TXE2Y3gcAAAA:8 a=yktXORyHAAAA:8 a=jMpoEoXoAAAA:8 a=xcXJK8T81fY9uImRgnsA:9
    a=GoiBluhlW84Rbec6:21 a=gKO2Hq4RSVkA:10 a=_W_S_7VecoQA:10 a=lqcHg5cX4UMA:10
    a=QEXdDO2ut3YA:10 a=_rFUlQj4hj4A:10 a=zT8A1qJmZykA:10
    a=ImwWUX5h3JJ3gRE9moBe:22
X-Cloudmark-Reporter: qrfMP/otr/mTLimsJBTz1wwWdBk=

blijft de vraag van PeterB
WAAR wordt die test uitgevoerd ?

  • Freedom-Mail zelf
  • Soverin-Mail
  • eigen OperatingSystem of MailProgramma

en de vraag :

  • Hoe zet je dat ‘ding’ UIT ?

Lezen :spraydot: freedom en soverin hier mee ?

Cloudmark Authority Engine draait aan de kant van de MTA (Soverin) middels een local agent en mogelijk third party servers. Die geeft een rapportage terug die de MTA verwerkt naar een eindoordeel en de vermelde CMAE headers.

Alleen Soverin kan hem uitzetten.

Je kan wel in je Freedom dashboard mailfilters instellen waarbij je obv deze headers de mail naar een bepaalde map forceert. Maar dat is wel een heel gedoe, zeker als je veel mailboxen hebt. Ik heb filters gemaakt die beide systemen in overweging nemen en heb hiermee de minste false-positives. Niet volledig zuiver, maar het helpt.

naar inbox
als X-Soverin-Spam-Status begint met Yes en X-CMAE-Score is gelijk aan 0 dan opslaan in INBOX

naar spam
als X-Cloudmark-Verdict is gelijk aan spam dan opslaan in Spam

En nog wat regex filters tegen PostNL en bank false-positives.

Meestal gaat het dan om IP adressen en hostnames van de hops (Received-headers) en hashes van fragmenten. Dus niet de hele mail.

Ik deel je zorg. Van de Cloudmark website:

Cloudmark Authority utilizes a unique combination of proprietary technologies including Advanced Message Fingerprinting algorithms and real-time threat reporting from the Cloudmark Global Threat Network, consisting of billions of trusted users located in 165 countries around the globe.

De fingerprinting zal waarschijnlijk in de local agent gebeuren, maar dat gaat dan dus wel naar hun realtime API. Verderop wordt het nog spannender:

Cloudmark Network Feedback System

Provides real-time and historical analytics down to the individual subscriber level on messages scanned and feedback received. Service providers get full insight into abuse trends and effectiveness of Cloudmark Authority. Also, enhanced understanding of subscriber usage patterns and behavior improves policy decision-making and infrastructure planning.

Edit: als er inderdaad informatie upstream gaat dan zou dat in strijd zijn met Soverin’s privacy policy:

8.1. Soverin will never share Your data with third parties, unless We are obligated to do so by law.

8.2. Soverin only Processes Personal Data in countries within the European Union. At Your request, Soverin shall inform You of the country or countries concerned.

Cloudmark is van het Amerikaanse Proofpoint.

Na contact met Soverin blijkt dat ze een eigen Cloudmark server draaien. De informatie in de mails gaat dus niet naar externe servers bij dat bedrijf. Ik heb nog vragen openstaan mbt waarom de support desk daar niet onder valt en hoe de CMAE headers gedecodeerd kunnen worden.

Als Soverin meeleest, wellicht kunnen jullie hier zelf deelnemen?

1 like

Dat is gewoon marktconform / wat je tegenwoordig van een mailprovider mag verwachten. En misschien zelfs vereist om de reputatie van de uitgaande IPs clean te houden, met name bij forwards. Het zou passend zijn als je zelf de filters kan schakelen en misschien zelfs tunen, maar ik denk dat het voor uitgaande mail alsnog blijft ingeschakeld.

De zelf in te stellen X-Spam-Result drempel heeft geen effect meer. Ook niet op de X-Soverin-Spam-Result score. Die eerste bestaat ook niet meer. Ik vermoed dat die instelling alleen van toepassing was op de Rspam? drempel en is opgeheven omdat de andere filters (Cloudmark, ESET) het besluit toch overrulen.

Volgens de Freedom Mail productpagina kan je kiezen uit 5 spamfilter niveaus. Een oude tekst of work in progress?

Freedom moet ons zeker beter en eerder gaan informeren over functionele wijzigingen in de dienstverlening. Net als de wijziging van de DKIM records, wat je pas ontdekt als je mails ineens niet meer aankomen. Zo ook als de filtering complexer wordt. Dat vereist aan onze kant mogelijk aanpassing in configuraties en de mailbox rules e.d.

Feitelijk heeft Soverin wel het recht om dit soort aanpassingen zonder kennisgeving te doen, zolang het binnen de belofte blijft van het product. Ik ken weinig (geen?) andere bedrijven die hun klanten informeren over elke interne techniek aanpassing.

Freedom maakt er geen geheim van dat ze met Soverin samenwerken. Al zouden ze dat wel op de website mogen noemen. Soverin geeft zelf aan, en bevestigt dat dus nog steeds, dat ze spam filtering doen en dat het in-house gebeurt. Dus daar is feitelijk geen wijziging in het product. De manier waarop is wel veranderd en zou tof zijn als dat wordt gemeld.

Wat privacy en betrokkenheid van derden betreft: als ik er vanuit mag gaan dat de mail migratie in dit artikel met succes is voltooid en nog steeds zo draait, dan staan de mailservers inmiddels binnen het Freedom netwerk. Dat is dan wel een grote wijziging, met positieve effect.

Ik krijg ook veel valide emails met een lage X-Soverin-Spam-Result, zelfs eentje van PostNL die redelijk negatief is:

X-Soverin-Spam-Result: default: False [-6.55 / 15.00];

met dan toch ook

X-Cloudmark-Verdict: spam
X-CMAE-Score: 100

waardoor die in de Junk belanden. Ik snap dat het onafhankelijke filters zijn, maar dat we helemaal niets kunnen instellen van hoe Cloudmark werkt en als die aantoonbaar bij sommige van onze emails heel rare beslissingen neemt, dan ben ik toch niet zo tevreden met als enige oplossing om voorbeelden naar de Klantenservice te sturen om het filter beter te trainen, zoals gemeld in: Te vaak vals-positieven bij e-mail (onterecht aangemerkt als spam) - 13 van bastiaan

Ik zie overigens ook geen actueel helpdesk-item over instellingen rondom binnenkomende spam/ham:
https://helpdesk.freedom.nl/search?search=spam

In Mijn Freedom staat wel iets waar ik een score kan opgeven, waar een verwijzing staat naar een andere header: X-Spam-Status, die ik niet kan vinden in mijn ontvangen emails. Ik neem aan dat dit verwijst naar wat nu X-Soverin-Spam-Result heet, want Cloudmark geeft geen duidelijke score waar ik iets mee zou kunnen.

De score instelling in Mijn Freedom heeft geen effect op X-Soverin-Spam-Result

Hoi! Ik heb samen met iemand van Soverin dit draadje gelezen en haken toch graag even in op de conversatie om misverstanden te voorkomen. En om wat uitleg te geven over hoe het werkt en wat je kan verwachten.

Onze e-mail wordt geleverd en beheert door onze partner Soverin. Zij zijn verantwoordelijk voor het ontvangen van alle e-mails die gestuurd worden naar @freedom.nl en eigen domeinnamen.

De personen hier weten waarschijnlijk wel dat vele e-mail exchanges in het internet landschap streng zijn en dus zoveel mogelijk doen om spam, phishing en ongewenste mail te voorkomen en te weren.

Zoals net ook zei:

Soverin wordt verwacht, waar zij zelf ook voor staan, om een veilige mail dienst te leveren. Daarbij hoort ook een stuk filtering van e-mail bij, voor inkomend als ook uitgaande email. Het is niet verantwoord om publiekelijk informatie te delen over de werking van (spam) filtering. Je zal begrijpen dat dit erg nuttige informatie is die gebruikt kan worden om de filters te omzeilen. Zoals bekend is maakt Soverin o.a. gebruik van Rspamd & Cloudmark.

Rspamd is relatief transparant in welke score het geeft en waarom. De software van Cloudmark gebruikt Soverin op eigen apparatuur. Regelmatig worden kenmerken opgehaald en lokaal tegen de email data gehouden. De resultaten worden in de email headers gezet voordat de mail in de mailbox wordt afgeleverd. Aan de hand van deze headers en de spam instellingen een e-mail in de spamfolder- of in de postvak in geplaatst. Waarbij de spam instellingen van toepassing zijn op de score van Rspamd. Deze spam score in de MIJN Freedom omgeving aanpassen bepaald in welke folder de e-mail wordt geplaatst. Alles onder de ingestelde score, in postvak in. Alles erboven wordt in de spam folder geplaatst.

De headers gemaakt door de Cloudmark service zijn inderdaad cryptisch en niet transparant. Dit maakt dat lastig te begrijpen is waarom iets een score heeft gekregen. Wij weten dat er false positives zijn waardoor, met name nieuwsbrieven, toch in de spam folder terecht komen. Er wordt bij Soverin gewerkt aan extra logica om dit te verbeteren, zonder dat er informatie terug naar Cloudmark wordt gestuurd. Daarnaast om de Cloudmark score onderdeel te laten worden van Rspamd, al is dat minder makkelijk dan gedacht.

Voor nu moeten we toch melden dat Cloudmark niet per gebruiker uitgezet wordt maar dat de velden: ‘Nooit markeren als spam’ wel invloed heeft hierop. Als je een domein zoals ‘*@freedominternet.nl’ in het veld bij ‘Nooit markeren als spam’ invult, ongeacht of de score bijvoorbeeld 14,9 op Rspamd heeft of score van 100 op Cloudmark, dan wordt deze afgeleverd in de postvak in.

Wij zijn regelmatig met Soverin in gesprek om zaken te verbeteren waaronder ook de aanpak van abuse. Want jammer genoeg kent ook onze gebruikers situatie waar dat mis gaat. Daarin zijn we blij dat er een systeem is die detecteert dat er mogelijk misbruik wordt gemaakt. Want een blokkade op IP-adressen, domeinen is een groot probleem. Zeker als het bij grote leverancier is van exchanges.

2 likes

@sebas Bedankt voor het oppakken en de uitleg. Alle begrip voor het feit dat het filteren, het beleid en de middelen daartoe nodig zijn. En als de scoring logisch zou werken dan zou ik er geen probleem mee hebben. Een paar foutjes af en toe is acceptabel als je kijkt naar de enorme hoeveelheid troep die het wegfiltert. Echter gaat de uiteindelijke beslissing gewoon niet goed.

In de praktijk werkt dat toch anders. Zo heb ik gisteren een false-positive (order bevestiging) in de spam ontvangen met twee CMAE-Result headers die elkaar tegenspreken. De eerste (lagere analysis ts param) lijkt doorslaggevend met CMAE 100. Terwijl de opvolgende CMAE 0 en Rspamd de score wel goed hebben ingeschat.

Relevante headers weergeven
Authentication-Results: mx.soverin.net;
	dkim=pass header.d=news.philips-hue.com header.s=philipslighting header.b=jYqAqNii;
	spf=pass (mx.soverin.net: domain of bounce@news.philips-hue.com designates 130.248.195.42 as permitted sender) smtp.mailfrom=bounce@news.philips-hue.com;
	dmarc=pass (policy=reject) header.from=philips-hue.com
X-CMAE-Score: 100
X-CM-Analysis: v=2.4 cv=adqbnQot c=0 sm=1 tr=0 ts=675a22a4 p=m1v7SpQM1SjMGmOuCJguLw==:17
...
X-Soverin-Spam-Result: default: False [-2.34 / 15.00];
...
X-CMAE-Score: 0
X-CMAE-Analysis: v=2.4 cv=O8E/vg9W c=1 sm=1 tr=0 ts=675a22a5 b=1
...
X-Cloudmark-Reporter: Uh9LWLZTaJ9N99QzNdiLb9fnbgs=

Is het niet mogelijk om CloudMark alleen voor het grove werk te configureren en dat de uiteindelijke map keuze echt alleen door Rspamd wordt bepaald? Dan gaat de CMAE score alleen over of de mail überhaupt naar de mailbox gaat en bemoeit zich verder niet met de aflevering?

@sebas In een reactie op een melding van mij hierover aan de helpdesk heb je in november 2024 geschreven: ‘Cloudmark is niet doorzichtig. Soverin heeft hiervoor een eigen server lokaal draaien en enkel zij kunnen dus zien waarom dit als spam gezien wordt.
Jammer genoeg kan de Cloudmark niet uitgezet worden.’
Dat klopt met de reacties in dit draadje. Freedom heeft dus geen zeggenschap over Soverin.
Naar aanleiding daarvan de vraag: Er was ooit sprake van dat de situatie van mail gehost bij Soverin tijdelijk zou zijn en dat Freedom ernaar streefde om de e-mail zelf te gaan hosten. Zit daar nog voortgang in?

1 like