Archiv der Kategorie: Exchange Services

Exchange Service Integration unblog Technical Workarounds and Tutorials for Professionals

Outlook Junk E-Mail auf Smarthost

Niemand mag SPAM, um die Flut unerwünschter E-Mails einzudämmen, müssen eingehende E-Mails mehrere Filter und sogenannte Milter durchlaufen.

Eine effiziente Filter Lösung bietet der Mail Transfer Agent – Postfix, das Open Source Programm wurde 1998 von Wietse Zweitze Venema entwickelt. Postfix ist ein leistungsfähiger Mail Transfer Agent für Unix und Unix-Derivate.

Die Software sollte zum Entwicklungszeitpunkt eine kompatible Alternative zu Sendmail sein. Dabei wurde bei der Entwicklung insbesondere auf Sicherheitsaspekte geachtet. Der Quellcode von Postfix steht unter der IBM Public License. Postfix MTA’s werden von vielen Internet Providern und in Großunternehmen eingesetzt.

Die Architektur von Postfix erlaubt es eine Vielzahl an Filter einzubinden, wie das unter der Apache-Lizenz stehende SpamAssassin, um unerwünschte E-Mails herauszufiltern und zu markieren, oder Greylisting um das verhalten eines Senders zu überprüfen. Zum Schutz gegen Viren und Schadcode kann Clam AntiVirus eingebunden werden – ClamAV steht unter der GNU General Public License.

Workaround

Als E-Mail Client Software in Unternehmen ist MS Outlook im Exchange betrieb weit verbreitet. Für SPAM der nicht in einem Filter abgefangen wurde, bietet Outlook die Möglichkeit unerwünschte Absender zu sperren, hierbei ist die Bezeichnung nicht gerade zutreffend, denn die sogenannten Junk E-Mails werden auf dem Server nicht gesperrt, sondern sie werden beim Empfang viel mehr in den Outlook Ordner Junk-E-Mail verschoben. Besser wäre es aber wenn der vermeintliche Absender es gar nicht schafft es zuzustellen, also es zurückgewiesen wird.

Empfang in den Outlook Ordner Junk-E-Mail verschoben

Hier gibt es eine Möglichkeit einzugreifen, wenn der Exchange Server wie oft die E-Mails nicht direkt aus dem Internet empfängt, sondern über einen Smarthost abwickelt. Smarthosts sind meist Linux basierte Server die mit dem Postfix MTA arbeiten.

Abbildung: Junk-E-Mail Optionen: Blockierte Abesnder
Abbildung: Junk-E-Mail Optionen: Blockierte Abesnder
Installation

Der folgende PowerShell Script ruft die Junk-E-Mail Einträge aus der Outlook Sperrliste Blockierte Absender von allen Mailboxen aus und extrahiert die formatierte Ausgabe als Windows-ANSI Text und in eine ACSII-Text Datei. Anschliessend wird die erzeugte Datei extracted_JunkEmails.asc auf den Smarthost übertragen. Die Whitelist wird in der Datei extracted-TrustedEmails.asc angelegt.

<#
  JunkEmails.ps1 extract junk email addresses from mailboxes and write to file being distribute to smarthost
  Version 1.0.2 (12.04.2017) by DonMatteo
  Mail: think@unblog.ch
  Blog: think.unblog.ch
#>

$Smarthost = "user@smarthost.mydomain.com:/tmp"
$User_Path = (Get-Item env:\localappdata).Value
$Junk_Path = "$User_Path\Junk"
if(!(Test-Path -Path $Junk_Path )){
    New-Item -ItemType directory -Path $Junk_Path
}
$input_file = "$Junk_Path\JunkEmails.txt"
$output_asc = "$Junk_Path\extracted-JunkEmails.asc"
$output_txt = "$Junk_Path\extracted-JunkEmails.txt"

$trusted_file = "$Junk_Path\TrustedEmails.txt"
$trusted_asc = "$Junk_Path\extracted-TrustedEmails.asc"
$trusted_txt = "$Junk_Path\extracted-TrustedEmails.txt"

$junkmails = (Get-MailboxJunkEmailConfiguration -Identity * | fl BlockedSendersAndDomains)
$junkmails | Out-File -FilePath $output_asc -Encoding ASCII
$junkmails | Out-File -FilePath $input_file

$trusted = (Get-MailboxJunkEmailConfiguration -Identity * | fl TrustedSendersAndDomains)
$trusted | Out-File -FilePath $trusted_asc -Encoding ASCII 
$trusted | Out-File -FilePath $trusted_file

$regex = "\b[A-Za-z0-9._%-]+@[A-Za-z0-9.-]+\.[A-Za-z]{2,4}\b"
Select-String -Path $input_file -Pattern $regex -AllMatches | % { $_.Matches } | % { $_.Value } > $output_txt
Select-String -Path $trusted_file -Pattern $regex -AllMatches | % { $_.Matches } | % { $_.Value } > $trusted_txt

& "C:\Program Files\PuTTY\pscp.exe" "$output_asc" "$trusted_asc" "$Smarthost"

Der Script wird auf dem Exchange Server in der Exchange Management Shell als Administrator ausgeführt, geeigneter Weise als Job in der Aufgabenplanung zu jeder Stunde. Bei Zeile 8 soll anstelle des Platzhalters der Benutzername gefolgt vom Name des Smarthost stehen, dies als FQDN oder host IP.

Auf dem Exchange Server wird PuTTY benötigt, nach der Installation von PuTTY 64bit dient pscp.exe (PuTTY Secure Copy) zur Übertragung der Sperrliste Blockierte Absender auf den Smarthost. Damit es zu keiner Passwort abfrage kommt, muss mit PuTTY Key Generator (puttygen.exe) ein Schlüsselpar erzeugt werden, der erzeugte Public Key wird auf dem Smarthost unter das home Verzeichnis des Benutzers in das Verzeichnis .ssh in die Datei authorized_keys kopiert. Damit ist der Script mit pscp in der lage sich beim Smarthost zu authentifizieren.

Auf dem Linux Smarthost dient ein Shell Script um die Zeilen in das Unix (LF) Format zu konvertieren. Dieser Einzeiler erzeugt die passende Ausgabe in das Postfix Verzeichnis über pipe in die Datei junkbl_access und trusted_access.

# build postfix junk emails lookup tables
cat -v /tmp/extracted-JunkEmails.asc | tr , '\n' | sed 's/[{}]//g;s/[\t ]//g;/^$/d;s/\.\.\.//g;s/\^M$//g;s/BlockedSendersAndDomains://g' | grep . | sort | uniq -u | sed 's/$/\t 550 message was classified as spam/'  > /etc/postfix/junkbl_access
postmap /etc/postfix/junkbl_access
# build postfix trusted emails lookup tables
cat -v /tmp/extracted-TrustedEmails.asc | tr , '\n' | sed 's/[{}]//g;s/[\t ]//g;/^$/d;s/\^M$//g;s/TrustedSendersAndDomains://g' | grep . | sort | uniq -u | sed 's/$/\t ok/' > /etc/postfix/trusted_access
postmap /etc/postfix/trusted_access

Code in eine Datei junkbl.sh einfügen und unter dem Pfad /usr/bin/ speichern.

Der Shell Script wird ausführbar gemacht.

chmod +x /usr/bin/junkbl.sh

Der stream-editor – sed konvertiert die Zeilenumbrüche, entfernt leer Zeichen und fügt am ende jeder Zeile den SMTP Error Code 550 ein, damit werden die beim versuch der Zustellung nicht erwünschten E-Mails der Sperrliste Blockierte Absender zurückgewiesen.

Die Postfix lookup tables erstellen und aktualisieren.

postmap /etc/postfix/junkbl_access
postmap /etc/postfix/trusted_access

In der Postfix Hauptkonfiguration werden die restriction checks hinzugefügt.

vi /etc/postfix/main.cf

smtpd_recipient_restrictions =
        permit_mynetworks,
        check_sender_access hash:/etc/postfix/junkbl_access,
        check_sender_access hash:/etc/postfix/trusted_access,

Nach einem postfix reload wird die Outlook Sperrliste von Postfix angewandt.

Per cronjob soll die Sperrliste laufend aktualisiert werden, zu jeder Stunde +5 min.

5 * * * * root /usr/bin/junkbl.sh >/dev/null 2>&1
Anmerkung

Bei CentOS 7 ist es erforderlich den user zur Group sftp_users hinzuzufügen, mit usermod -G sftp_users {username}, in der sshd_config muss die direktive Match Group sftp_users angewandt werden.

Wie ein Script für die Exchange Management Shell aus der Aufgabenplanung ausgeführt wird, erklärt der Beitrag Exchange MailboxStatistics Mail-Report

OpenSSH Key Bereitstellung für Auto-login PuTTY Key Generator

Eine weitere SSH Lösung bietet OpenSSH on Windows

Release Update und Bugfix auf Github

Exchange MailboxStatistics Mail-Report

Exchange MailboxStatistics für Email Report

Exchange Administratoren möchten über die Aktivitäten der CAS und DAG informiert sein. Das PowerShell cmdlet Get-MailboxStatistics ermöglicht hierzu Reports zu erstellen.

Dieser Beitrag soll in einem Beispiel die Möglichkeiten aufzeigen, anhand eines einfachen Script eine Statistik der Mailboxen in einer Exchange Organisation zu erzeugen und als E-Mail Report zu versenden. Der Report enthält ferner den Exchange Health Status und die Speicherbelegung der Festplatten.

Installation

Das PowerShell Script erzeugt die Mailbox Statistic und den Health Status des Servers.

$a = "<style>"
$a = $a + "BODY{background-color:GhostWhite;}"
$a = $a + "TABLE{border-width: 1px;border-style: solid;border-color: black;border-collapse: collapse;}"
$a = $a + "TH{border-width: 1px;padding: 0px;border-style: solid;border-color: black;background-color:Gold;}"
$a = $a + "TD{border-width: 1px;padding: 0px;border-style: solid;border-color: black;background-color:Azure;}"
$a = $a + "</style>"

Add-PSSnapin Microsoft.Exchange.Management.Powershell.Admin -erroraction silentlyContinue

$email = ("your@email.com")
$date = (Get-Date -format F)
$exch = [system.environment]::MachineName
$build = (Get-ExchangeServer -Identity $env:exch | ft name,AdminDisplayVersion -HideTableHeaders -AutoSize)
$path = [Environment]::GetFolderPath('ApplicationData')
$file = "$path\report.html"
	if (test-Path $path\report.html) { remove-Item $path\report.html;
	Write-Host -ForegroundColor white -BackgroundColor Red    "Old file removed"
	}
ConvertTo-Html -Head $a  -Title "Exchange Mailbox statistics and health status for $exch" -Body "<h1> Computer Name : $exch </h1>" >  "$path\report.html"
$mailboxdata = (Get-MailboxStatistics -Server $exch | Sort-Object TotalItemSize -Descending | select DisplayName,@{label="TotalItemSize(MB)";expression={$_.TotalItemSize.Value.ToMB()}},ItemCount,LastLogonTime)
$HealthReport = (Get-HealthReport -Server $exch | Where-Object { $_.alertvalue -ne "Healthy" } | Select Server,State,HealthSet,HealthGroup,AlertValue,LastTransitionTime,MonitorCount,HaImpactingMonitorCount)
$disk = (Get-WMIObject Win32_Logicaldisk -ComputerName $exch | Select PSComputername,DeviceID,@{Name="SizeGB";Expression={$_.Size/1GB -as [int]}},@{Name="FreeGB";Expression={[math]::Round($_.Freespace/1GB,2)}})
$date | Out-file $file -append
$build | Out-file $file -append
$mailboxdata | ConvertTo-html -Body "<H2> Mailbox Statistics </H2>" >> $file
$HealthReport | ConvertTo-html -Body "<H2> Exchange Health Report </H2>" >> $file
$disk | ConvertTo-html -Body "<H2> Disk Space usage </H2>" >> $file
$smtpServer = "127.0.0.1"
$att = new-object System.Net.Mail.Attachment($file)
$msg = new-object System.Net.Mail.MailMessage
$smtp = new-object System.Net.Mail.SmtpClient($smtpServer)
$msg.From = "no_reply@$exch"
$msg.To.Add($email)
$msg.Subject = "Notification report from $exch"
$msg.Body = "$exch MailboxStatistics generated $date reported to attachment $file"
$msg.Attachments.Add($att)
$smtp.Send($msg)
$att.Disposen

Die Code Zeilen in eine Datei report.ps1 speichern und in der Exchange Management Shell mit .\report.ps1 ausführen. Bei $email wird ein gültiger E-Mail Empfänger definiert. Der Empfänger muss in der DAG existieren in dieser der Script ausgeführt wird. Sollen externe Empfänger den Report erhalten, kann für $smtpServer als Wert ein externer Host oder Mail Transport Agent angegeben werden.

Aus dem Aufgabenplaner lässt sich der Script geplant ausführen, zum Beispiel Täglich um 20.00 Uhr, dabei wird im Register Action im Feld Programm/Script:

C:\Windows\System32\WindowsPowerShell\v1.0\powershell.exe

eingetragen, und im Feld Argumente:

-psconsolefile "D:\Program Files\Microsoft\Exchange Server\V15\Bin\exshell.psc1" -file "C:\windows\system32\report.ps1"

eingefügt. Damit wird der Script in der Exchange Management Shell ausgeführt. Im Register Allgemein muss die Checkbox Mit höchsten Privilegien ausführen aktiviert werden.

Exchange MailboxStatistics für Email Report

Release Update und Bugfix auf Github

Exchange Quota für Outlook Regeln vergrössern

Exchange Postfach Quota vergrössern

Outlook speichert Regeln bei Exchange Konten auf dem Server, um Weiterleitungen oder E-Mails Online aus dem Posteingang automatisch in Ordner zu verschieben, dies auch wenn Outlook nicht ausgeführt wird. Die Synchronisation von Regeln bietet auch den vorteil bei der Nutzung mit dem eigenen Konto an einem anderen Computer, die Regeln werden dann automatisch vom Server in Outlook heruntergeladen.

Werden viele Regeln erstellt, oder werden Regeln mit langen Namen verwendet, kann der Quota Speicher auf dem Exchange Server nicht mehr ausreichen, die Standardgrösse ist auf 64 KB limitiert.

Es erscheint bei Outlook folgende Fehlermeldung:
Mindestens eine Regel konnte aufgrund von nicht unterstützten Parametern oder mangelndem Speicherplatz nicht auf Exchange Serverübertragen werden.

Erweitern lässt sich die RulesQuota mit folgendem cmdlet aus der Exchange Management Shell.

Set-Mailbox joe@banana.org -RulesQuota: 256kb

Aktuelle RulesQuota abfragen mit folgendem cmdlet

Get-Mailbox joe@banana.org | FL displayname, rulesquota
Set-Mailbox -RulesQuota
Set-Mailbox -RulesQuota

Hinweis! Werden Regeln zum verschieben in lokale PST-Dateien angelegt, muss unter Erweiterte Optionen – nur auf diesem Computer aktiviert werden. Auch diese Regeln werden zum Server hochgeladen, jedoch werden sie nicht Online ausgeführt da PST Ordner nur auf dem Computer lokal vorhanden sind.