На основе официального контейнера nginx(hub.docker.com/_/nginx/) сделать образ с конфигом, который соответствует этому конфигу apache :

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REQUEST_URI} !(.png|.jpg|.gif|.jpeg|.svg|.css|.js)$
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^(.*)([^/])$ /$1$2/ [L,R=301]
RewriteRule ^([^.]+)/$ $1.html [NC,L]
</IfModule>

<IfModule mod_headers.c>
# WEEK
<FilesMatch ".(png|jpg|gif|jpeg|svg|css|js)$">
Header set Cache-Control "max-age=604800, public"
</FilesMatch>
</IfModule>

AuthType Basic
AuthName "Restricted Content"
AuthUserFile /home/username/.htpasswd
Require valid-user

Т.е. нужен nginx внутри контейнера, который для всех хостов отдает статику по правилу:
example.com/filename -> example.com/filename.html
Имена файлов названы на кириллице.