Идеальный Nginx proxy + LetsEncrypt, GeoIP2

Такой инструмент как Front-end сервер уже давно зарекомендовал себя как эффективный способ решения сразу массы проблем. С помощью front-end серверов администраторы Linux скрывают реальные ip адреса приложений, балансируют нагрузку на backend, организуют почтовые releay и выполняют множество задач, которые довольно удобно решать с помощью front-end серверов с Nginx proxy на борту.

В этой статье мы расскажем и предоставим подробный листинг команд для организации идеального Nginx proxy front-end (Perfect Nginx Proxy — PNP) сервера на базе Centos 7, который помимо своей прямой роли, будет предоставлять ещё и автоматическую выдачу SSL сертификатов LetsEncrypt. Кроме этого, мы обеспечим корректную работу GeoIP2, проброс на backend корректных заголовков и реальных ip адресов пользователей, если вы используете CloudFlare.

Кстати, у нас есть отличная статья на тему генерации WildCard SSL сертификатов LetsEncrypt в связке с Cloudflare

Итак, для начала работ нам необходимо установить epel-release:

yum install epel-release -y

После установки epel-release, приступаем к установке nginx и git:

yum install git nginx -y

Далее в отдельную папку клонируем ngx_http_geoip2_module:

cd /usr/src
git clone https://github.com/leev/ngx_http_geoip2_module.git

После завершения скачиваем последнюю версию nginx использую команды:

NGINXFILE=$(wget -qO- http://nginx.org/en/download.html | tr ' ' '\n' | egrep -o 'nginx.+?tar.gz' | head -1)
wget http://nginx.org/download/${NGINXFILE}
tar zxvf ${NGINXFILE}
cd ${NGINXFILE%..}

Теперь установим необходимые библиотеки и зависимости для последующей сборки модуля:

yum groupinstall -y "Development Tools" "Development Libraries"

yum install -y compat-libstdc++-33 libstdc++.so.6.i686 zlib libmaxminddb libmaxminddb-devel pcre-devel openssl-devel

yum install -y compat-libstdc++-33 libstdc++.so.6 zlib libmaxminddb libmaxminddb-devel pcre-devel openssl-devel

Копируем текущую конфигурацию nginx, как говорится — на всякий случай:

cp -r /etc/nginx /root/nginx_$(date +%F)

И приступаем к сборке:

./configure --add-module=/usr/src/ngx_http_geoip2_module --prefix=/etc/nginx --sbin-path=/usr/sbin/nginx --modules-path=/usr/lib64/nginx/modules --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx.pid --lock-path=/var/run/nginx.lock --http-client-body-temp-path=/var/cache/nginx/client_temp --http-proxy-temp-path=/var/cache/nginx/proxy_temp --http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp --http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp --http-scgi-temp-path=/var/cache/nginx/scgi_temp --user=nginx --group=nginx --with-compat --with-file-aio --with-threads --with-http_addition_module --with-http_auth_request_module --with-http_dav_module --with-http_flv_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_mp4_module --with-http_random_index_module --with-http_realip_module --with-http_secure_link_module --with-http_slice_module --with-http_ssl_module --with-http_stub_status_module --with-http_sub_module --with-http_v2_module --with-mail --with-mail_ssl_module --with-stream --with-stream_realip_module --with-stream_ssl_module --with-stream_ssl_preread_module --with-cc-opt='-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector-strong --param=ssp-buffer-size=4 -grecord-gcc-switches -m64 -mtune=generic -fPIC' --with-ld-opt='-Wl,-z,relro -Wl,-z,now -pie'

make

make install

В зависимости от ресурсов, процесс может занимать некоторое время. После того как всё завершится создаём необходимую директорию для размещения баз GeoIP2 и скачиваем сами базы:

mkdir -p /usr/share/nginx/GeoIP2

wget -O /usr/share/nginx/GeoIP2/GeoLite2-ASN.mmdb http://ip.linuxexpert.ru/GeoIP2/GeoLite2-ASN.mmdb

wget -O /usr/share/nginx/GeoIP2/GeoLite2-City.mmdb http://ip.linuxexpert.ru/GeoIP2/GeoLite2-City.mmdb

wget -O /usr/share/nginx/GeoIP2/GeoLite2-Country.mmdb http://ip.linuxexpert.ru/GeoIP2/GeoLite2-Country.mmdb

ln -s /usr/share/nginx/GeoIP2 /etc/nginx/GeoIP2

Далее создаём конфигурацию geoip2 скопировав и выполнив команду целиком:

cat > /etc/nginx/geoip2.conf << 'EOL'
geoip2 GeoIP2/GeoLite2-City.mmdb {
$geoip2_city_names_en city names en;
$geoip2_continent_code continent code;
$geoip2_continent_names_en continent names en;
$geoip2_country_iso_code country iso_code;
$geoip2_names_en names en;
$geoip2_location_accuracy_radius location accuracy_radius;
$geoip2_location_latitude location latitude;
$geoip2_location_longitude location longitude;
$geoip2_location_time_zone location  time_zone;
$geoip2_postal_code postal code;
$geoip2_registered_country_iso_code registered_country iso_code;
$geoip2_registered_country_names_en registered_coutry names en;
$geoip2_subdivisions_iso_code subdivisions iso_code;
$geoip2_subdivisions_names_en subdivisions names en;
}

geoip2 GeoIP2/GeoLite2-ASN.mmdb {
$geoip2_autonomous_system_number autonomous_system_number;
$geoip2_autonomous_system_organization autonomous_system_organization;
}
EOL

Следующим шагом создаём команду, которая подготовит нам конфигурацию fastcgi_params:

cat > /etc/nginx/fastcgi_params << 'EOFASTPARAMS'
 fastcgi_param  QUERY_STRING       $query_string;
 fastcgi_param  REQUEST_METHOD     $request_method;
 fastcgi_param  CONTENT_TYPE       $content_type;
 fastcgi_param  CONTENT_LENGTH     $content_length;
 fastcgi_param  SCRIPT_NAME        $fastcgi_script_name;
 fastcgi_param  REQUEST_URI        $request_uri;
 fastcgi_param  DOCUMENT_URI       $document_uri;
 fastcgi_param  DOCUMENT_ROOT      $document_root;
 fastcgi_param  SERVER_PROTOCOL    $server_protocol;
 fastcgi_param  REQUEST_SCHEME     $scheme;
 fastcgi_param  HTTPS              $https if_not_empty;
 fastcgi_param  GATEWAY_INTERFACE  CGI/1.1;
 fastcgi_param  SERVER_SOFTWARE    nginx/$nginx_version;
 fastcgi_param  REMOTE_ADDR        $remote_addr;
 fastcgi_param  REMOTE_PORT        $remote_port;
 fastcgi_param  SERVER_ADDR        $server_addr;
 fastcgi_param  SERVER_PORT        $server_port;
 fastcgi_param  SERVER_NAME        $server_name;
 PHP only, required if PHP was built with --enable-force-cgi-redirect
 fastcgi_param  REDIRECT_STATUS    200;
 fastcgi_param GEOIP2_CITY_NAMES_EN $geoip2_city_names_en;
 fastcgi_param GEOIP2_CONTINENT_CODE $geoip2_continent_code;
 fastcgi_param GEOIP2_CONTINENT_NAMES_EN $geoip2_continent_names_en;
 fastcgi_param GEOIP2_COUNTRY_ISO_CODE $geoip2_country_iso_code;
 fastcgi_param GEOIP2_NAMES_EN $geoip2_names_en;
 fastcgi_param GEOIP2_LOCATION_ACCURACY_RADIUS $geoip2_location_accuracy_radius;
 fastcgi_param GEOIP2_LOCATION_LATITUDE $geoip2_location_latitude;
 fastcgi_param GEOIP2_LOCATION_LONGITUDE $geoip2_location_longitude;
 fastcgi_param GEOIP2_LOCATION_TIME_ZONE $geoip2_location_time_zone;
 fastcgi_param GEOIP2_POSTAL_CODE $geoip2_postal_code;
 fastcgi_param GEOIP2_REGISTERED_COUNTRY_ISO_CODE $geoip2_registered_country_iso_code;
 fastcgi_param GEOIP2_REGISTERED_COUNTRY_NAMES_EN $geoip2_registered_country_names_en;
 fastcgi_param GEOIP2_SUBDIVISIONS_ISO_CODE $geoip2_subdivisions_iso_code;
 fastcgi_param GEOIP2_SUBDIVISIONS_NAMES_EN $geoip2_subdivisions_names_en;
 fastcgi_param GEOIP2_AUTONOMOUS_SYSTEM_NUMBER $geoip2_autonomous_system_number;
 fastcgi_param GEOIP2_AUTONOMOUS_SYSTEM_ORGANIZATION $geoip2_autonomous_system_organization;
 EOFASTPARAMS

Подключаем созданные конфигурации в nginx, проверяем конфигурацию и перезапускаем nginx:

NSTRING=$(grep -n '/etc/nginx/conf.d/*.conf' /etc/nginx/nginx.conf | cut -d : -f 1)
 grep -q geoip2.conf /etc/nginx/nginx.conf || sed -i -e ${NSTRING}' s#^#include /etc/nginx/geoip2.conf;\n#;' /etc/nginx/nginx.conf
 nginx -t && service nginx restart

Теперь пришло время установить certbot, выполнив следующую команду:

yum install certbot -y

После завершения установки certbot, нам необходимо создать директорию и поместить туда скрипт, который будет работая по крону парсить лог на предмет доменов, которые выполняя запрос по https получают ошибку и попадают в лог расположенный по адресу /var/log/nginx-ssl-error.log. Команда которую необходимо выполнить выглядит так:

mkdir /root/sbin/ &>/dev/null

cat > /root/sbin/lets_auto_sign << 'EOCAT'
for DOMAIN in $(grep 'cannot load certificate' /var/log/nginx-ssl-error.log | cut -d '"' -f 2 | cut -d / -f 5 | sort -u)
do
letsencrypt certonly -a webroot -n -m admin@letsgetdomain.com --agree-tos --webroot-path=/usr/share/nginx/html -d ${DOMAIN} ; chmod -R 755 /etc/letsencrypt
done
truncate -s 0 /var/log/nginx-ssl-error.log
EOCAT

chmod 700 /root/sbin/lets_auto_sign

Данный скрипт позволит автоматически издавать сертификаты для доменов направленных на наш front-end сервер.

Стоит помнить, что сертификаты от LetsEncrypt имеют сравнительно не большой срок действия, поэтому нам необходимо позаботиться о их своевременном продлении, поэтому создадим скрипт, который будет автоматически переиздавать наши сертификаты:

cat > /root/sbin/lets_renew << 'EOCAT'
check_ssl()
{
expr ( echo|openssl s_client -connect ${DOMAIN}:443 -servername ${DOMAIN} 2>/dev/null|openssl x509 -noout -enddate|cut -d'=' -f2|xargs -I ^ date +%s -d "^" - date +%s ) / 24 / 3600
}
truncate -s 0 /tmp/ssl_domains
for DOMAIN in $(ls  /etc/letsencrypt/live/ | grep -v  README)
do
echo $(check_ssl)_$DOMAIN >> /tmp/ssl_domains
done
cat /tmp/ssl_domains
for EXDOMAIN in $(cat /tmp/ssl_domains | uniq)
do
EXDAYS=$(echo $EXDOMAIN | cut -d _ -f 1)
DOMAIN=$(echo $EXDOMAIN | cut -d _ -f 2)
if [ "$EXDAYS" -lt "30" ]
then
letsencrypt certonly -a webroot -n -m admin@letsgetdomain.com --agree-tos --webroot-path=/usr/share/nginx/html -d ${DOMAIN} ; chmod -R 755 /etc/letsencrypt
fi
done
EOCAT

chmod 700 /root/sbin/lets_renew

Выполнив эту команду целиком, мы создадим файл /root/sbin/lets_renew и зададим необходимые права, которые обеспечат его корректное выполнение.

Что бы выполнение скриптов исполнялось по определённому расписанию, создадим кроны:

cat > /etc/cron.d/lets_auto_gen << 'EOL'
* * * * root /root/sbin/lets_auto_sign
0 14 * * 1 root /root/sbin/lets_renew
EOL 

Теперь мы можем создать конфигурационный файл nginx, который будет проксировать запросы с front-end сервера на backend.

mkdir -p /etc/nginx/conf.d
cat > /etc/nginx/conf.d/frontend.conf << 'EOAPP'
upstream appserver {
     server        1.2.3.4  weight=10 max_fails=60 fail_timeout=2s;
}
map $http_x_forwarded_proto $real_scheme {
   default $http_x_forwarded_proto;
   ''      $scheme;
}
server  {
     listen 80;
     listen   *:443 ssl http2;
     ssl_certificate /etc/letsencrypt/live/$ssl_server_name/fullchain.pem;
     ssl_certificate_key /etc/letsencrypt/live/$ssl_server_name/privkey.pem;
     ssl_session_cache shared:SSL:50m;
     ssl_protocols              TLSv1 TLSv1.1 TLSv1.2;
     ssl_ciphers 'ECDHE-RSA-AES256-GCM-SHA512:DHE-RSA-AES256-GCM-SHA512:ECDHE-RSA-AES256-GCM-SHA384:DHE-RSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-SHA384';
     ssl_prefer_server_ciphers   on;
     resolver 8.8.4.4 8.8.8.8 valid=300s;
     resolver_timeout 10s;
     root /usr/share/nginx/html;
     access_log /var/log/nginx-main-access.log main;
     error_log /var/log/nginx-ssl-error.log;
 server_name _;
location ~ "^/\.well-known/acme-challenge/(.*)$" {     
       default_type text/plain; 
} 
location / {
 include /etc/nginx/deny.conf;
         proxy_pass      http://appserver;
 proxy_set_header   Host   $host;
 proxy_set_header   X-Real-IP $remote_addr;
 proxy_set_header   X-Forwarded-For $remote_addr;
 proxy_set_header   X-Forwarded-Proto $real_scheme;
 }
 }
 EOAPP

Обратите внимание, что в upstream вместо ip адреса 1.2.3.4:

server        1.2.3.4  weight=10 max_fails=60 fail_timeout=2s; 

Вам необходимо указать ip адреса вашего сервера backend (приложения).

На текущем этапе осталось заменить дефолтный nginx.conf — на новый, с оптимизированными настройками и продвинутыми пробросами заголовков:

cat > /etc/nginx/nginx.conf << 'EONGINX' 
worker_rlimit_nofile 30000; 
worker_processes auto; 
timer_resolution    100ms; 
pid /run/nginx.pid; 
thread_pool default threads=32 max_queue=655360; 
events {     
       worker_connections  10000;     
       multi_accept  on;     
       use epoll; 
} 
http {     
       include /etc/nginx/mime.types;     
       default_type        application/octet-stream;         
       log_format      main '$remote_addr - $host [$time_local] ' '"$request" $status $body_bytes_sent ' '"$http_referer" "$http_user_agent"';         
       log_format      defaultServer '[$time_local][$server_addr] $remote_addr ($http_user_agent) -> "$http_referer" $host "$request" $status';
       log_format      downloadsLog '[$time_local] $remote_addr "$request"';
       log_format      Counter '[$time_iso8601] $remote_addr $request_uri?$query_string';
     # log example
     # access_log unc.log Counter;
     access_log  off;
     access_log  /dev/null main;
     # access_log  /var/log/nginx-main-access.log;
     error_log /dev/null;
     connection_pool_size  256;
     client_header_buffer_size 4k;
     client_max_body_size  2048m;
     large_client_header_buffers 8 32k;
     request_pool_size 4k;
     output_buffers  1 32k;
     postpone_output 1460;
     gzip  on;
     gzip_min_length 1000;
     gzip_proxied  any;
     gzip_types  text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript text/x-javascript application/javascript image/svg+xml svg svgz;
     gzip_disable  "msie6";
     gzip_comp_level 6;
     gzip_http_version 1.0;
     gzip_vary on;
 sendfile       on; 
aio            threads; 
directio 10m; 
tcp_nopush  on; 
tcp_nodelay on; 
server_tokens off; 
keepalive_timeout 75 20; 
server_names_hash_bucket_size 128; 
server_names_hash_max_size  8192; 
ignore_invalid_headers  on; 
server_name_in_redirect off; 
ssl_stapling on; 
ssl_stapling_verify on; 
resolver 8.8.4.4 8.8.8.8 valid=300s; 
resolver_timeout 10s; 
ssl_protocols              TLSv1 TLSv1.1 TLSv1.2; ssl_ciphers 'AES128+EECDH:AES128+EDH';
ssl_session_cache shared:SSL:50m; 
ssl_prefer_server_ciphers   on; 
#ssl_dhparam /etc/ssl/certs/dhparam.pem; 
#ssl_trusted_certificate /etc/ssl/certs/ca-certs.pem; 
proxy_http_version 1.1; 
proxy_set_header Connection ""; 
proxy_buffering off; 
proxy_buffer_size 8k; 
proxy_buffers 8 64k; 
proxy_connect_timeout 300m; 
proxy_read_timeout  300m; 
proxy_send_timeout  300m; 
proxy_store off; 
proxy_ignore_client_abort on; 
fastcgi_read_timeout  300m; 
open_file_cache max=200000 inactive=20s; 
open_file_cache_valid 30s; 
open_file_cache_min_uses 2; 
open_file_cache_errors on; 
proxy_cache_path  /var/cache/nginx/page levels=2 keys_zone=pagecache:100m inactive=1h max_size=10g; 
fastcgi_cache_path  /var/cache/nginx/fpm levels=2 keys_zone=FPMCACHE:100m inactive=1h max_size=10g; 
fastcgi_cache_key "$scheme$request_method$host"; 
fastcgi_cache_use_stale error timeout invalid_header http_500; 
fastcgi_ignore_headers Cache-Control Expires Set-Cookie; 
fastcgi_buffers 16 16k; 
fastcgi_buffer_size 32k; 
upstream memcached_backend {  server 127.0.0.1:11211; }
proxy_set_header  Host            $host; 
proxy_set_header  X-Real-IP       $remote_addr; 
proxy_set_header  X-Forwarded-For $remote_addr;
 set_real_ip_from 51.255.66.206/32;
 set_real_ip_from 103.21.244.0/22;
 set_real_ip_from 103.22.200.0/22;
 set_real_ip_from 103.31.4.0/22;
 set_real_ip_from 104.16.0.0/12;
 set_real_ip_from 108.162.192.0/18;
 set_real_ip_from 131.0.72.0/22;
 set_real_ip_from 141.101.64.0/18;
 set_real_ip_from 162.158.0.0/15;
 set_real_ip_from 172.64.0.0/13;
 set_real_ip_from 173.245.48.0/20;
 set_real_ip_from 188.114.96.0/20;
 set_real_ip_from 190.93.240.0/20;
 set_real_ip_from 197.234.240.0/22;
 set_real_ip_from 198.41.128.0/17;
 set_real_ip_from 199.27.128.0/21;
 set_real_ip_from 2400:cb00::/32;
 set_real_ip_from 2606:4700::/32;
 set_real_ip_from 2803:f800::/32;
 set_real_ip_from 2405:b500::/32;
 set_real_ip_from 2405:8100::/32;
 set_real_ip_from 2c0f:f248::/32;
 set_real_ip_from 2a06:98c0::/29;
 set_real_ip_from 0.0.0.0/0;
 real_ip_header X-Forwarded-For;
 allow all;
 include /etc/nginx/geoip2.conf;
 include /etc/nginx/conf.d/.conf; include /etc/nginx/sites-enabled/.vhost;
 }
 EONGINX

Конфиг создан, осталось создать файл где мы можем самостоятельно формировать blacklist, со списком ip адресов, которые не будут иметь доступ к нашему серверу, а так же папку для кеша и уже финально перезагрузить nginx.

touch /etc/nginx/deny.conf
mkdir -p /var/cache/nginx/page
nginx -t && service nginx restart

Вот и всё, наш Perfect Nginx Proxy (PNP) готов.

Подводя итоги, стоит дополнительно обозначить тот факт, что эта сборка была установлена и работает на текущий момент более чем на 50 front-end серверах, отлично справляется с поставленными перед нею целями, и конечно же постоянно совершенствуется. Поэтому эта статья будет периодически обновляться.