Иван Волынкин

Kubernetes. Контейнеры

2024-04-03T05:35:55.918Z

Зачем?

Зачем и почему придумали контейнеризацию? Какую проблему это решает?

Конфликты зависимостей

Перенесёмся на 10 лет назад. Мы хотим разместить наш веб сервис на сервере. Устанавливаем java/php/python/perl кто что любит. Дистрибутив интерпретатора или JVM тянет за собой на сервер десятки зависимостей (библиотеки, утилиты, и т. д.). Затем нужно установить СУБД. Например postgres/mysql/oracle. Установка базы тоже тянет за собой ворох библиотек. Скорее всего всё успешно встаёт. Но вот наступает момент, нам нужно установить что-то менее популярное. Например, какой-то особый парсер. И у него в зависимостях есть новая версия python 3.6. А все остальные сервисы требуют версию не выше 3.5. И мы получаем ошибку:

$ sudo apt-get install super-parser
Reading package lists... Done
Building dependency tree       
Reading state information... Done
Some packages could not be installed. This may mean that you have
requested an impossible situation or if you are using the unstable
distribution that some required packages have not yet been created
or been moved out of Incoming.
The following information may help to resolve the situation:

The following packages have unmet dependencies:
 super-parser : Depends: python3.6 (>= 3.6.9-1~) but it is not going to be installed
E: Unable to correct problems, you have held broken packages.

Пример достаточно синтетический, но отражает проблемы, которые случаются при установке разнообразного ПО в одну операционную систему.

Изолированная среда

PHP мастера очень знакомы с такой ситуацией. Поставили сайтик на любимом Wordpress. А через неделю сервер взломан, майнит крипту и заблокировал все доступы. Тут есть две проблемы.

Первая, что PHP из коробки никак не мешает модифицировать исполняемый код. Например, злоумышленник заливает через формочку своего профиля на сайте фотографию. А это оказывается вовсе не фотография, а PHP скрипт. И его можно выполнить извне руками самого злоумышленника. А в этом скрипте может быть вообще всё что угодно.

И тут подключается вторая проблема: теоретически из такого скрипта можно завладеть доступом ко всему серверу. А дальше как угодно: украсть данные, удалить данные, спрятать вредоносный код, который будет незаметно годами делать тёмные дела, и т. д.

Виртуализация

Когда появились виртуальные машины, они начали частично решать первые две проблемы. Но создали новую. Особенно она становится заметна, когда мы пытаемся изолировать каждый маленький сервис в свою виртуальную машину.

Виртуальная машина для своего существования требует некоторое количество ресурсов (диск, оперативная память, процессор). И чем меньше сам сервис потребляет ресурсов, тем расточительнее становятся затраты виртуальной машины.

Решение

Контейнеризация — запуск приложения в изолированной среде, использующий ресурсы ядра операционной системы.

Хоть до Docker уже были созданы другие решения, но именно Docker стал паровозом контейнеризации.

Сравнение с виртуализацией

Виртуализация

Контейнеризация

Главное отличие контейнеризации от виртуализации — контейнеры пользуются ресурсами ядра родительской операционной системы, тогда как виртуальные машины запускают полноценные операционные системы с собственными ядрами.

Что такое Docker?

Под этим термином обычно понимают три сущности:

Сервис

Фоновое приложение, которое управляет контейнерами. Взаимодействие с ним происходит через HTTP API.

API

HTTP API для управления сервисом. Спецификацию можно найти на официальном сайте: https://docs.docker.com/engine/api/v1.43/. Через команды этого API осуществляется всё взаимодействие с сервисом Docker: создание контейнеров, запуск, просмотр логов и всё остальное.

Терминальный клиент

Терминальный (или консольный) клиент, который преобразует консольные команды в API запросы и отправляет их Docker сервису. На экран же выводит результаты таких команд.

Например:

$ docker info
Client: Docker Engine - Community
 Version:    24.0.5
 Context:    default
 Debug Mode: falcker/cli-plugins/docker-scout

Server:
 Containers: 0
  Running: 0
  Paused: 0
  Stopped: 0
 Images: 0
 Server Vers
...

Под капотом клиент отправляет HTTP запрос к Docker сервису:

GET /info HTTP/1.1
Accept: */*
Host: 0.0.0.0:2375
Connection: keep-alive
 
HTTP/1.1 200 OK
Api-Version: 1.43
Content-Type: application/json
Docker-Experimental: false
Ostype: linux
Server: Docker/24.0.5 (linux)
Transfer-Encoding: chunked
 
{"ID":"d4114630-d857-44cd-b47c-e36ebbcb4bea","Containers":0,"ContainersRunning":0,"ContainersPaused":0,"ContainersStopped":0,"Images":0,"Driver":"overlay2","DriverStatus":[["Backing Filesystem","extfs"],["Supports d_type","true"],["Using metacopy","false"],["Native Overlay Diff","true"],["userxattr","false"]],"Plugins":{"Volume":["local"],"Network":["bridge","host","ipvlan","macvlan","null","overlay"],"Authorization":null,"Log":["awslogs","fluentd","gcplogs","gelf","journald","json-file","local","logentries","splunk","syslog"]},"MemoryLimit":true,"SwapLimit":true,"KernelMemoryTCP":true,"CpuCfsPeriod":true,"CpuCfsQuota":true,"CPUShares":true,"CPUSet":true,"PidsLimit":true,"IPv4Forwarding":true,"BridgeNfIptables":true,"BridgeNfIp6tables":true,"Debug":false,"NFd":161,"OomKillDisable":true,"NGoroutines":301,"SystemTime":"2024-04-03T13:02:44.179502329Z","LoggingDriver":"json-file","CgroupDriver":"cgroupfs","CgroupVersion":"1","NEventsListener":127,"KernelVersion":"5.15.146.1-microsoft-standard-WSL2","OperatingSystem":"Docker Desktop","OSVersion":"","OSType":"linux","Architecture":"x86_64","IndexServerAddress":"https://index.docker.io/v1/","RegistryConfig":{"AllowNondistributableArtifactsCIDRs":null,"AllowNondistributableArtifactsHostnames":null,"InsecureRegistryCIDRs":["127.0.0.0/8"],"IndexConfigs":{"docker.io":{"Name":"docker.io","Mirrors":[],"Secure":true,"Official":true},"hubproxy.docker.internal:5555":{"Name":"hubproxy.docker.internal:5555","Mirrors":[],"Secure":false,"Official":false}},"Mirrors":null},"NCPU":8,"MemTotal":33541914624,"GenericResources":null,"DockerRootDir":"/var/lib/docker","HttpProxy":"http.docker.internal:3128","HttpsProxy":"http.docker.internal:3128","NoProxy":"hubproxy.docker.internal","Name":"docker-desktop","Labels":[],"ExperimentalBuild":false,"ServerVersion":"24.0.5","Runtimes":{"io.containerd.runc.v2":{"path":"runc"},"runc":{"path":"runc"}},"DefaultRuntime":"runc","Swarm":{"NodeID":"","NodeAddr":"","LocalNodeState":"inactive","ControlAvailable":false,"Error":"","RemoteManagers":null},"LiveRestoreEnabled":false,"Isolation":"","InitBinary":"docker-init","ContainerdCommit":{"ID":"3dce8eb055cbb6872793272b4f20ed16117344f8","Expected":"3dce8eb055cbb6872793272b4f20ed16117344f8"},"RuncCommit":{"ID":"v1.1.7-0-g860f061","Expected":"v1.1.7-0-g860f061"},"InitCommit":{"ID":"de40ad0","Expected":"de40ad0"},"SecurityOptions":["name=seccomp,profile=unconfined"],"Warnings":["WARNING: No blkio throttle.read_bps_device support","WARNING: No blkio throttle.write_bps_device support","WARNING: No blkio throttle.read_iops_device support","WARNING: No blkio throttle.write_iops_device support","WARNING: daemon is not using the default seccomp profile"]}

Термины

Image (образ)

Это "снимок системы, из которого создаются контейнеры. Можно ещё представить его как шаблон для создания контейнеров.

Container (контейнер)

Изолированная среда для запуска какого-либо сервиса или команды. Напоминает виртуальную машину, котороя использует ресурсы ядра родительской операционной системы.

Registry

Это репозиторий Docker образов. Разработчик публикует в него свой образ, а пользователь из него образ скачивает.

Моё выступление на конференции про реализацию Лямбда архитектуры в АТОЛ Sigma

2023-04-17T08:35:29.902Z

https://youtu.be/5KLd-DDOeLs

Выпуск электронного сертификата

2022-07-06T08:18:08.451Z

Предисловие

Мне очень не хватало единого ресурса со сборником айтишных рецептов. Как baeldung.com, но не только по программированию. Попробую писать их в своём блоге.

Основные понятия

Ключ

Ключом в криптографии называют фрагмент информации (обычно строка из чисел и букв), который передаётся в криптографический алгоритм для шифрования/дешифрования и подписи/проверки данных.

Ключевая пара

Приватный и публичный ключ, которые работают в паре: приватный расшифровывает данные, зашифрованные публичным напарником.

Приватный ключ

Известен только владельцу. Используется для расшифровки или подписи данных.

Публичный ключ

Доступен всем. Используется для шифрования данных или проверки подписи.

Запрос на сертификат

Создаётся владельцем и является основанием для выпуска сертификата.

Состоит из трёх основных частей: информация о сертификате (в X.509 формате), идентификатор алгоритма подписи и цифровая подпись информации о сертификате. Первая часть состоит из информации о подписанте, включает публичный ключ. Подпись первой части защищает от подмены публичного ключа.

Генерация ключевой пары

Для генерации ключевой пары используется утилита openssl.

Пример команды для генерации ключевой пары в PEM формате:

openssl genrsa -out private.pem 2048

Команда генерирует 2048-битную RSA ключевую пару и записывает её в файл.

Почему расширение файла не .key? Расширение в данном случае в программном плане не играет никакой роли, оно нужно только для человека. Допустимы оба варианта: и .pem и .key.

Пример файла:

Ключевую пару можно зашифровать при помощи пароля одним из алгоритмов, указав один из параметров команды: -aes128|-aes192|-aes256|-camellia128|-camellia192|-camellia256|-des|-des3|-idea.

openssl genrsa -des3 -out private.pem 2048

Пароль будет запрошен в интерактивном режиме.

Пароль можно указать прямо в команде:

openssl genrsa -des -passout pass:1234 -out private.pem 2048

Или взять из файла:

openssl genrsa -des -passout file:passphrase.txt -out private.pem 2048

Извлечение публичного ключа

Команда для извлечения из пары публичного ключа:

openssl rsa -in private.pem -outform PEM -pubout -out public.pem

В параметре -in указывается файл с ключевой парой, в параметре -outform указывается формат экспортируемого ключа, в параметре -out передаётся имя файла, в который будет экспортирован публичный ключ.

Пример файла:

Создание запроса на сертификат

Запрос на сертификат должен включать в себя публичный ключ и подпись приватным ключом.

Интерактивный режим

Команда для создания запроса на сертификат:

openssl req -new -key private.pem -out codebook.csr

Параметр -new необходим для создания нового запроса на сертификат, в параметре -key указывается ключевая пара, в параметре -out задаётся имя файла, в который будет записан запрос на выпуск сертификата.

Введённая команда будет в интерактивном режиме запрашивать информацию о подписанте (владельце):

Country Name (2 letter code) [AU]: RU
State or Province Name (full name) [Some-State]: Saint-Petersburg
Locality Name (eg, city) []: Saint-Petersburg
Organization Name (eg, company) [Internet Widgits Pty Ltd]: Codebook
Organizational Unit Name (eg, section) []: Study
Common Name (e.g. server FQDN or YOUR name) []: Ivan Volynkin
Email Address []: mail@ivolynkin.ru

После уточнения всех данных будет сформирован запрос на выпуск сертификата и записан в файл codebook.csr.

Информация о подписанте в команде

Аналогичный результат, но без интерактивного режима, можно получить, указав параметр -subj:

openssl req -new -key private.pem -subj '/C=RU/ST=Saint-Petersburg/L=Saint-Petersburg/O=Codebook/OU=Study/CN=Ivan Volynkin/emailAddress=mail@ivolynkin.ru' -out codebook.csr

Создание запроса на сертификат и ключевой пары одной командой

openssl req -new -newkey rsa:2048 -nodes -keyout private.pem -subj '/C=RU/ST=Saint-Petersburg/L=Saint-Petersburg/O=Codebook/OU=Study/CN=Ivan Volynkin/emailAddress=mail@ivolynkin.ru' -out codebook.csr

Параметр -newkey указывает на необходимость создания ключевой пары, rsa:2048 — 2048-битный RSA ключ, -nodes отменяет режим пароля в ключевой паре, в -keyout указывается имя файла, в который будет записана ключевая пара.

Выпуск сертификата

Выпускаемый сертификат требуется подписать. Можно это сделать двумя способоми: подписать другим сертификатом (как правило, это делает удостоверяющий центр) или подписать тем же ключом, с помощью которого он был создан.

Выпуск сертификата удостоверяющим центром

У удостоверяющего центра должны быть собственные сертификат и ключевая пара.

Удостоверяющий центр может выпустить сертификат командой:

openssl x509 -CA ca.crt -CAkey ca.pem -CAcreateserial -signkey private.pem -in codebook.csr -req -days 365 -out codebook.crt

В параметре -CA указывается сертификат УЦ, в -CAkey указывается приватный ключ УЦ, в -signkey — приватный ключ выпускаемого сертификата, в -in — запрос на сертификат, в -days — количество дней активности сертификата, в -out имя файла, в который будет записан сертификат.

В результате будет выпущен сертификат, подписанный сертификатом УЦ.

Самоподписанный сертификат

openssl x509 -signkey private.pem -in codebook.csr -req -days 365 -out codebook.crt

В результате будет выпущен самоподписанный сертификат.

Иван Волынкин

2022-07-04T09:39:27.127Z

Всем привет! Меня зовут Иван Волынкин и я люблю IT, особенно стартапы.

Программированием я начал заниматься ещё в 5м классе школы. Писал на Delphi разного рода проекты ради интереса. Это был примерно 2003 год.

В 2008 начал изучать WEB разработку.

В 2010 началась профессиональная карьера с работы в web агенстве Other Side.

2010-2012 работал уже в другой веб студии Exi Studio. Там мы сделали множество коммерческих сайтов: и визитки и интернет магазины.

Потом в течение 2х месяцев пробовал работать на себя: привлёк партнёра, который отвечал за поиск клиентов. Я отвечал за производство. В итоге получилось сделать два сайта. На тот момент мне было 19 лет.

Весной 2012 получил интересное предложение о наёмной работе в студии стартапов. В основном мы делали проекты для себя для последующей монетизации. Несколько интересных проектов, которые запустили на стадии MVP:

SaaS платформа reklamovoz.ru. Рекламодатели размещали заявки на размещение рекламы. Владельцы автомобилей продавали поверхность своих автомобилей под размещение рекламы. Рекламодатели оплачивали размещение своей рекламы на автомобилях.
SaaS платформа грузового такси furgonchikov.ru. Проект быстро продали конкурентам.
SaaS платформа такси для знакомств. Тогда ещё не было в нашей жизни Яндекс Такси или Uber. Но проект заморозили ради развития следующего.
SaaS платформа для курьеров и заказчиков доставки. В этом проекте я практически не успел поучаствовать, хотя по иронии судьбы, он оказался самым успешным. https://peshkariki.ru

В 2014 я попробовал свои силы в роли Android разработчика. Разрабатывал мобильный клиент социальной сети Spaces.

2015-2017 были одни из самых ярких в карьере. Владельцы стартапа Voloton.ru предложили мне долю в проекте и роль техдиректора, так как я ранее занимался этим проектом от вендора. Я собрал небольшую команду из двух разработчиков и мы начали работать. Проект представлял из себя онлайн площадку торговли автозапчастями. Технически у нас всё получилось: мы подключили 900 магазинов по РФ, ежедневно совершалось до 50 сделок. Но знаний в SaaS бизнесе у нас ещё не было, мы сильно минусили. Начали искать инвестора. А нашли (и очень кстати) экспертизу в виде венчурного акселератора ФРИИ. Мы полностью пересмотрели свой подход на ведение бизнеса, но оказалось поздно: деньги закончились. Пришлось закрыться.

2017-2019 я работал в RooX Solutions. Мы делали энтерпрайс продукт — систему управления аутентификацией и авторизацией. Своё решение внедряли в банки Открытие, Зенит, UniCredit и сотовых операторов Мегафон, Yota.

2019-2021 ещё один интересный опыт работы в роли CTO в продукте АТОЛ Sigma. Это комплексное решение для малого и микробизнеса, включающее кассовый смарт терминал и личный кабинет в облаке.

2021-2022 работал ведущим консультантом в консалтинговой компании Neoflex. Занимался наймом, обучением, стартом внутренних проектов, разработкой инфраструктуры и CI/CD процессов.

С июля 2022 работаю в стартапе автоматизации онкодиагностики OneCell.