Введение в Generic Netlink, или Как Общаться с Linux Kernel

2023-02-10T22:38:08+00:00

Пишете какой-то код в ядерном пространстве и хотите обращаться к нему из уютного пользовательского пространства? Вы не пишете ядерный код, но хотите обращаться к ядру Линукс? Налейте себе немного кофе или чая, присаживаетесь поудобнее, и читайте далее!

Недавно я начал работать в ядерном пространстве Линукса, а точнее разрабатывать модули ядра. Одно из API которое мне пришлось изучить это Generic Netlink. Как часто бывает с большинством API Линукс, за исключением чётко задокументированного кода, документация устаревшая, желает оставлять лучшего, или вовсе отсутствует.

Соответственно я решил сделать маленький пример для себя чтобы научиться пользоваться Generic Netlink'ом для общения с ядерным кодом, и вместе с ним простое вводящее руководство для своих коллег и любого другого человека, заинтересованный в использовании Generic Netlink, но не очень понимающий откуда начинать.

В данном руководстве будет рассказано о следующем:

Регистрация семейств (families) Generic Netlink в ядре.</li>
Регистрация операции Generic Netlink и их обработка в ядре.</li>
Регистрация мультикастных групп Generic Netlink в ядре.</li>
Как отправлять "уведомления" через Generic Netlink из ядра.</li>
Подключение к Generic Netlink с пользовательской программы.</li>
Разрешение семейств и мультикастных групп Generic Netlink с пользовательской программы.</li>
Отправка сообщения в семейство Generic Netlink с пользовательской программы.</li>
Подписка к мультикастной группы Generic Netlink с пользовательской программы.</li>
Получение сообщений и событий Generic Netlink с пользовательской программы.</li> </ul>
Что такое Netlink?</h2>
Netlink — сокетный домен созданный с целью предоставления интерфейса IPC для ядра Linux, в основном для коммуникации ядро<->пользователь. Netlink был создан изначально с целью замены устаревшего ioctl()</code>, предоставляя более гибкий и удобный способ общения между ядром и пользовательскими программами.
Коммуникации в Netlink'е происходят через обычные BSD-сокеты используя домен AF_NETLINK</code>. Тем не менее, есть удобные готовые библиотеки которые упрощают работу с Netlink с пользовательского пространства например, libnl^{1</a>.}
Netlink используется напрямую только в уже давно его использующих подсистемах ядра Linux, через такие семейства Netlink как NETLINK_ROUTE</code>, NETLINK_SELINUX</code>, и проч. В ядро больше не добавляются новые семейства Netlink, и не планируется добавления новых семейств. Основная проблема классического Netlink в том, что он использует статическое выделения идентификаторов, ограниченные 32-м уникальным семействам. Это приводит к очень жёсткому ограничению и может привести к конфликтам между разными модулями которые хотят выделить себе новое семейство.
Представляя Generic Netlink</h2> Generic Netlink был создан с целью улучшения Netlink и упрощения работы с ним. Он не является отдельным доменном, а является расширением Netlink. Более того, он является семейством Netlink — NETLINK_GENERIC</code>. Generic Netlink существует ещё с 2005 года и является уже довольно известным и хорошо установившимся интерфейсом для IPC между ядром и пользовательским пространством. Среди хорошо известных пользователей Generic Netlink, подсистемы 802.11, ACPI, Wireguard и другие. Основные особенности Generic Netlink по сравнению с классическим Netlink'ом — динамическая регистрация семейств, интроспекция и упрощенный API со стороны ядра. Данное руководство сосредоточенное в основном на Generic Netlink, так как это ныне стандартный способ общения с пространством ядра. Диаграмма шины Generic Netlink </figcaption> Немного теории</h2> Как я выше упомянул, Netlink работает через стандартные BSD-сокеты. Сообщения в Netlink всегда начинаются с заголовка Netlink, после которого идёт заголовка протокола, то есть, в случае с Generic Netlink, его заголовок. Сообщения Netlink</h3> Заголовки выглядит следующим образом: Заголовок Netlink </figcaption> Заголовок Generic Netlink </figcaption> Или же, если перевести в код C: struct nlmsghdr { __u32 nlmsg_len; __u16 nlmsg_type; __u16 nlmsg_flags; __u32 nlmsg_seq; __u32 nlmsg_pid; }; struct genlmsghdr { __u8 cmd; __u8 version; __u16 reserved; }; </code></pre> Значение полей в заголовках: Length — длина всего сообщения, включая заголовок.</li> Type — идентификатор семейства Netlink, в нашем случае Generic Netlink.</li> Flags — «do» или «dump»; чуть ниже будет подробнее.</li> Sequence — номер последовательности; также ниже подробнее.</li> Port ID — ставим в него 0, так как мы отправляем с ядра.</li> </ul> и для Generic Netlink: Command: идентификатор операции для данного семейства Generic Netlink.</li> Version: версия протокола нашего семейства Generic Netlink.</li> Reserved: зарезервированное поле, не используется.</li> </ul> Большинство полей довольно простые и понятные и заголовок обычно не заполняется вручную самим пользователем Netlink. Большинство информации, которая содержится в заголовках, предоставляется пользователю через API, когда тот обращается к разным его функциям. Часть из этой информации это такие вещи как флаги и номер последовательности. Существуют три вида операций-сообщений, которые чаще всего исполняются через сокет Netlink: Операция «do»</li> Операция «dump»</li> И мультикастные сообщения или асинхронные уведомления.</li> </ul> Существует множество разных способов отправить сообщения через Netlink, но это те, которые чаще всего применяются в Generic Netlink. Операция «do» это сообщения предназначено для вида операции где пользовательская программа отправляет сообщение и получает ответ в виде подтверждения (acknowledgment) ошибки, или возможно даже сообщение с запрашиваемой информации. Операция «dump» служит для того чтобы получатель «вывалил» или выложил запрашиваемую информацию. Обычно это информация, которая не помешается в больше чем в одном сообщении. Пользовательская программа отправляет одно сообщение и получает несколько сообщений до получения сообщения NLMSG_DONE</code>, указывающее на окончание операции. Вид операции, то есть, будь это «do» или «dump», задаётся с помощью поля «flags»: NLM_F_REQUEST | NLM_F_ACK</code> — do.</li> NLM_F_REQUEST | NLM_F_ACK | NLM_F_DUMP</code> — dump.</li> </ul> Пора поговорить про третий вид сообщений — мультикастные сообщения. Они используются для того, чтобы уведомлять пользователей, которые подписанные на них через мультикастную группу Generic Netlink. Как мы уже видели, также существует поле «sequence number» в заголовке Netlink. Несмотря на это, в отличие от других протоколов коммуникации, Netlink не манипулирует и не проверяет правильность номера последовательности. Он предоставлен для удобства пользователей, чтобы было проще отслеживать запросы и ответы. На практике чаще всего пользовательская программа сама увеличивает с каждым отправленным сообщением этот номер, а модуль ядра отправляет ответ с тем же номером. Мультикастные сообщения обычно отправляются с номером последовательности равным 0. Груз сообщения</h3> Netlink предоставляет систему атрибутов для кодирования данных с полезной информацией об их вид и длины. Атрибуты позволяют проверить правильность данных и позволяют, проще и не ломая обратную совместимость, расширять протоколы. Также возможна кодировка своих собственных типов, таких как собственные структуры в одном атрибуте. Тем не менее, рекомендуется использовать один атрибут строго на одно поле данных. Атрибуты кодируются в формате LTV (длина-тип-значение), и они заполнены так чтобы каждый атрибут был выравнен по 4 байта. Длина полей, как в заголовке как в атрибуте, всегда включает в себя заголовок, но не заполнение для выравнивания. Диаграмма атрибутов Netlink </figcaption> Порядок атрибутов в сообщении Netlink, следовательно и в сообщении Generic Netlink, не гарантирован. По этой причине следует пройтись по ним и проанализировать. Netlink предоставляет возможность проверять правильность сообщения используя так называемые "политики валидации атрибутов", представлены в структуре struct nla_policy</code>. Мне лично кажется немного странным и недостатком то, что это структура не экспортирована в пользовательское пространство. Получается что валидация происходит по умолчанию только в пространстве ядра. Проверку также можно осуществить с стороны пользовательского пространства, и libnl предоставляет свою собственную struct nla_policy</code> но оно отличается от ядерного что означает что по сути нужно дублировать код для того, чтобы делать проверку с обеих сторон. Виды сообщения и операции определяются с так называемыми командами Netlink. Команда коррелирует к одному виду сообщения и также может коррелировать к одной операции. Каждая команда или вид сообщения могут иметь один и более атрибутов. Семейства</h3> Я уже упоминал семейства в данной статье и в разных контекстах. К сожалению, как часто бывает в мире компьютерного программирования, вещи зачастую не названы лучшим способом, и мы оказываемся в таких ситуациях где не сразу понятно о чём речь идёт. У сокетов есть семейства, для наших нужд мы используем семейство AF_NETLINK</code>. У Netlink'а тоже есть семейства, которых всего 32. Их не планируется расширять и добавлять новые семейства в ядро Linux; семейство, которым мы пользуемся, NETLINK_GENERIC</code>. И наконец, у нас есть семейства Generic Netlink, в отличие от семейств Netlink их можно динамически регистрировать и их может быть зарегистрировано до 1024 в одно и то же время. Семейства Generic Netlink идентифицируются с помощью строк, например, "nl80211". Так как семейства регистрируются динамическим образом, это значит что их идентификационный номер может отличаться от компьютера к компьютеру и от сеанса к сеансу, поэтому сначала нам нужно разрешить семейство перед тем, как отправлять сообщения. Generic Netlink сам по себе предоставляет одно статически выделено семейство, которое называется nlctrl</code>, которое предоставляет команду для разрешения всех остальных семейств Generic Netlink. Оно также, с недавних пор, предоставляет команду для интроспекции операций и получения политик с пользовательское пространства, тем не менее в данной статье мы ей не будем пользоваться. Ещё один момент, который стоит учитывать, это то, что один сокет Generic Netlink не привязан к одному только семейству. Сокет Generic Netlink может общаться с любым семейством, ему лишь нужно предоставить ID семейства в сообщении, размещая его в поле "type". Мультикастные группы</h3> Есть сообщения которые нам нужно отправить асинхронно пользовательским программам для того, чтобы уведомить их о каком-то событии или просто предоставить информацию как только она становится доступной. Для этого существуют мультикастные группы. Мультикастные группы Generic Netlink, так же как и семейства, регистрируются динамически с помощью названия, содержащееся в строке, и получают численное ID после успешной регистрации. То есть, их также необходимо разрешать перед тем как подписаться на них. Как только программа на них подпишется, она начнёт получать все сообщения отправленные в группу. Дабы предотвратить путаницы чисел последовательности с уникастными сообщениями, и упростить обработку полученных ответов, рекомендуется использовать отдельный сокет для мультикастных сообщений. Пора руки помочить</h2> Это далеко не всё, о чём можно написать про Generic Netlink и особенно классический Netlink. Тем не менее это были самые важные понятия которые нужные для работы с Generic Netlink. Как бы то не было, не столь интересно просто знать о чём-то, сколько применять эти знания на практике. Я сделал пример применения Generic Netlink, который состоит из двух частей. Модуль ядра и пользовательская программа. Модуль ядра предоставляет одну операцию Generic Netlink и одну мультикастную группу. Структура сообщения одинаковая как для операции do</code> как для мультикастного сообщения. Первое принимает сообщение с строкой текста, выводит его в журнал ядра, и отправляет обратно своё собственное собщение; второе отправляет уведомление при получении строки текста из sysfs</code>, дублируя его. Пользовательская программа подключается к Generic Netlink, подписывается к мультикастной группу, отправляет сообщение нашему семейству и выводит на экран полученное сообщение. Далее я разъясню всё по шагам с помощью листингов кода. Полный исходный код для обеих частей можно найти здесь: https://git.yaroslavps.com/genltest/</a>. Пространство ядра</h3> Использовать Generic Netlink с ядерного пространства довольно просто. Единственное что нам нужно чтобы начать работу, это подключить хедер net/genetlink.h</code>. Вот все заголовочные, которые нам нужны для нашего модуля: #include <linux/module.h> #include <net/genetlink.h> </code></pre> Также нам понадобятся некоторые определения и энумерации, которые также должны быть доступны пользовательской программе. Мы их поместим в заголовочный файл с названием genltest.h</code>: #define GENLTEST_GENL_NAME "genltest" #define GENLTEST_GENL_VERSION 1 #define GENLTEST_MC_GRP_NAME "mcgrp" /* Attributes */ enum genltest_attrs { GENLTEST_A_UNSPEC, GENLTEST_A_MSG, __GENLTEST_A_MAX, }; #define GENLTEST_A_MAX (__GENLTEST_A_MAX - 1) /* Commands */ enum genltest_cmds { GENLTEST_CMD_UNSPEC, GENLTEST_CMD_ECHO, __GENLTEST_CMD_MAX, }; #define GENLTEST_CMD_MAX (__GENLTEST_CMD_MAX - 1) </code></pre> В нём мы определили название нашего семейства, версия его протокола, название нашей мультикастной группы, и атрибуты, которыми мы будем пользоваться в наших сообщениях. Обратно в нашем ядерном коде, мы создаём политику валидации для нашей команды «echo»: /* Attribute validation policy for our echo command */ static struct nla_policy echo_pol[GENLTEST_A_MAX + 1] = { [GENLTEST_A_MSG] = { .type = NLA_NUL_STRING }, }; </code></pre> Делаем массив с нашими операциями: /* Operations for our Generic Netlink family */ static struct genl_ops genl_ops[] = { { .cmd = GENLTEST_CMD_ECHO, .policy = echo_pol, .doit = echo_doit, }, }; </code></pre> Массив с нашими мультикастными группами: /* Multicast groups for our family */ static const struct genl_multicast_group genl_mcgrps[] = { { .name = GENLTEST_MC_GRP_NAME }, }; </code></pre> И наконец структуру, описывающую наше семейство, содержащее всего, что мы сейчас определяли: /* Generic Netlink family */ static struct genl_family genl_fam = { .name = GENLTEST_GENL_NAME, .version = GENLTEST_GENL_VERSION, .maxattr = GENLTEST_A_MAX, .ops = genl_ops, .n_ops = ARRAY_SIZE(genl_ops), .mcgrps = genl_mcgrps, .n_mcgrps = ARRAY_SIZE(genl_mcgrps), }; </code></pre> При инициализации нашего модуля, нам необходимо зарегистрировать наше семейство в Generic Netlink. Для этого нам необходимо передать нашу структуру с помощью функции: ret = genl_register_family(&genl_fam); if (unlikely(ret)) { pr_crit("failed to register generic netlink family\n"); // etc... } </code></pre> И конечно не забыть освободить всё что с ним связано при выходе: if (unlikely(genl_unregister_family(&genl_fam))) { pr_err("failed to unregister generic netlink family\n"); } </code></pre> Как вы наверняка уже заметили, мы предоставили функцию echo_doit</code> для обратного вызова для нашей команды "echo". Она выглядит следующим образом: /* Handler for GENLTEST_CMD_ECHO messages received */ static int echo_doit(struct sk_buff *skb, struct genl_info *info) { int ret = 0; void *hdr; struct sk_buff *msg; /* Check if the attribute is present and print it */ if (info->attrs[GENLTEST_A_MSG]) { char *str = nla_data(info->attrs[GENLTEST_A_MSG]); pr_info("message received: %s\n", str); } else { pr_info("empty message received\n"); } /* Allocate a new buffer for the reply */ msg = nlmsg_new(NLMSG_DEFAULT_SIZE, GFP_KERNEL); if (!msg) { pr_err("failed to allocate message buffer\n"); return -ENOMEM; } /* Put the Generic Netlink header */ hdr = genlmsg_put(msg, info->snd_portid, info->snd_seq, &genl_fam, 0, GENLTEST_CMD_ECHO); if (!hdr) { pr_err("failed to create genetlink header\n"); nlmsg_free(msg); return -EMSGSIZE; } /* And the message */ if ((ret = nla_put_string(msg, GENLTEST_A_MSG, "Hello from Kernel Space, Netlink!"))) { pr_err("failed to create message string\n"); genlmsg_cancel(msg, hdr); nlmsg_free(msg); goto out; } /* Finalize the message and send it */ genlmsg_end(msg, hdr); ret = genlmsg_reply(msg, info); pr_info("reply sent\n"); out: return ret; } </code></pre> Если вкратце, для обработки команды вида «do» нужно: Извлечь данные входящего сообщения со структуры genl_info</code>.</li> Выделить память для ответа.</li> Вставить заголовок Generic Netlink в буфере сообщения; обратите внимания на то, что мы используем тот же ID порта и номер последовательности что и во входящем сообщении, так как это ответное сообщение.</li> Вставить все атрибуты с полезным грузом.</li> Отправить ответ.</li> </ol> Теперь посмотрим как отправить мультикастное сообщение. Я использовал sysfs в этом примере дабы сделать его более интересным. Я создал «kobj», который называется genltest</code>, который содержит атрибут ping</code>, с которого мы собственно продублируем то, что в него будет записано. Для краткости, я упущу со статьи код с sysfs, просто предоставлю функцию, которая формирует и отправляет сообщение: /* Multicast ping message to our genl multicast group */ static int echo_ping(const char *buf, size_t cnt) { int ret = 0; void *hdr; /* Allocate message buffer */ struct sk_buff *skb = genlmsg_new(NLMSG_DEFAULT_SIZE, GFP_KERNEL); if (unlikely(!skb)) { pr_err("failed to allocate memory for genl message\n"); return -ENOMEM; } /* Put the Generic Netlink header */ hdr = genlmsg_put(skb, 0, 0, &genl_fam, 0, GENLTEST_CMD_ECHO); if (unlikely(!hdr)) { pr_err("failed to allocate memory for genl header\n"); nlmsg_free(skb); return -ENOMEM; } /* And the message */ if ((ret = nla_put_string(skb, GENLTEST_A_MSG, buf))) { pr_err("unable to create message string\n"); genlmsg_cancel(skb, hdr); nlmsg_free(skb); return ret; } /* Finalize the message */ genlmsg_end(skb, hdr); /* Send it over multicast to the 0-th mc group in our array. */ ret = genlmsg_multicast(&genl_fam, skb, 0, 0, GFP_KERNEL); if (ret == -ESRCH) { pr_warn("multicast message sent, but nobody was listening...\n"); } else if (ret) { pr_err("failed to send multicast genl message\n"); } else { pr_info("multicast message sent\n"); } return ret; } </code></pre> Процесс довольно похож на операцию «do», с тем отличием что мы не отвечаем на запрос, а отправляем асинхронное сообщение. В связи с этим, мы задаём 0 в качестве последовательного номера, так как он нам в данном случае не нужен, и также задаём 0 для ID порта, порт/PID ядра. Также мы отправляем сообщение через функцию genlmsg_multicast()</code>. На этом всё со стороны ядра. Теперь взглянем на пользовательскую часть. Пользовательское пространство</h3> Netlink является сокетным семейством, что делает возможным пользоваться им через стандартное API сокетов. Достаточно открыть сокет и далее писать и читать сообщения через него, примерно так: int fd = socket(AF_NETLINK, SOCK_RAW, NETLINK_GENERIC); /* Format request message... */ /* ... */ /* Send it */ send(fd, &req, sizeof(req), 0); /* Receive response */ recv(fd, &resp, BUF_SIZE, 0); /* Do something with response... */ /* ... */ </code></pre> Тем не менее лучше использовать libnl^{1</a> или похожую библиотеку, так как они предоставляют более удобный интерфейс к Generic Netlink, что предотвращает некоторые ошибки, и реализует код, который бы всего равно пришлось написать. Эту же библиотеку я буду использовать для своего примера.} Для начала нам нужно подключить некоторые хедеры с libnl: #include <netlink/socket.h> #include <netlink/netlink.h> #include <netlink/genl/ctrl.h> #include <netlink/genl/genl.h> #include <netlink/genl/family.h> </code></pre> А также совместный хедер, который мы создали когда писали ядерный модуль: #include "../ks/genltest.h" </code></pre> В примере я также сделал маленький макрос для вывода ошибок: #define prerr(...) fprintf(stderr, "error: " __VA_ARGS__) </code></pre> Как я упомянул ранее, проще использовать отдельные сокеты под юникаст и мультикаст сообщения. Поэтому здесь открываем два сокета для общения через Generic Netlink: /* Allocate netlink socket and connect to generic netlink */ static int conn(struct nl_sock **sk) { *sk = nl_socket_alloc(); if (!sk) { return -ENOMEM; } return genl_connect(*sk); } /* * ... */ struct nl_sock *ucsk, *mcsk; /* * We use one socket to receive asynchronous "notifications" over * multicast group, and another for ops. We do this so that we don't mix * up responses from ops with notifications to make handling easier. */ if ((ret = conn(&ucsk)) || (ret = conn(&mcsk))) { prerr("failed to connect to generic netlink\n"); goto out; } </code></pre> Далее нам нужно разрешить ID семейства Generic Netlink, к которому мы хотим подключиться: /* Resolve the genl family. One family for both unicast and multicast. */ int fam = genl_ctrl_resolve(ucsk, GENLTEST_GENL_NAME); if (fam < 0) { prerr("failed to resolve generic netlink family: %s\n", strerror(-fam)); goto out; } </code></pre> Сокет (Generic) Netlink никак не ассоциируется с семейством, а ID семейства нам пригодится позже для отправки сообщения. Библиотека libnl может отслеживать номер последовательности за нас, но нам это не нужно для мультикастных сообщений, поэтому и выключаем его: nl_socket_disable_seq_check(mcsk); </code></pre> Нам также необходимо разрешить название мультикастной группы. В данном случае мы сразу задействуем полученный ID для того, чтобы подписаться к данной группе и начать получать уведомления: /* Resolve the multicast group. */ int mcgrp = genl_ctrl_resolve_grp(mcsk, GENLTEST_GENL_NAME, GENLTEST_MC_GRP_NAME); if (mcgrp < 0) { prerr("failed to resolve generic netlink multicast group: %s\n", strerror(-mcgrp)); goto out; } /* Join the multicast group. */ if ((ret = nl_socket_add_membership(mcsk, mcgrp) < 0)) { prerr("failed to join multicast group: %s\n", strerror(-ret)); goto out; } </code></pre> Нам нужно поменять обратный вызов на наш, для того, чтобы мы могли получить и обработать входящие сообщения: /* Modify the callback for replies to handle all received messages */ static inline int set_cb(struct nl_sock *sk) { return -nl_socket_modify_cb(sk, NL_CB_VALID, NL_CB_CUSTOM, echo_reply_handler, NULL); } /* * ... */ if ((ret = set_cb(ucsk)) || (ret = set_cb(mcsk))) { prerr("failed to set callback: %s\n", strerror(-ret)); goto out; } </code></pre> Как вы могли заметить, обратный вызов одинаков для обеих сокетов, так как мы по сути получаем одинаковое по типу сообщение как для операции «do» так для асинхронных сообщений. Функция выглядит следующим образом: /* * Handler for all received messages from our Generic Netlink family, both * unicast and multicast. */ static int echo_reply_handler(struct nl_msg *msg, void *arg) { int err = 0; struct genlmsghdr *genlhdr = nlmsg_data(nlmsg_hdr(msg)); struct nlattr *tb[GENLTEST_A_MAX + 1]; /* Parse the attributes */ err = nla_parse(tb, GENLTEST_A_MAX, genlmsg_attrdata(genlhdr, 0), genlmsg_attrlen(genlhdr, 0), NULL); if (err) { prerr("unable to parse message: %s\n", strerror(-err)); return NL_SKIP; } /* Check that there's actually a payload */ if (!tb[GENLTEST_A_MSG]) { prerr("msg attribute missing from message\n"); return NL_SKIP; } /* Print it! */ printf("message received: %s\n", nla_get_string(tb[GENLTEST_A_MSG])); return NL_OK; } </code></pre> В целом ничего особенно, по большей части очень похоже на то, что мы делали в ядерной части. Основное отличие в том, что в ядерном коде сообщение уже было распарсенное за нас ядерным API, а здесь нам даётся выбор пройти по атрибутам вручную или спарсить их всех в массив с помощью функции библиотеки. Далее, нам надо отправить сообщение в ядерное пространство: /* Send (unicast) GENLTEST_CMD_ECHO request message */ static int send_echo_msg(struct nl_sock *sk, int fam) { int err = 0; struct nl_msg *msg = nlmsg_alloc(); if (!msg) { return -ENOMEM; } /* Put the genl header inside message buffer */ void *hdr = genlmsg_put(msg, NL_AUTO_PORT, NL_AUTO_SEQ, fam, 0, 0, GENLTEST_CMD_ECHO, GENLTEST_GENL_VERSION); if (!hdr) { return -EMSGSIZE; } /* Put the string inside the message. */ err = nla_put_string(msg, GENLTEST_A_MSG, "Hello from User Space, Netlink!"); if (err < 0) { return -err; } printf("message sent\n"); /* Send the message. */ err = nl_send_auto(sk, msg); err = err >= 0 ? 0 : err; nlmsg_free(msg); return err; } /* * ... */ /* Send unicast message and listen for response. */ if ((ret = send_echo_msg(ucsk, fam))) { prerr("failed to send message: %s\n", strerror(-ret)); } </code></pre> Также не сильно отличается от ядерного API. Теперь нам следует единовременное слушать для получения ответа и "бесконечно" для получения уведомлений: printf("listening for messages\n"); nl_recvmsgs_default(ucsk); /* Listen for "notifications". */ while (1) { nl_recvmsgs_default(mcsk); } </code></pre> Не забываем перед выходом программы закрывать и освобождать наши сокеты: /* Disconnect and release socket */ static void disconn(struct nl_sock *sk) { nl_close(sk); nl_socket_free(sk); } /* * ... */ disconn(ucsk); disconn(mcsk); </code></pre> На этом всё! Подводя итоги</h2> Старые способы взаимодействия с ядром и его различными подсистемами через такие интерфейса как «sysfs» и в особенности «ioctl» имеют немало недостатков и в них отсутствуют некоторые очень нужные в современном мире функции, такие как асинхронные операции и структурированные форматы данных. Netlink, и его расширенная форма, Generic Netlink, предоставляют очень гибкий способ общения с ядром, и они решают многие недостатки и проблемы интерфейсов былых времён. Это не идеальное решение (например, не совсем по-Юниксовому), но это однозначно лучший способ который есть, на данным момент, для того, чтобы передавать в и из ядра более сложные вещи чем простые параметры. Post scriptum</h2> Когда я начал изучать Generic Netlink, версия 6.0 ядра ещё не была выпущенной (stable). Ввиду того что только недавно в этой же версии была добавлена в документацию замечательная страница-введение в Netlink^{2</a>, и того что я смотрел в версии документации «latest» (на тот момент v5.19), я её не заметил до того, как я уже начал писать свою статью.} Не уверен, начал ли я бы писать эту статью, если бы я раньше увидел ту страницу ядерских доков. Тем не менее в конечном итоге я считаю что оно того стоило, так как это статья получилась неплохим добавлением к странице официальных доков, для желающих сразу помочить руки, особенно, учитывая что здесь предоставляется живой пример. Тем не менее, несомненно прочитайте официальную документацию ядра! Та страница покрывает некоторые моменты, о которых я мог не упомянуть. ^1Оригинальный сайт с информацией https://www.infradead.org/~tgr/libnl/</a>, актуальное репо: https://github.com/thom311/libnl</a> </div> ^2Хорошая вводная статья по Netlink, с самих доков ядра: https://kernel.org/doc/html/latest/userspace-api/netlink/intro.html</a> </div>

Введение в Linux и Bash, часть II

2018-12-31T09:20:00+00:00

И так, год подходит к концу, и я так еще не написал вторую часть туториала про Bash и Linux. Надо бы написать хотя бы один пост в этом, последнем месяце года.

В этой части, я расскажу чуть больше про инструменты и команды в Linux и Unix-подобных системах, которые вам пригодятся при работе в терминале. Все или большинство из этих программ являются частью основного набора программ и утилит большинства бистрибутивов Linux и Unix/Unix-подобных систем.

Работа с файлами</h2>
В предыдущей части я стал объяснять подробно как работать с файлами. Однако, возможность манипулировать файлы является очень полезным и важным функционалом компьютерных систем.

Создать файл</h3>

Обычно, если хотим создать файл, мы используем определенную программу специально предназначена для создания и редактирования определенного вида файлов. Например, vim для редактирования и записи текстовых файлов. Однако есть утилита которая позволяет создавать пустые файлы - touch.

Вы можете создать пустой файл введя touch и последовательно название или путь файла который вы хотите создать, например

user@host:~$ touch example.txt
</span></code></pre>
А теперь у нас пустой файл в "/home/user/example.txt". Но, я немного соврал,
когда сказал что данная команда для того чтобы создавать пустые файлы. На самом
деле, она сначала проверяет наличия файла, затем, если он существует, она
редактировает его даты и время доступа и редактирования, иначе он создает пустой
файл, как в данном случае. Очень редко когда данная команда на самом деле
понадобится, поскольку в большинство случаях сами программы для редактирования
файлов могут также их создавать. Тем не менее бывают случаи когда она может
пригодится.</p>
Создать директорий</h3>
Сейчас у нас будет что-то поинтереснее, как создать директорий. Создавать
директории довольно просто, команда - mkdir. Например</p>
user@host:~$ mkdir foo
</span></code></pre>
Мы только что создали директорий "foo" в "/home/user/". Не забудьте что мы
всегда передаем путь файла, будь они относительными или абсолютными (если вы не
помните что это значит, прочитайте первую часть). В данном случае, мы используем
относительный путь содержающий только название директория.</p>
Если бы мы использовали абсолютный путь, он выглядел бы таким образом -
"/home/user/foo". Нам бы пришлось убедиться в том что директории "home" и "user"
существуют. Однако, существует очень подезный флажок, которые мы можем передать
команде, чтобы она создавала родительские директории при необходимости - -p</p>
user@host:~$ mkdir -p /tmp/foo/bar
</span></code></pre>
Если директории "tmp" и/или "foo" не существуют, он их автоматический сделает,
вместе с "bar" внутри их.</p>
Перемещение и переименования</h3>
Это довольно просто, и обе действия можно выполнить одной командой - mv, что
происходит с английского move.</p>
Если вам необходимо переименовать файл или директорий, переместите его в тот же
самый директорий, с новым/другим названием, например</p>
user@host:~$ mv untitled titled
</span></code></pre>
А вот если потребуется переместить в другую локацию, просто укажите путь новой
локации в качестве второго аргумента. Не забудьте что оба аргумента являются
путями, либо относительными либо абсолютными</p>
user@host:~$ mv titled Documents/titled
</span></code></pre>
Копировать</h3>
Копирование похоже на перемещения, отличие просто в названии команды - cp.</p>
user@host:~$ cp titled Documents/titled2
</span></code></pre>
Однако, копирование директории отличается немного от копирования файлов. Чтобы
копировать директории, нужно использовать флаг -r. Он указывает что операция
должна быть рекурсивной, то есть, нужно скопировать каждый файл и поддиректорию
внутри директории (и файлы внутри этих поддиректории и в поддиректории
поддиректории и... ну то есть, рекурсия) в указанный путь. То есть что-то похоже
на это</p>
user@host:~$ cp -r dir dir-copy
</span></code></pre>
Удалить</h3>
Удалять файлы довольно просто, достаточно ввести rm а затем путь файла</p>
user@host:~$ rm title
</span></code></pre>
Однако, чтобы удалять директории не так просто. Один способ - использовать
команду rmdir, но она только работает на пустых директориях.</p>
Второй вариант, использовать ту же команду что и для файлов, но используя флаг
-r чтобы удалить файлы рекурсивно, также как и с командой cp. Будьте
внимательные при использовании этой команды, ибо она удаляет все файлы внутри
директории, вместе с директорией.</p>
Итак, чтобы удалить директорию и все содержимое, нам понадобиться ввести
следующую команду</p>
user@host:~$ rm -r dir
</span></code></pre>
У этой команды есть еще один флаг, чтобы принудительно удалить файлы без
вопросов - флаг -f. Этот аргумент может пригодится, например, когда нужно
удалить сразу несколько файлов, и среди них есть специльные файлы, как скрытые
файлы (те, у которых точка перед названием) и вам не хочется подтвердить
действие перед каждым файлом.</p>
Следует быть ОЧЕНЬ осторожным перед тем как использовать этот флаг, особенно
если вы собираетесь ввести команду под root пользователем. Поверьте, вам будет
очень неприятно если вы введете например "sudo rm -rf /" и у вас полетят
полностью система и файлы. Если вы не садист, конечно.</p>
Пример ситуации когда данное сочетание флагов с командой rm может пригодится
это, когда вам необходимо удалить репозиторий git, поскольку в них содержатся
множество специальных скрытых файлов, которые git использует затем чтобы следить
за коммитами и прочее. Пример использования команды</p>
user@host:~$ rm -rf somerepo
</span></code></pre>
Контроль доступа</h3>
В Unix и Unix-подобных системах существует довольно прочная система для контроля
прав доступа. Она позволяет определять полномочия определеных пользователей или
групп пользователей над определенными файлам, создавая безопасную среду для
компьютеров с множество пользователями.</p>
У каждого файла три вида прав доступа, которые определяют что можно с ними
делать. Каждое право обозначается одной буквой английского алфавита</p>

r - чтение: пользователь имеет право читать данный файл.</li>
w - запись: пользователь может писать/редактровать данный файл (включая
возможность его удалять).</li>
x - выполнение: файл может быть выполнен пользователем, если он является
программой или скриптом.</li>
</ul>
Так же существует три разных наборов человек к которым могут относится права
доступа</p>

u - пользователь/владелец: пользователь, которому принадлежит файл. Обычно это
тот же самый пользователь, который создал файл, но владелца можно поменять.</li>
g - группа: каждый принадлежит определенной группе пользователей. Это может
быть группа одного пользователя (у каждого пользователя есть своя
однопользовательская группа), или общая группа.</li>
o - другие: Все остальные кто не являются владелцем или ну состоит в группе.</li>
</ul>
Если вы читали первую часть туториала, вы наверное помните что я рассказывал про
команду "ls -l" чтобы посмотреть дополнительную информацию о файлах, включая
права доступа</p>
user@host:~/Documents$ ls -l
</span>drwxr-xr-x  2 user user  4.0K Jul  18 04:20 Books
</span>-rwxr-xr--  1 user group 350  Jul  18 04:20 run.py
</span>-rw-r--r--  1 user user  1.2M Jul  18 04:20 picture.png
</span></code></pre>
Первые десять символов в каждой строке - права доступа для файла в данной
строке.</p>
Первый символ в данном сочетаний символов определяет является ли файл обычным
файлом или другим видом. Если первым символом является буква d, то это
директория, если там просто черточка (тире/дефис), то это обычный файл. Там
также может быть другая буква, как например l для ссылок, но это уже не входит в
рамках данного поста.</p>
Следующие 9 символов разделяются в свое время в сочетание из трех символов,
каждое для определенного набора пользователей. Первые три символа после символа
вида файла это права для владелца, следующие три для группы, и последние три для
отсальных.</p>
В каждом из этих сочетании из трех букв, права доступа в порядке чтение, запись,
выполнение. Наличие буквы означает что у данного набора пользвателей данно это
право, отсуствие значит нет такого права для данного набора пользоваетелей.</p>
Возьмем в качестве примера файл "run.py". Исходя из информации на экране мы
можем определить что это обычный файл (нет буквы d), владелец (user) имеет право
читать, записывать и выполнять его; группа пользователей (в группе group) имеет
право на чтение и выполнения, но не записи; и остальные только могут его читать.</p>
Наверное вы заметили что почти всегда у директории присуствует право на
выполнение (буква x), однако это означает что-то немножко иное в отличие от
файлов. Буква "x" у директориях означает что есть право на вход в директорию и
есть доступ к файлам внутри директории. Право на чтения директории всего лишь
означает что можно смотреть на то какие файлы содержатся в директории, и право
на запись означает что есть то чтобы записывать файла внутри директории.</p>
Изменить права</h3>
Существует очень полезная команда которая позволяет менять права на доступ
файлов - chmod.</p>
Чтобы изменить права на файле, необходимо ввести chmod и затем права и путь
файла. Есть два способа чтобы менять права, легкий но более долгий способ
используя буквы, и более быстрый но не совсем легкий используя восмеричный код.
Начнем с более легкого.</p>
Более легкий способ состоит из трех частей</p>

Кто - пользователь/владелец, группа, остальные или все (u, g, o, или a)</li>
Дать или отменить право, "+" чтобы дать, "-" чтобы отменить</li>
Право которое мы меняем - чтение, запись или испольнение (r, w, или x)</li>
</ul>
Допустим у нас есть скрипт для которого мы хотим дать право на запуск для всех
пользователей.</p>
user@host:~/Documents/stuff$ ls -l
</span>-rw-r--r-- 1 user group  420  April 20 6:59  script.sh
</span>user@host:~/Documents/stuff$ chmod a+x script.sh
</span>-rwxr-xr-x 1 user group  420  April 20 6:59  script.sh
</span></code></pre>
Как можно заметить, после запуска команды все пользователи компьютера имеют
право на выполнения скрипта. А теперь допустим что мы передумали и хотим
отменить право выполнения для всех пользователей кроме владелца, мы могли бы
ввести o-r и затем g-r, но мы можем также совмещать следующим образом</p>
user@host:~/Documents/stuff$ chmod go-r script.sh
</span>-rwx--x--x 1 user group  420  April 20 6:59  script.sh
</span></code></pre>
А теперь пора выучить быстрый способ. Его сложнее запомнить, поскольку еще
нужны базовые понимания двоичной системы счисления. Грубо говоря, оно работает
подовая три цифры в восьмеричной системе счисления (то есть 0-7) каждая из
которых обозначает бит права для каждого набора пользователей
(пользователь/владелец, группа, другие).</p>
Получается у нас три возможные права (чтение, запись и выполнение) и 2^3 нам
дает 8 возможных сочетании прав, и вот почему у нас восьмеричная система.
Следующая таблица поможет определить отношение нужной цифры для определенного
сочетания прав</p>

  
    
      Восьмеричная система</td>
      Двоичная система</td>
    </tr>
    

      0</td>
      001</td>
    </tr>
    

      1</td>
      001</td>
    </tr>
    

      2</td>
      010</td>
    </tr>
    

      3</td>
      011</td>
    </tr>
    

      4</td>
      100</td>
    </tr>
    

      5</td>
      101</td>
    </tr>
    

      6</td>
      110</td>
    </tr>
    

      7</td>
      111</td>
    </tr>
  </tbody>
</table>
Зная как переводятся цифры в двоичную становится намного проще знать к какой
комбинации прав она относится, ибо каждая цифра в сочетании трех бинарных цифр
относится к одному виду прав в выше указанному порядке (r, w, x). Если у нас
единица (1) это означает что есть данное право, а ноль (0) означает его
отсуствие. И так, например, 6 означает что у нас есть право на чтение и запись,
поскольку 6 = 110 = rw-.</p>
Допустим что мы хотим поменять права доступа к файлу таким образом чтобы
владелец мог читать, записывать и выполнять; группа имела право на чтения и
выполнения; и остальные могли только выполнять. Для этого мы ввели что-то
подобное</p>
user@host:~/Documents/stuff$ chmod 751 script.sh
</span>user@host:~/Documents/stuff$ ls -l
</span>-rwxr-x--x 1 user group  420  April 20 6:59  script.sh
</span></code></pre>
Если вы меняете права доступа директория, новые права будут изменены только для
самой директории, не включая файлы и поддиректории внутри. Чтобы также изменить
права для всех файлов внутри директории, необходимо использовать флаг рекурсии -
-R (обратите внимания на то что, в chmod флаг рекурсии обозначается большой
буквой R в отличие от cp или rm).</p>
Поменять владелца</h3>
Менять владельца файла проще чем менять права. Чтобы поменять владельца необходимо
использовать команду chown. Например, допустим мы хотим поменять пользователя,
которого владеет файлом</p>
user@host:~/.logs$ ls -l
</span>-rw-r--r-- 1 root root  69  April 20 6:59  some.log
</span>user@host:~/.logs$ sudo chown user some.log
</span>user@host:~/.logs$ ls -l
</span>-rw-r--r-- 1 user root  69  April 20 6:59  some.log
</span></code></pre>
Поскольку файл не принадлежал тому же самому владельцу с которого мы выполняем
команды, нам необходимо выполнить команду через sudo чтобы повысить наши
права. Чтобы иметь возможность повышать права вашего пользователя, необходимо
чтобы ваш пользователь состоял в файле "sudoers" и/или в группе "wheel" зависимо
от дистрибутива/ОС. В большинство случаев (если вы пользуетесь
"домашним/дестктопным" дистро) у вас уже будут права на sudo, в любом случае
быстрый поиск в интернете поможет вам найти информацию о том как поменять
настройки прав в вашем дистрибутиве/ОС.</p>
А теперь допустим что вы хотели поменять и пользователя и группу которому
принадлежит файл, в таком случае мы бы ввели следующее</p>
user@host:~/.logs$ ls -l
</span>-rw-r--r-- 1 root root  69  April 20 6:59  some.log
</span>user@host:~/.logs$ sudo chown user:group some.log
</span>user@host:~/.logs$ ls -l
</span>-rw-r--r-- 1 user group  69  April 20 6:59  some.log
</span></code></pre>
Также как и с chmod, если вам необходимо поменять владелца рекурсивной в
директории, вам нужно использовать флаг -R.</p>
Эпилог/Советы</h2>
В предыдущей части я забыл написать о том как ввести пути с пробедами. Нельзя
просто так печатать пути с пробелами, ибо пробел означает переход к следующему
аргументу.</p>
Есть два способа печатать пути, названия файлов и другие аргументы с пробелами.
Первый способ - кавычки. Например</p>
user@host:~/Documents$ rm "Shopping List.txt"
</span></code></pre>
Второй - экранирования символа с помощью символа "" перед пробелом. Например</p>
user@host:~/Documents$ rm Shopping\ List.txt
</span></code></pre>
Еще одно о чем я хотел рассказать - мануалы (man). Почти (если не все)
дистрибутивы Линукса имеют мануалы.</p>
Не всегда необходимо обращаться к интернету если вы забыли как пользоваться
определнной командой. Если вы однажды оказались без интернета и вы хотите
узнать побольше об одной команде, man отличный оффлайн ресурс.</p>
Не говоря уже о том что проще и быстрее делать все сразу с терминала не
переключаясь к браузеру чтобы искать нужную информацию.</p>
Чтобы прочитать мануал определенной команды, введите man и затем название
команды. Например "man chmod".</p>
Вы можете пользоваться клавишами vim (hjkl) для перемещения. Введите /<термин>
чтобы искать этот термин, а затем нажмите на n чтобы найти следующее совпадение.</p>
Это все на данный момент. С новым 2019-м годом!</p>


Введение в Linux и Bash
2018-11-05T23:53:00+00:00
Недавно я решил познакомить друга с великолепным миром Линукса, и как например,
человек переезжает в совсем новый город, его нужно познакомить с городом, как
передвигаться по городу, где все нужные заведения и т.д. В принципе и также
когда человек переходит на новую ОС, ему нужно привыкнуть к новой среде,
создавать новые привычки, особенно когда это касается мира линукса. Собственно
этот туториал я пишу для моего друга и любого другого человека который
заинтересован Линуксом, но хотят научится использовать его более эффективно,
т.е. высше уровня рядового пользователя.</p>
</span>
Скорее всего вам уже известно, но Линукс на самом деле сам по себе не ОС, а ядро
которое используется совместно с набором комонентов и программ GNU (вставьте
здесь шутки и мемы про GNU/Linux (или GNU+Linux)), и есть несколько вариантов,
или точнее - дистрибутивов, так называемого GNU/Linux.</p>
Если только собираетесь установить Линукс и еще не решились какой дистрибутив
выбрать, здесь маленткий, который может помочь вам выбрать:</p>

Manjaro - Лично я пользуюсь этим дистрибутивом. У него есть несколько вариации
с разными рабочими средами, например KDE или GNOME. Это дистрибутив "rolling
release", что означает то, что у него будет более новые пакеты чем у
классических дистро, в замен меньшей стабильности системы. Его довольно легко
установить и использовать (если выбрать что-то вроде KDE или GNOME).</li>
Ubuntu - Самый известный дистрибутив. Является один из самых легких в
использовании. Более стабильный чем Manjaro (хоть и не всегда). Если вы просто
хотите установить ОС в которой уже все настроена и не хотите выбирать рабочую
среду (или вы не знаете что такое рабочая среда), скорее всего этот дистро для
вас.</li>
Debian - Один из самых стабильных дистро. Его не так легко установить как
Ubuntu или Manjaro, но все же не сложно. Собственно Ubuntu разработан на
основе Debian'а. Его скорее всего придется настроить под себя (лично меня не
нравятся дефолтные настройки GNOME'а), но если вы хотите стабильный,
провереный дистрибутив, то он для вас. Один минус для некоторых - поумолчанию
не подключены репозитории с "несвободным" софтом, придется подключить самому
если нуждаетесь в проприетарном софте.</li>
Fedora - По стабильностью и сложности установки/пользования похож на Ubuntu
(то есть довольный просто). У него такой же минус как и у Debian - отсуствия
"несвобоного" софта в главном репозиторий.</li>
</ul>
Если при чтения списка вам словосочетание "рабочая среда" оказалась незнакомой,
то грубо говоря, это набор программ которые предоставляют вам графический
интерфейс для взаимодейстмия с системой. Как выглядит ОС не так сильно зависит
от дистро, в основном оно зависит от рабочей среды.</p>
Установили Линукс? Отлично, можем начать.</p>
Файловая структура</h2>
Если вы привыкли работать с Windows, то есть некоторые моменты, то первое что вы
заметите это то, что файловая структура выглядит немного иначе. Windows, из-за
наследства MS-DOS, использует буквы для обозначения дисков, томов и файловых
систем. В Линукс, как и в других Unix-подобных системах (например macOS, BSD)
это немного иначе.</p>
В Линуксе всё являтся файлом, в том числе и устройства подключенных к вашему
компьютеру. От клавиатуры до накопителя. Папки (или директории) тоже файлы.</p>
Разные диски или накопители монтируются в определеной папке, и в этой папке
будут размещатся файлы данного накопителя. Монтировать и демонтировать диски,
флэшки и тд можно самому, но нечего боятся, если вы установили какой-нибудь из
самых популярных дистро, то система сделать это для вас автоматический, и
создаст ярлык в браузере файлов или на рабочем столе.</p>
В Линуксе есть корневая папка</p>
/
</span></code></pre>
Внутри нее все файлы и поддиректории вашей системы.</p>
В Линуксе, у каждого пользователя есть своя "домашняя папка". В вашей домашней
папки будут размещаться ваши файлы, документы. Домашняя папка пользователя
"user", например, будет распологатся здесь</p>
/home/user
</span></code></pre>
Но вы можете перейти к этой папке используя символ ~. Например, если в консоле
вы введете</p>
$</span> cd </span>~
</span></code></pre>
То это комманда вас переместит в вашую домашнюю папку (например, /home/user).</p>
Терминал - Bash</h2>
Самая полезная программа в линуксе, это скорее всего терминал. Да, рядовой
пользователь может и без нее жить, но это довольно гибкий и полезный инструмент.
Очень часто задачу на самом деле проще и быстрее реализовать в текстовой среде
чем в графической. Очевидно быстрее научится пользоватся графической средой, но
после того как вы научитесь пользоватся текстовой средой (терминал), вы сможете
работать более эффективно.</p>
Пример того как может выглядить ваша коммандная строка</p>
user@host:~$
</span></code></pre>
Первая часть - пользователь через которого вы зашли в систему. Вторая после
символа "@" - hostname, или название вашего устройства в сети.</p>
Вслед за ":" - директория в котором вы находитесь в данный момент. В этом случае
символ "~" указывает что мы находемся в домашнем каталоге нашего пользователя.
Чтобы посмотреть абсолютный путь, мы можем ввести комманду "pwd".</p>
user@host:~$</span> pwd
</span>/home/user
</span>user@host:~$
</span></code></pre>
Символ "$" указывает на то что мы сейчас работаем через обычного пользователя. В
Линуксе и во всех *nix системах, есть такая вещь как "супер пользователь", или
root пользователь. У обычных пользователей нет полный доступ к важным файлам
системы, или к файлам других пользователей. У root, доступ есть на всю систему.
Когда вы авторизованные через root, символ "$" меняется на "#".</p>
Но о правах и о root пользователе, попозже поговорим.</p>
Чтобы открыть терминал, достаточно зайти в меню программ/приложений и нажать на
его иконку или названия. Не могу объяснить подробнее где располагается ярлык
терминала, поскольку оно будет отличатся в зависимо от дистрибутива.</p>
Для того, чтобы начать работать в терминале, необходимо познакомится с основными
коммандами, начиная с коммандами для навигации.</p>
Навигация в терминале</h3>
Еще один момент, который стоит учесть при работе с Линуксом и *nix системами,
это то, что реестр учитывается. Если в Windows'е файл README.TXT и readme.txt
один и то же самый, то в Линуксе и Unix-подобных системах это разные файлы.</p>
Для перемещения по директориям, мы пришем в коммандой строке "cd <путь>". Путь
может быть относительным или абсолютным.</p>
Относительный путь, это, например, название папки которая находится внутри той
директории где мы находимся. Или иными словами, путь относительно того где мы
находимся.</p>
Абсолютный путь, это путь относительно корневой директории (или root на английском).</p>
Например, если мы хотим переместится в каталог "Documents" внутри /home/user/, и
мы уже в /home/user/, то мы можем просто ввести</p>
user@host:~$</span> cd Documents
</span>user@host:~/Documents$
</span></code></pre>
А если бы нам надо было перейти на эту же папку с совершено другого каталога, то
нам бы пришлось ввести</p>
user@host:/var$</span> cd /home/user/Documents
</span>user@host:~/Documents$
</span></code></pre>
Чтобы перейти на корневого каталога данной директории мы используем две точки
"..". Например</p>
user@host:~/Documents$</span> cd ..
</span>user@host:~$
</span></code></pre>
".." означает корневой каталог данной директории. А также есть "." который
означает данная директория.</p>
Есть еще одна комманда, которая поможет вам при навигации в коммандой строке -
ls. Это комманда позволяет увидет содержимое данной директорий</p>
user@host:~/Documents$</span> ls
</span>Books</span>       todo.txt    picture.png
</span></code></pre>
Она также принимает параметры и аргументы, например, чтобы увидеть скрытые
файлы, добавьте параметр "-a"</p>
user@host:~/Documents$</span> ls</span> -a
</span>Books</span>    .secret    todo.txt    picture.png
</span></code></pre>
Скрытые файлы и каталоги в Линуксе начинаются с точкой (например, скрытый
каталог ".secret").</p>
Также есть параметр "-l" который показывает содержимое в списке с
допольнительной информация, такой как разрещения (больше о них в следующей
части), количество файлов в каталоге, владелец файла (пользователь и группа),
размер, дата создания/модификации, и название самого файла. Например</p>
user@host:~/Documents$</span> ls</span> -l
</span>drwxr-xr-x</span>  2 user user 4.0K Jul  18 04:20 Books
</span>-rw-r--r--</span>  1 user user 350  Jul  18 04:20 todo.txt
</span>-rw-r--r--</span>  1 user user 1.2M Jul  18 04:20 picture.png
</span></code></pre>
Также параметры можно совмещать</p>
user@host:~/Documents$</span> ls</span> -al
</span>drwxr-xr-x</span>  2 user user 4.0K Jul  18 04:20 Books
</span>drwxr-xr-x</span>  5 user user 4.0K Jul  18 04:20 .secret
</span>-rw-r--r--</span>  1 user user 350  Jul  18 04:20 todo.txt
</span>-rw-r--r--</span>  1 user user 1.2M Jul  18 04:20 picture.png
</span></code></pre>
Можно смотреть содержимое другого каталога не переходя на него, передавая его
название/путь в качестве последнего аргумента, например</p>
user@host:~/Documents$</span> ls</span> -l</span> Books
</span>drwxr-xr-x</span> 12 user user 4.0K Jul  18 04:20 Lessons
</span>-rw-r--r--</span>  1 user user 2.3M Jul  18 04:20 Crime and Punishment.pdf
</span></code></pre>
Шорткаты</h3>
Перед тем как завершить первую часть этого туториала, хотелось бы написать про
несколько "шорткатов" при работе в bash'е.</p>
Первое это перемещение по истории коммандов. Каждый раз когда вы вводите
комманду в терминале, она сохраняется в истории. Вы можете перемещаться по
истории комманд терминала используя стрелки вверх и вниз. Чтобы последнюю
комманду повторить, вы можете один раз нажать на стрелку вверх, а затем можно ее
дописать или переписать и нажать клавишу ввода. Чтобы повторить более старые
комманды, вы можете несколько раз нажать на стрелку вверх до нужной комманды, а
стрелку вниз если пропустили нужную комманду.</p>
Еще есть очень полезная штука в баше - автозполнение. При нажатии на клавишу
"Таб" баш попытается заполнить для вас комманду.</p>
Например, допустим вы находитесь в корневом каталоге, и вы хотите перейти в путь
"/home/user/". Вы можете начать печатать "cd h" нажать на "Таб" и у вас
получится "cd home/" затем дописать букву "u" и снова нажать на клавишу "Таб" и
в итоге у вас получится "cd home/user/".</p>
Если будут несколько возможных вариантов автодополнения, то при одном нажатии
ничего не получится. Это значит, что либо нет такого каталога, либо есть
несколько возможных вариантов для автозаполнение. Во втором случае можно два
раза подряд нажать на клавишу "Таб" и баш вам покажет все возможные варианты,
например</p>
user@host:~$</span> cd Do
</span>Documents/</span> Downloads/
</span>user@host:~$</span> cd Do
</span></code></pre>
В таком случае мы, например, можем допечатать "cd Doc" и снова нажать на "Таб" и
у нас получится "cd Documents/". Однако, если при двойном нажатие ничего не
выводится, значит что вариантов для автозаполнения.</p>
В начале может показаться немного не понятно как система автозаполнения
работает, поэтому следует самому попробовать воспользоватся ей на практике
самому.</p>
На этом пока все, в следующей части расскажу побольше о работе в терминале.</p>


Новый выпуск w3blog - версия 0.5
2018-10-10T12:04:00+00:00
После несколько месяцев без особого свободного времени, оно наконец появилось и
мне удалось сесть за работу над моим движком для блогов. Это обновление приносит
некоторые улучшении и новые фишки для w3blog.</p>
</span>
Первым делом, я избавился от лишнего в клиентской части. Избавился от Bootstrap
и JQuery, и полностью переписал дефолтный CSS. А теперь приятно смотреть на
дефолтный стиль страницы, таблицв стилей без сжатия весит всего 5.6К (По
сравнению с 138К для сжатого CSS Bootstrap), и конечно сайт так же стал более
легким за счет избавления JQuery (который в принципе нужен был бутстрапу).</p>
v0.4 - дефолтный вид</p>
</p>
дефолтный вид в v0.5</p>
</p>
И говоря про улучшения, комментарии наконец содержат дату публикации. Кажется я
забыл добавить столь полезную функцию.</p>
Новые фишки:</p>

Динамическая прогрузка постов на главной и страницах категорий и архива - Если
вы включите эту фичу, вместо обычных кнопок пагинации, появится в конце
страницы кнопка для прогрузки следующих постов через AJAX. Таким образом не
подгружается целая страница заново. Включите добавляя 'dynamic_load': True</code> в
WEBLOG_SETTINGS</code>.</li>
Бесконечное пролистывание страницы для динамической прогрузки - Когда эта
опция и динамическая прогрузка включены, после пролистывания до конца
страницы, следующие посты автоматически прогружаются через AJAX. Включите
динамическую прогрузку (см. выше) и добавьте 'infinite_load': True</code> в
WEBLOG_SETTINGS</code>.</li>
Плавающая боковая панель - Действия этой функции, сделать так чтобы боковая
панель плавала рядом с контентом после пролистывания страницы ниже
навигационной строки. Для активации добавьте 'floating_sidebar': True</code> в
WEBLOG_SETTINGS</code>.</li>
</ul>
Это собственно все изменения внесены в этом новом релизе. Если вы уже
пользуйтесь w3blog'ом, и вы используете свои собственны таблицы стилей, вам
придется их переделать, поскольку шаблоны немного изменились с поседней (0.4)
версей. В основном изменились классы HTML/CSS.</p>
Были планы и для другие фичи для этого релиза, но я решил их оставить на
следующие релизы.Один из них является способ добавления элементов/HTML в боковую
панель, без необходимости переписывание шаблонов w3blog'а. К сожалению я пока не
нашел нормальный способ разработать такую функцию.</p>
Если у вас возникли проблемы при испоьзованию w3blog, или у вас есть советы либо
комментарии, первый и наилучший вариант это открыть "issue" на странице
Github'а. Если вдруг у вас нет аккаунта Github (и вы не желаете создать аккаунт,
увы) напишите мне на адрес электронной почты
contact@yaroslavps.com</a>. Однако, если вы
пользуетесь одним из больших провайдеров электронной почты (например mail.ru,
gmail) то возможно ваш провайдер заблокирует мое письмо с ответом, либо отправит
в спам.</p>
If you have any issues with w3blog, or maybe even suggestions, the first option
would be to open an issue on its Github page, if you don't have a Github
account (and don't want to create one), you can write me an email at
contact@yaroslavps.com</a>. However, if you are
using one of the big email providers (e.g. outlook or gmail), my response could
be blocked by your provider.</p>
Страница GitHub</a>.</p>


Легкий и халявный SSL с Let's Encrypt
2018-08-12T22:28:00+00:00
Всем нам известно насколько важна безопасность в веб-разработке, и не только в
вебе. И не надо забыть про тот самый SEO Google который повышает рейтинг сайтов
которые работают с https вместо старого доброго http. (Хоть мне плевать на
Google, но мои клиенты так не думают, также как основная часть аудитории этой
статьи)</p>
</span>
Возможно вы давно хотели добавить SSL сертификат для своего сайта или сервиса,
но чувак, они же деньги стоят! А вот вы ошибаетесь (Если вы уже знали про Let's
Encrypt, то прощу прошение за такое бесполезное введение).</p>
В этом туториале я коротко объясню как сгенерировать сертификат SSL с Let's
Encrypt с помощью Certbot используя nginx. В моем случае я его устанавливал на
Debian Stretch, комманда для установки Certbot может отличатся для вас в
зависимости от вашей ОСи.</p>
Перед тем как начать, устанавливаем</p>
# apt-get install certbot
</span></code></pre>
До того как мы сможем установить сертификат, нам нужно настроить nginx для
установки и последовательной продления сертификата. Для этого нам понадобится
поменять дефолтный файл настройки сервера nginx. Нам это необходимо сделать для
того чтобы, сервер Let's Encrypt смог прочитать файл "челленджа" сгенерирован
Certbot'ом и убедится в том что домен(ы) действительно наш(и).</p>
server {
</span>        listen 80 default_server;
</span>        listen [::]:80 default_server;
</span>
</span>        server_name _;
</span>
</span>        # This is so that Let's Encrypt can look for the challenge
</span>        location /.well-known/acme-challenge/ {
</span>                root /var/www/html/;
</span>                default_type text/plain;
</span>        }
</span>
</span>        # The rest of your configuration...
</span>}
</span></code></pre>
После того как мы редактировали настройки, нам потребуется перезапустить с</p>
# sudo systemctl restart nginx
</span></code></pre>
Теперь у нас все готово чтобы сгенерировать сертификат. Мне нужен был
сертификат для несколько поддоменов, так что я их всех добавил в список
аргументов используя флаг -d, например</p>
# certbot certonly --webroot -w /var/www/html -d www.example.com -d example.com
</span></code></pre>
Certbot попросит ваш адрес электронной почти, в который будут отправляться
уведомления об истекании срока действия вашего сертификата. Однако Certbot
красавчик умеет их продлевать автоматический.</p>
Вот и наш сертификат готов. А теперь вы можете настроить nginx чтобы он принимал
https запросы и делал редирект http запросов на https. Не забудьте добавить
правильный путь к вашему сертификату и ключу в ssl_certificate</code> и
ssl_certificate_key</code> соответственно.</p>
server {
</span>        listen 80;
</span>        listen [::]:80;
</span>        server_name www.example.com;
</span>        return 301 https://$host$request_uri;
</span>}
</span>
</span>server {
</span>        listen 443 ssl;
</span>
</span>        server_name www.example.com;
</span>        ssl_certificate /etc/letsencrypt/live/www.example.com/fullchain.pem;
</span>        ssl_certificate_key /path/to/key/www.example.com/privkey.pem;
</span>        location /static/ {
</span>                alias /home/webuser/mysite/static/;
</span>        }
</span>        location /media/ {
</span>                alias /home/webuser/mysite/media/;
</span>        }
</span>        location / {
</span>                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
</span>                proxy_set_header Host $http_host;
</span>                proxy_redirect off;
</span>                proxy_pass http://127.0.0.1:8001;
</span>        }
</span>}
</span></code></pre>
Один минус автоматического редиректа, заключается в том что старые браузеры,
(ох уж эти старые неубиваемые версси Internet Explorer) которые не поддерживают
https, не смогут открыть ваш сайт. Но лично мне по барабану на браузера
десятилетней давности.</p>
Вы можете найти больше информации по Certbot на этой странице (сайт на
английском):
https://certbot.eff.org/docs/using.html</a></p>
Редактировано (2018/11/02): Недавно в 2018 Let's Encrypt добавили возможность
сгенерировать универсальный сертификат для всех поддоменов (например,
*.example.com).</p>
Чтобы сгенерировать такой вид сертификата, нам понадобится скачать последнюю
версию certbot из официального репозитория гита</p>
$</span> git clone https://github.com/certbot/certbot.git
</span></code></pre>
После этого можем перейти в каталог certbot, и выполнить следующую комманду</p>
$</span> ./certbot-auto certonly</span> --manual </span>\
</span>> </span>--preferred-challenges=dns \
</span>> </span>--email email@example.com \
</span>> </span>--server https://acme-v02.api.letsencrypt.org/directory \
</span>> </span>--agree-tos \
</span>> </span>-d </span>*</span>.example.com
</span></code></pre>
Для этого нам понадобится добавить запись TXT в настройках DNS нашего домена,
посколько для таких сертификатов только доступен "dns challenge". Перед тем как
нажать на клавишу ввода, убедитесь что настройки вашего домена обновлены.</p>
Имейте ввиду что такие виды сертификатов нельзя обновлять в автоматическом режиме.</p>


Как сломать pip, и как его починить
2018-08-03T22:00:00+00:00
Бывает такое что программу которую мы используем предлагает нам какое-то
действие. И подумаешь, почему бы не следовать совету, ведь разработчики
красавчики сделали прекрасную работу разрабатывая эту программу, они наверно
знают о чем они говорят.</p>
</span>
С pip'ом походу это так не работает. Я столкнулся с этой проблемой сначала на
моем ноутбуке, а затем на своем настольном компьютере (У меня на обоих стоит
Manjaro). На своем ноутбуке я решил проблему, и когда снова с ней столкнулся на
настольном, я забыл как ее решить. Проблема заключается в том что pip
отказывается установить пакет, выдавая исключение, например
'ModuleNotFoundError'.</p>
Сначала, я вам расскажу что НЕ надо делать чтобы избежать данную проблему.</p>
У вас терминале может появится следующее сообщение после того как вы
пользовались pip'ом</p>
You</span> are using pip version x.x.x, however version x.x is available.
</span>You</span> should consider upgrading via the </span>'</span>pip install --upgrade pip</span>'</span> command.
</span></code></pre>
Если вы видете такое, или похоже сообшение (например, тоже самое но на
русском), не обращаете на него внимание. Даже не смотрите на него. Просто
сделаете вид что его нет. Я послушался советом этого сообщения, и вот, из-за
этого а теперь я пишу запись на своем блоге о том как решить ошибку которая
возникает из-за того что следовал этим советом. По крайней мере не обращайте
внимание на это сообщение если у вас дистрибутив основан на Arch. На счет
других дистрибутивов я не знаю как следует поступать.</p>
Однако, если вы работаете в виртуальной среде, можно и надо использовать pip
для обновления самого pip'a. Но если используем pip чтобы установить пакеты на
уровне системы, то следует пользоваться своим менеджером пакетов (pacman) для
обновления pip'a, поскольку сам менеджер пакетов обновит ваш pip вместе с
остальными пакетами системы когда этого потребуется.</p>
Решение</h2>
Если вы, увы, как и я, послушались pip'a и обновили его через самого себя (то
есть обновили pip используя сам pip) то сначала потребуется удалить некоторые
файлы:</p>
$</span> sudo rm</span> -rf</span> /usr/lib/python3.6/site-packages/pip /usr/lib/python3.6/site-packages/pkg_resources
</span></code></pre>
Then, you should reinstall pip and setup tools:</p>
$</span> sudo pacman</span> -S</span> python-setuptools python-pip
</span></code></pre>
Вот и все! Ваш pip готов к работе.</p>
Решение проблемы я нашел на форумах arch: https://bbs.archlinux.org/viewtopic.php?id=237451</a></p>


Веб-журнал Ярослава де ла Пенья
2018-07-21T09:06:00+00:00
Доброго времени суток, добро пожаловать в мой веб-журнал. В нем я буду
рассказывать о том чем я занимаюсь, и буду писать о том как все это делаю. Цель
данного журнала - сделать для себя такой вид электронных конспектов где для себя
описываю процесс по которому я разрабатываю софт и сайты, настраиваю линукс, и
тому подобные темы, чтобы таким образом я мог обратиться к своими же записям
когда надо будет что-то вспомнить. Я также считаю что это может пригодиться и
другим людям, и затем я записываю все жто в открытом доступе. Я не эксперт, но я
считаю что делясь знаниями и опытом, я сам лучше учусь.</p>
</span>
В основном я буду писать на английском языке, но большинство моих записей также
будут доступны на русском и на испанском.</p>
Возьмите себе чашку чая, или своего любимого напитка, присаживайтесь и читайте
на здоровье (или ради знания?)</p>
В следующей записи, я напишу в кратком форматк о том как я разработал и запустил
этот сайт. Так что, если вы, как и я, интересуетесь веб-разработкой на Python (и
Django), то моя следующая запись возможно вас заинтересует. И если вы такой же
oldfag как и я, не забудьте подписаться на мою RSS ленту.</p>
Конечно мой сайт пока не пользуется популярности, из-за этого, я решил на первое
время дать возможность оставить аноноимный комментарии. Естественно, если будет
очень большое количество спамма, я буду принужден отключить такую возможность.
Оставляйте свои комментарии дорогие читатели, буду рад всех ваших (цивильных)
комментарии и предложении.</p>

Веб-журнал Ярослава де ла Пенья Смирнова

Введение в Generic Netlink, или Как Общаться с Linux Kernel

Время крипты настало

Как я отлаживаю программы в Vim

День Мёртвых

Введение в Linux и Bash, часть III

Post scriptum</h2>
Перед тем как закончить с этим туториалом, я хочу вам показать еще несколько программ, которые могут вам пригодится</p>

Введение в Linux и Bash, часть II

Введение в Linux и Bash

Новый выпуск w3blog - версия 0.5

Легкий и халявный SSL с Let's Encrypt

Как сломать pip, и как его починить

Веб-журнал Ярослава де ла Пенья

Веб-журнал Ярослава де ла Пенья Смирнова

Введение в Generic Netlink, или Как Общаться с Linux Kernel

Сообщения Netlink</h3> Заголовки выглядит следующим образом:</p> </p>

Время крипты настало

Как я отлаживаю программы в Vim

День Мёртвых

Введение в Linux и Bash, часть III

Post scriptum</h2> Перед тем как закончить с этим туториалом, я хочу вам показать еще несколько программ, которые могут вам пригодится</p>

Введение в Linux и Bash, часть II

Введение в Linux и Bash

Новый выпуск w3blog - версия 0.5

Легкий и халявный SSL с Let's Encrypt

Как сломать pip, и как его починить

Веб-журнал Ярослава де ла Пенья

Post scriptum</h2>
Перед тем как закончить с этим туториалом, я хочу вам показать еще несколько программ, которые могут вам пригодится</p>