From 7302a79cabbc8b37e3446f6af31534f7e9ed71b1 Mon Sep 17 00:00:00 2001 From: kingv765427782 Date: Sat, 11 Apr 2026 13:11:00 +0800 Subject: [PATCH] =?UTF-8?q?Add=20=D0=9B=D1=83=D1=87=D1=88=D0=B8=D0=B5=20?= =?UTF-8?q?=D0=B8=D0=BD=D1=81=D1=82=D1=80=D1=83=D0=BC=D0=B5=D0=BD=D1=82?= =?UTF-8?q?=D0=B0=D1=80=D0=B8=D0=B9=20=D0=B4=D0=BB=D1=8F=20=D1=80=D0=B5?= =?UTF-8?q?=D0=B4=D0=B0=D0=BA=D1=82=D0=B8=D1=80=D0=BE=D0=B2=D0=B0=D0=BD?= =?UTF-8?q?=D0=B8=D1=8F=20=D0=BF=D0=B5=D1=80=D0=B5=D1=87=D0=BD=D0=B5=D0=B9?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...%B5%D1%80%D0%B5%D1%87%D0%BD%D0%B5%D0%B9.md | 26 +++++++++++++++++++ 1 file changed, 26 insertions(+) create mode 100644 %D0%9B%D1%83%D1%87%D1%88%D0%B8%D0%B5-%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D1%80%D0%B8%D0%B9-%D0%B4%D0%BB%D1%8F-%D1%80%D0%B5%D0%B4%D0%B0%D0%BA%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F-%D0%BF%D0%B5%D1%80%D0%B5%D1%87%D0%BD%D0%B5%D0%B9.md diff --git a/%D0%9B%D1%83%D1%87%D1%88%D0%B8%D0%B5-%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D1%80%D0%B8%D0%B9-%D0%B4%D0%BB%D1%8F-%D1%80%D0%B5%D0%B4%D0%B0%D0%BA%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F-%D0%BF%D0%B5%D1%80%D0%B5%D1%87%D0%BD%D0%B5%D0%B9.md b/%D0%9B%D1%83%D1%87%D1%88%D0%B8%D0%B5-%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D1%80%D0%B8%D0%B9-%D0%B4%D0%BB%D1%8F-%D1%80%D0%B5%D0%B4%D0%B0%D0%BA%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F-%D0%BF%D0%B5%D1%80%D0%B5%D1%87%D0%BD%D0%B5%D0%B9.md new file mode 100644 index 0000000..b893721 --- /dev/null +++ b/%D0%9B%D1%83%D1%87%D1%88%D0%B8%D0%B5-%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D1%80%D0%B8%D0%B9-%D0%B4%D0%BB%D1%8F-%D1%80%D0%B5%D0%B4%D0%B0%D0%BA%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F-%D0%BF%D0%B5%D1%80%D0%B5%D1%87%D0%BD%D0%B5%D0%B9.md @@ -0,0 +1,26 @@ +Что делать, в случае если используемый список имеет непростую построение? +Если информация разделены нестандартным образом либо содержат комбинированную данные, вероятно необходима предшествующая очистка. Отдельные [сервисы для работы со списками](https://martdaarad.com/profile/rosecartwright) предоставляют базовые возможности с этой целью (очистка ненужных промежутков, незаполненных строк). В сложных ситуациях следует подумать о применение регулярных выражений. + + + +Фундамент базиса в наборе инструментов любого IT-профессионала — это набор консольных утилит для работы с колонками. Они незатратны по ресурсам, скоростны и отлично взаимодействуют друг с другом. + +awk — это целый язык программирования, созданный для обработки текста. Его сила в работе с колонками не имеет равных. Вы можете легко выводить определённые столбцы, искать строки по условию, выполнять арифметические операции над числами в колонках и даже суммировать значения. Команда awk 'print $1, $3' file.txt моментально покажет вам первую и третью колонку каждого ряда. +cut — утилита для точечного извлечения. Когда нужно просто вырезать часть строки по разделителю или по позициям байтов, cut справляется идеально. Он менее гибок, чем awk, но невероятно быстр и прост в базовых задачах. +paste — часто недооценённый герой. В то время как cut разрезает, то paste соединяет. Эта утилита позволяет сливать ряд файлов горизонтально, создавая новые колонки из старых данных. Крайне полезно для слияния данных всевозможных запрос + +Существует ли лимит на размер перечня? +Ограничения технического характера присутствуют всегда, однако для большинства ежедневных задач они не играют роли. Хороший сервис без проблем обработает десятки и сотни тысяч строк. Проблемы могут возникнуть только с экстремально большими объемами данных. + +Образец 2: Создание сводного доклада на основе лога. +One wayA methodAn approach to parseto filterto extract uniquedistinct ERRORerror codesmessages fromin the logapp.log iswould becan be:grep "ERROR" app.log cut -d'' -f2 cut -d'' -f1 sort uniq -c You canOne could runexecute grep "ERROR" app.log cut -d'' -f2 cut -d'' -f1 sort uniq -c for thisto achieve this. +Данный пайплайн обнаруживает ошибки, вырезает название компонента (допустим, он в квадратных скобках) и считает число ошибок по модулям. + +Sort а также Uniq: Структурирование и обеспечение уникальности +Несмотря на то, что это не чисто колоночные утилиты, они тесно связаны с конвейерной обработкой. **sort** позволяет сортировать данные по определенной колонке, а **uniq** — находить или исключать повторяющиеся строки, что нередко следует после сортировки. + +sort -k2,2n -t',' data.csv — сортировка CSV в соответствии со 2-й столбцу как по числу (n), разделитель — запятая (,) . +cut -d' ' -f1 log.txt sort uniq -c sort -nr — классическийстандартныйтипичный конвейерпайплайн для подсчетаопределения топсамых частыхнаиболее популярных IP-адресов в логелог-файле. + +Преимущество: Полностью сохраняется исходный порядок элементов. +Недостаток: Производительность падает на очень больших данных, так как поиск элемента каждый раз выполняется в новом списк \ No newline at end of file