Elastic + filebeat + ТЖ 1С

Публикация № 1073101

Администрирование - Администрирование данных 1С - Журнал регистрации

56
Рассмотрим как можно обрабатывать удобно большой объем информации с простой структурой. Это удобно для анализа логов ТЖ, поскольку типовыми механизмами он невозможен.

Официальный сайт эластика https://www.elastic.co/.
По ссылке https://www.elastic.co/downloads/ необходимо закачать и установить
1. elasticsearch
2. filebeat
3. kibana

Рассмотрим что для чего используется.
Elasticsearch это поисковый движок, он хранит данные.
Filebeat вычитывает файлы логов маркируя прочитанные и отправляет в elasticsearch.
Kibana это интерфейс к elasticsearch, который отображает данные и позволяет быстро находить нужные по отборам.

Запуск инструментов

Запуск filebeat
"D:\distrib\filebeat-7.0.0-windows-x86_64\filebeat.exe" -c "D:\distrib\filebeat-7.0.0-windows-x86_64\filebeat.yml" -path.home "D:\distrib\filebeat-7.0.0-windows-x86_64" -path.data "C:\ProgramData\filebeat" -path.logs "C:\ProgramData\filebeat\logs"
Проверка настроек filebeat
D:\distrib\filebeat-7.0.0-windows-x86_64\filebeat.exe test config -c D:\distrib\filebeat-7.0.0-windows-x86_64\filebeat.yml

Установка elasticsearch в виде сервиса
d:\distrib\elasticsearch-7.0.0\bin\elasticsearch-service.bat install

Запуск kibana выполняется файлом kibana.bat из папки bin корневого каталога.

Механизм работы:
Filebeat вычитывает файлы логов маркируя прочитанные и отправляет в elasticsearch с указанием в какой индекс ложить.
Если индекса нет он создается, если индекс есть в него добавляются новые записи.
Структура индекса создается по шаблону, который filebeat передает elasticsearch.
Сам шаблон filebeat берет из настроек fields.yml, так же можно указать свой шаблон.
Если в elasticsearch уже есть шаблон то по умолчанию он не обновляется (настройка setup.template.overwrite).
Для принудительного обновления шаблона необходимо выставить настройку setup.template.overwrite: true.
Так же можно самому создать шаблон напрямую в elasticsearch чтобы он подхватывался при создании индекса.
После создания индекса и шаблона необходимо задать правила парсинга сообщения ТЖ для разбора и заполнения полей индекса.

Настройка

Filebeat
Filebeat может обрабатывать каталоги и файлы.
Файлы читает построчно и гарантирует что прочитанное сообщение будет отправлено по крайней мере один раз и без потери данных.
Каждый файл обрабатывается отдельно.
Данные о прочитанных файлах хранятся в реестре.
По каждому файлу хранится уникальный идентификатор.
Это необходимо т.к. файл может быть переименован или перемещен.
Уникальные идентификаторы хранятся в реестре, поэтому возможен его рост при чтении большого количества файлов.
Более подробно описано в https://www.elastic.co/guide/en/beats/filebeat/7.0/how-filebeat-works.html.

# настраиваем сбор логов ТЖ
#=========================== Filebeat inputs =============================
filebeat.inputs:
- type: log

  # Paths that should be crawled and fetched. Glob based paths.
  paths:
    #- /var/log/*.log
    # Обращаем внимание на формат, \*\* будет смотреть в подкаталог, когда \* не будет
    - d:\logs1С\*\*.log

#-------------------------- Elasticsearch output ------------------------------

output.elasticsearch:
# Array of hosts to connect to.
hosts: ["localhost:9200"]

# Имя индекса, если нет то создается новый
index: "onectj-%{+yyyy.MM.dd}"

# Разделим на индексы по типам сообщений
# Без разделения все будет ложиться в один индекс описанный выше
indices:
- index: "onectj-call-%{+yyyy.MM.dd}"
when.contains:
message: "SCALL"
- index: "onectj-conn-%{+yyyy.MM.dd}"
when.contains:
message: "conn"

timeout: 60

# Нас интересует преобразование логов при обработке в эластике
# для этого необходимо указать pipeline (https://www.elastic.co/guide/en/beats/filebeat/6.4/elasticsearch-output.html) 
# который будет обрабатывать лог в эластике.
# В эластике необходимо настроить этот pipeline.
# Более подробно описано здесь
# https://www.elastic.co/guide/en/beats/filebeat/7.0/configuring-ingest-node.html
pipeline: "onectj_pipeline"

# загружать шаблон индекса в эластик, если шаблон есть он не перезаписывается
setup.template.enabled: true
# имя шаблона искомого в эластике для разбора индекса
setup.template.name: "onectj"
# паттерн шаблона
setup.template.pattern: "onectj-*"

#============================== Setup ILM =====================================

# Изменение имени индекса по умолчанию будет игнорироваться
# если включена ILM (управление жизненным циклом индекса).
# Можно либо доработать ILM либо отключить
# Более подробно описано здесь
# https://www.elastic.co/guide/en/beats/filebeat/7.0/ilm.html#setup-ilm-overwrite-option
# filebeat 7.0+
setup.ilm.enabled: false
#setup.lim.overwrite: true

Elasticsearch
Для его настройки используем kibana, точнее ее консоль.

Добавим шаблон по которому будет создаваться индекс.

PUT _template/onectj
{
  "index_patterns": ["onectj-*"],
  "settings": {
    "number_of_shards": 1
  },
  "mappings": {
      "properties": {
        /*добавляем поля*/
        "num_min": {
          "type": "integer"
        }
        ,"num_sec": {
          "type": "integer"
        }
        ,"ten_thousandth_second": {
          "type": "integer"
        }
        ,"duration": {
          "type": "integer"
        }
        ,"event1c": {
          "type": "text"
        }
        ,"level_event": {
          "type": "text"
        }
        ,"process_name": {
          "type": "text"
        }
        ,"usr": {
          "type": "text"
        }
        ,"context": {
          "type": "text"
        }
        ,"process1c": {
          "type": "text"
        }
        ,"ClientID_name": {
          "type": "text"
        }
        ,"ClientID": {
          "type": "text"
        }
        ,"computerName": {
          "type": "text"
        }
        /*можно добавить группу полей*/
        /*"onec": {
             "properties": {
                  "num_min": {
                    "type": "long"
                  }
                  ,"num_sec": {
                    "type": "long"
                  }
                  ,"ten_thousandth_second": {
                    "type": "text"
                  }
                  ,"duration": {
                    "type": "text"
                  }
          }*/
        }
    }
  }
}

Посмотреть существующий шаблон можно по команде

# получим шаблон индекса ТЖ
GET /_template/onectj

Чтобы просмотреть все шаблоны команда будет похожая

GET /_template/*

Для удаления шаблона используется команда

# удалим шаблон
DELETE _template/onectj*


Внимание!!!
Изменение шаблона делается по аналогии с добавлением.
Но если изменился тип поля то он обновится только в новом индексе либо при переиндексации существующего.

После создания шаблона определим правила разбора сообщения на поля индекса.

Внимание!!!
В индексе отображаются только заполненные поля.
Т.е. если поле есть в шаблоне, но не заполняется правилами оно не будет отображаться при просмотре индекса.

При создании правил допускается указание нескольких правил списком, при этом отработает первое подходящее.

# установим шаблон разбора сообщений ТЖ
PUT _ingest/pipeline/onectj_pipeline
{
 "description" : "onec tj pipeline",
 "processors": [
    {
      "grok": {
        "field": "message",
        "patterns": ["%{NUMBER:num_min}:%{BASE10NUM:num_sec}-%{WORD:duration},%{WORD:event1c},%{WORD:level_event}"]
      }
    },  
    {
        "grok": {
          "field": "message",
          "patterns": [
            "process=%{WORD:process1c}"
          ],
          "on_failure": [
            {
              "set": {
                "field": "process1c",
                "value": ""
              }
            }
          ]
        }
    },  
    {
        "grok": {
          "field": "message",
          "patterns": [
            "Usr=%{WORD:usr}"
          ],
          "on_failure": [
            {
              "set": {
                "field": "usr",
                "value": ""
              }
            }
          ]
        }
    },  
    {
        "grok": {
          "field": "message",
          "patterns": [
            "Context=%{WORD:context}"
          ],
          "on_failure": [
            {
              "set": {
                "field": "context",
                "value": ""
              }
            }
          ]
        }
    }
  ]
}

Отладить выражения для разбора можно следующим образом

# проверим шаблон разбора сообщений ТЖ
POST _ingest/pipeline/_simulate
{
  "pipeline": {
  "description" : "parse multiple patterns",
  "processors": [
    {
      "grok": {
        "field": "message",
        "patterns": ["%{NUMBER:num_min}:%{BASE10NUM:num_sec}-%{WORD:duration},%{WORD:event1c},%{WORD:level_event},process=%{WORD:process_name}"]
      }
    },  
    {
        "grok": {
          "field": "message",
          "patterns": [
            "process=(%{DATA:process},|%{GREEDYDATA:process})"
          ],
          "on_failure": [
            {
              "set": {
                "field": "process",
                "value": ""
              }
            }
          ]
        }
    }
  ]
},
"docs":[
  {
    "_source": {
      "message": "16:40.991013-1,SCALL,0,process=ragent,ClientID=248,Interface=0459eaa0-589f-4a6d-9eed-c1a7461c8e3f,IName=IClusterRegistry,Method=18,CallID=915855,MName=getServersList"
    }
  }
  ]
}


Kibana

Для просмотра индексов в kibana необходимо создать паттерн их отображения.


Для этого зайдем в паттерны индексов и создадим новый.



Укажем маску для группировки нескольких индексов.



Выберем поле хранящее время события



Создадим паттерн индекса.
Теперь выбрав этот паттерн можно будет просматривать индексы.



Отладка

Для анализа проблем обработки в elasticsearch используем журнал filebeat.

#================================ Logging =====================================

# Sets log level. The default log level is info.
# Available log levels are: error, warning, info, debug
logging.level: debug
logging.to_files: true
logging.files:
  path: "d:\\distrib\\filebeat-7.0.0-windows-x86_64\\logs"
  name: filebeat

Указываем уровень регистрируемых ошибок, включаем журнал. При желании можно указать свой каталог логов.
В случае ошибок они отобразятся в логах
Например
 

#2019-06-07T09:40:14.117+0700	DEBUG	[elasticsearch]	elasticsearch/client.go:532	Bulk item insert failed (i=0, status=500): {"type":"exception","reason":"java.lang.IllegalArgumentException: java.lang.IllegalArgumentException: Provided Grok expressions do not match field value: [ОбщийМодуль.ГлобальныйМодуль.Модуль : 10 : ТекущийРежим = ПолучитьБлокировкуУстановкиСоединений();']","caused_by":{"type":"illegal_argument_exception","reason":"java.lang.IllegalArgumentException: Provided Grok expressions do not match field value: [ОбщийМодуль.ГлобальныйМодуль.Модуль : 10 : ТекущийРежим = ПолучитьБлокировкуУстановкиСоединений();']","caused_by":{"type":"illegal_argument_exception","reason":"Provided Grok expressions do not match field value: [ОбщийМодуль.ГлобальныйМодуль.Модуль : 10 : ТекущийРежим = ПолучитьБлокировкуУстановкиСоединений();']"}},"header":{"processor_type":"grok"}}

Данная ошибка говорит об отсутствии в паттерне шаблона условия для разбора сообщения.
Сообщение не загрузилось.
Пример сообщений журнала.

56

Скачать файлы

Наименование Файл Версия Размер
Настройки filebeat версии 7.0
.yml 11,12Kb
18.06.19
5
.yml 11,12Kb 5 Скачать
Команды elastic
.txt 4,77Kb
18.06.19
4
.txt 4,77Kb 4 Скачать
Шаблон json
.json 1,01Kb
20.06.19
3
.json 1,01Kb 3 Скачать

Специальные предложения

Комментарии
Избранное Подписка Сортировка: Древо
1. Kluch 19.06.19 17:40 Сейчас в теме
Хорошая статья.
А как указать, что нужно загружать шаблон индекса из файла json. Вроде есть такая возможность, но что-то не получается:

setup.template.json.enabled: true
setup.template.json.name: "onectj"
setup.template.json.path: ${path.config}/my_template.json

И есть ли возможность также указать файл с pipeline в настройках?
Чтобы не вызывать:
PUT _template/onectj
PUT _ingest/pipeline/onectj_pipeline
3. pashamak 126 20.06.19 06:04 Сейчас в теме
(1) Добрый день.
Спасибо!
По документации имя pipeline нужно указывать в настройках, о его загрузке из настроек речи нет.
Подробнее здесь https://www.elastic.co/guide/en/beats/filebeat/7.0/elasticsearch-output.html.

К шаблону предъявляются требования.
В логах есть ошибка загрузки шаблона?

Пример двух разных ошибок некорректного разбора шаблона:

2019-06-20T09:44:23.605+0700 ERROR pipeline/output.go:100 Failed to connect to backoff(elasticsearch(http://localhost:9200)): Connection marked as failed because the onConnect callback failed: Error loading Elasticsearch template: could not unmarshal json template: json: cannot unmarshal array into Go value of type map[string]interface {}

2019-06-20T09:56:59.672+0700 ERROR pipeline/output.go:100 Failed to connect to backoff(elasticsearch(http://localhost:9200)): Connection marked as failed because the onConnect callback failed: Error loading Elasticsearch template: could not unmarshal json template: invalid character '}' after top-level value
(1)

Приложил пример шаблона приведенного в статье.
У меня после удаления шаблона в эластике он загрузился из json корректно.
Прикрепленные файлы:
onectj.json
4. Kluch 21.06.19 13:10 Сейчас в теме
(3) Добрый день.
В логах в консоли как я понимаю пишет: Template already exists and will not be overwritten и загружает шаблон по умолчанию.
Ошибки в моем шаблоне нет, через PUT _template он загружается.

Логи в файл тоже не собираются (выводятся на экран в консоли).

Думаю проблема в задании путей. Что-то не пойму как их указывать?
"E:\\ELK_Stack_7.0.0\\filebeat-7.0.0\\logs" - с двумя слешами
"E:\ELK_Stack_7.0.0\filebeat-7.0.0\logs" - с одним слешем
E:\ELK_Stack_7.0.0\filebeat-7.0.0\logs - без кавычек
${path.config}/logs - или может так?

В секции filebeat.inputs работает так:

paths:
- D:\Logs_ELK\*.log
7. pashamak 126 23.06.19 19:30 Сейчас в теме
(4) Проблема в существовании шаблона, он его не может обновить без включенной настройки замены.
Можно (1 ) удалить существующий шаблон или (2) указать замену шаблон в настройках.
1. DELETE _template/[имя шаблона]
2. Описано здесь https://www.elastic.co/guide/en/beats/filebeat/7.0/configuration-template.html
setup.template.overwrite
A boolean that specifies whether to overwrite the existing template. The default is false.
2. starik-2005 1956 19.06.19 21:25 Сейчас в теме
В последнее время инструменты для линуха стали появляться в винде и винда становится похожа на линух. Ну а консольку можно через подсистему линуха засунуть к мелкомягким - и будет все хорошо.
5. ALex_1C_8 21.06.19 15:15 Сейчас в теме
Может не внимательно читал, но я так и не понял. Как решаете проблему многострочных событий в ТЖ.
6. Kluch 21.06.19 16:31 Сейчас в теме
(5) По идее есть настройка в разделе filebeat.inputs:
multiline.pattern:

Например:

multiline.pattern: '(\d\d:\d\d)\.(\d+)-(\d+)'
8. pashamak 126 23.06.19 19:32 Сейчас в теме
(5) Это не описывал в статье.
Посмотрите по (6) описание в доке https://www.elastic.co/guide/en/beats/filebeat/7.0/filebeat-reference-yml.html
9. Repich 351 31.07.19 10:17 Сейчас в теме
(5)
input {
file {

codec => multiline {
pattern => "^(0[0-9]|1[0-9]|2[0-3]|[0-9]):[0-5][0-9]"
negate => true
what => "previous"
}
10. serge_focus 4 08.08.19 14:43 Сейчас в теме
Привет

А для файлового ЖР у Вас есть pipeline и Настройка.yml?
Хочу перевести ЖР в старый формат
11. pashamak 126 08.08.19 19:57 Сейчас в теме
(10) Для журнала регистрации есть сервис который его разбирает и складывает в эластик.
Сервис написан, но находится в процессе отладки.
Пример прилагаю в скриншоте.
При интересе пишите в личку могу отправить.
Прикрепленные файлы:
Оставьте свое сообщение

См. также

Скрипт powershell - контроль размера файлов журнала регистрации 1С на сервере 1

Инструменты и обработки Системный администратор Архив с данными Россия Windows Абонемент ($m) Журнал регистрации

Скрипт powershell, который отправляет на указанную почту информацию о свободном месте на дисках сервера (где запускается данный скрипт) и информацию о размерах файлов журнала регистрации 1С (+ прикреплен файл 1CV8Clst).

1 стартмани

11.10.2019    403    GG_Dots    0       

Сложнейшая загрузка журнала регистрации в ElasticSearch (или делаем настоящий ETL) 36

Инструменты и обработки Системный администратор Архив с данными v8 Россия Windows Абонемент ($m) Журнал регистрации

Году в 2017ом возникло (наверное странное на тот момент) желание перегрузить журнал регистраций 1С в ELK. Чтобы журналы место на диске не съедали, 1С программисты забыв поставить фильтр сервер не подвешивали, все журналы лежали в одном месте да и можно было безопасно туда ответственных пользователей пускать, чтобы сами смотрели кто какой документ поправил.На предложение написать выгрузку сразу из 1С программисты благополучно забили ("ой на это минимум месяц", "у нас срочные бизнес-фичи" и т.д. и т.п.). Зато попалась статья от Aleksey.Bochkov (https://infostart.ru/public/182820/). Ну и решили мы все это запилить без 1С программистов. Во что влезаем я тогда еще не понимал. А вылилось почти в год допилок (хорошо хоть в фоновом режиме) в цельный ETL с использованием C#, T-SQL и прочими делами.

1 стартмани

27.09.2019    2860    3    DonAlPatino    32       

Журнали2Ст: сверхбыстрый журнал регистрации 1С 86

Инструменты и обработки Системный администратор Программист Приложение (exe) v8 Windows Абонемент ($m) Журнал регистрации

Строит внешний индекс по журналам регистрации любого формата и делает поиск в них фантастически быстрым. Дополнительно ничего не нужно настраивать! Журналы Регистрации остаются на своём месте и не занимают дополнительного, а сервис Журнали2Ста обеспечивает их постоянную индексацию.

1 стартмани

22.08.2019    4636    44    MrWonder    44       

Запуск встроенного в платформу механизма История данных для ленивых 17

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 1cv8.cf Абонемент ($m) Журнал регистрации

В последних версиях платформы 1С появился замечательный механизм Истории данных. Если кратко, механизм позволяет сохранять историю, просматривать, сверять и самое приятное, это восстанавливать любую версию объекта. А самое главное, чтобы это заработало, не нужно продумывать, писать и поддерживать тонны кода, все уже сделано за нас... Возникает вопрос: Как запустить встроенный в платформу механизм Истории данных ничего не кодируя?

1 стартмани

24.05.2019    2878    3    _root    12       

Подсистема для выгрузки, быстрого поиска и анализа журнала регистрации 1С в Elasticsearch 26

Инструменты и обработки Системный администратор Программист Конфигурация (md, cf) v8 1cv8.cf Абонемент ($m) Журнал регистрации Поиск данных

Elasticsearch - это opensource решение для очень быстрого поиска данных в больших массивах информации. Использование этого решения позволит решить проблемы с поиском и анализом больших объемов информации журнала регистрации. Протестировано на платформах начиная с 8.3.10.2580.

5 стартмани

15.05.2019    3197    13    Nikolo17    12       

Журнал Регистрации ➜ Телеграмм 109

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8::УФ 1cv8.cf Россия Абонемент ($m) Журнал регистрации

Подключаемая обработка для рассылки ошибок журнала регистрации в телеграмм.

1 стартмани

14.05.2019    5620    15    🅵🅾️🆇    9       

История выполнения фоновых заданий в виде диаграмм (версия 6.4.17) 20

Отчеты и формы Системный администратор Программист Внешний отчет (ert,erf) v8 1cv8.cf Абонемент ($m) Журнал регистрации

Отчет предназначен для получения из журнала регистрации данных об истории выполнения фоновых заданий и отображения их в виде диаграмм.

1 стартмани

26.04.2019    2365    19    sertak    21       

Как отправить ошибки из журнала регистрации на почту? 34

Статья Программист Нет файла v8 УПП1 Абонемент ($m) Журнал регистрации

Процедуры отправки ошибок из журнала регистрации на почту. Журнал регистрации выгружается в файл Excel, далее прикрепляется к письму. Для отправки писем создано регламентное задание.

1 стартмани

06.02.2019    4066    wowik    0       

Ошибки, предупреждения и прочее из журнала регистрации на почту и в Telegram автоматически (БП 3, ЗУП 3.1, УТ 11.4, ERP 2.4, Розница 2.2) 22

Инструменты и обработки Системный администратор Программист Пользователь Внешняя обработка (ert,epf) v8 Розница УНФ ERP2 ЗКГУ3.0 БП3.0 УТ11 ЗУП3.x Абонемент ($m) Журнал регистрации Поиск данных Тестирование и исправление Email

Данная обработка позволяет анализировать журнал регистрации с пользовательским отбором (4 критерия отбора) и высылать отчет пользователю с заданной периодичностью на электронную почту или в Телеграм. Возможно использовать как регламентное задание (автоматическая отправка отчетов по времени), непосредственно запускать из клиента, а также выгружать в форму обработки отфильтрованные данные из журнала регистрации без отправки.

2 стартмани

28.01.2019    3841    23    Redinternational    3       

Мониторинг активности пользователя 26

Инструменты и обработки Системный администратор Расширение (cfe) v8 БП3.0 Россия Абонемент ($m) Журнал регистрации

Расширение предназначено для мониторинга активности пользователей, фиксирует какие окна открывал и когда пользователь в программе. Автоматически завершает работу не активных пользователей, что позволяет экономить системные ресурсы. Есть отчет об Активности пользователей по часам с возможностью отбора по конкретному пользователю. Расширение для типовых конфигураций 1С на управляемых формах в режиме совместимости 8.3.12.

1 стартмани

26.10.2018    3803    47    xan333    2       

Нестандартные подсистемы: Живая вода 32

Инструменты и обработки Системный администратор Программист Конфигурация (md, cf) v8 1cv8.cf Абонемент ($m) Поиск данных Тестирование и исправление

В БСП есть все, чтобы справиться с проблемой «Битых ссылок», но почему-то так и не реализовали возможность сохранять версию объекта перед удалением. Решил исправить эту досадную несправедливость и создать подсистему с кодовым названием «Живая вода».

1 стартмани

11.10.2018    5444    2    dsdred    14       

Мониторинг журнала регистрации при помощи Powershell 28

Статья Системный администратор Программист Архив с данными v8 Windows Абонемент ($m) Сервисные утилиты Журнал регистрации

Работа с журналом регистрации в формате SQLite внешними средствами на примере мониторинга изменений в конфигурации базы данных.

1 стартмани

12.07.2018    7405    3    user768334    7       

Повышение качества разработок и онлайн контроль ошибок 163

Статья no Расширение (cfe) v8 Абонемент ($m) Журнал регистрации

Анализ ошибок и сбор ошибок журнала регистраций из десятков и сотен баз в одном месте.

09.03.2018    19112    136    DitriX    47       

Интерфейс для истории данных (платформенное версионирование) в режиме обычных форм 16

Отчеты и формы Системный администратор Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Россия Абонемент ($m) Журнал регистрации

Как известно, в версии платформы 8.3.11 появился встроенный в платформу механизм версионирования "История данных", однако штатных средств работы с ним в платформе при работе в режиме обычных форм не предусмотрено. Данная обработка предоставляет интерфейс для взаимодействия с механизмом истории данных, функционально сходный с интерфейсом, встроенным в платформу при работе в режиме управляемого приложения.

1 стартмани

12.01.2018    12371    46    Prometeus2011    8       

История формирования отчётов. (Используем новые возможности расширений в 8.3.11) 22

Инструменты и обработки Системный администратор Программист Расширение (cfe) v8::УФ v8::СКД УНФ ДО БП3.0 УТ11 ЗУП3.x Абонемент ($m) Журнал регистрации

Подсистема ведёт историю формирования отчётов и позволяет быстро подгрузить используется настройки в отчёт.

1 стартмани

28.11.2017    10400    16    SeiOkami    1       

Обработка данных + загрузка из табличного документа + удаление объектов + поиск и замена значений (управляемые формы) 28

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8::УФ 1cv8.cf Абонемент ($m) Чистка базы Поиск данных Универсальные обработки Загрузка и выгрузка в Excel

Простая и удобная обработка позволяет быстро выполнять множество операций над объектами базы данных с помощью запроса и скрипта обработки результата. Может загружать данные табличных документов во временные таблицы для последующей загрузки или для выборки данных по сложным условиям. Встроены обработки "Удаление объектов" и "Поиск и замена значений", в них можно передавать результаты запросов. Есть возможность сохранения скриптов и полученных результатов обработки. Часто использую для переноса данных между конфигурациями, когда результаты запроса в одной конфигурации загружаю этой же обработкой в другой. Скрипты с примерами прилагаются. Файлы xml открываются с закладки "Запрос, скрипт", файлы xmlf содержат все таблицы которые есть в обработке на момент сохранения, загружаются по кнопке "Загрузить все настройки". Примеры скриптов выложены в доступе

1 стартмани

19.04.2017    15463    196    fxmike    8       

Поиск и восстановление битых ссылок (обычная и управляемая форма) 8.2-8.3 26

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Абонемент ($m) Поиск данных Универсальные обработки Тестирование и исправление

Обработка для поиска и восстановления битых ссылок (Объект не найден). Адаптирована для конфигураций на обычных и управляемых формах 8.2 - 8.3

1 стартмани

08.04.2017    23196    308    Xershi    54       

Мониторинг баз данных 1С. Автоматизация обновления конфигураций 8

Инструменты и обработки Системный администратор Архив с данными Россия Windows Абонемент ($m) Журнал регистрации Администрирование данных 1С Распределенная БД (УРИБ, УРБД)

Если вы сталкивались с обновлением большого количества баз в рамках РИБ, то данная программа позволяет автоматизировать плановые обновления конфигурации, платформы на различном количестве физических\виртуальных серверов. Также администратор видит выполнение бекапов SQL информационных баз. Программа полезна, если у вас на поддержке большое количество РИБ 1С.

1 стартмани

05.04.2017    12004    10    vlkvlkvlk    6       

Журнал регистрации в MongoDB 18

Инструменты и обработки Системный администратор Архив с данными v8 1cv8.cf Абонемент ($m) Журнал регистрации

Хранение "журнала регистрации" в nosql базе. 1) Java-api 2) MongoDB 3) доработать конфу в нужных местах

1 стартмани

27.10.2016    12120    7    sockor    4       

Универсальный поиск объектов по глобальному уникальному идентификатору (ГУИД, GUID) 8

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Абонемент ($m) Поиск данных Универсальные обработки

Универсальная обработка поиска объектов информационной базы по глобальному уникальному идентификатору (ГУИД, GUID) или по его части.

1 стартмани

06.09.2016    23101    101    Dzenn    8       

Инструменты: v81_82_83: об./упр. формы. Отключение пользователей: файловый, кл-сервер. Запуск/Вход под другим польз-м. Поиск ссылок на объект СКД. Консоль запр. Отладка ВПФ и ОЗТЧ. Гр.печать, Перепровед-е немоноп-е и др.(Один архив) 21

Инструменты и обработки Программист Архив с данными v8 v8::УФ v8::СКД 1cv8.cf Россия Абонемент ($m) Поиск данных Администрирование данных 1С

Набор внешних обработок необходимый перед обновлением базы и проверки внесенных изменений после, которые сделал и пользуюсь уже несколько лет и периодически одной из них, да и не окажется под рукой.

1 стартмани

06.09.2016    12439    107    Светлый ум    48       

Сокращение журнала регистрации 1С: 8.3 162

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 1cv8.cf Windows Абонемент ($m) Журнал регистрации

Работа с журналом регистрации в 1С: 8.3 изменилась по сравнению с 8.2. Рассмотрим варианты автоматического и ручного обрезания журнала регистрации.

1 стартмани

06.04.2016    114586    461    solary    30       

Нечеткий поиск в справочнике. Версия 1.02 20

Инструменты и обработки Программист Внешний отчет (ert,erf) v8 1cv8.cf Windows Абонемент ($m) Поиск данных Обработка справочников

Для целей автоматического сопоставления справочников из разных баз данных при загрузке табличных частей документов была написана эта функция, к которой в итоге был прикручен визуальный интерфейс. На практике вполне оправдала себя и позволила за разумное время автоматически заполнять большие документы.

1 стартмани

19.01.2016    8872    51    sleeping07    18       

Подсистема "Журнал регистрации из форм объектов" 26

Инструменты и обработки Программист Пользователь Подсистема v8 v8::УФ 1cv8.cf Абонемент ($m) Сервисные утилиты Журнал регистрации Универсальные обработки

Возможность просмотра истории событий с объектом по журналу регистрации непосредственно из формы самого объекта. Подсистема актуальна для тех конфигураций, в которых по тем или иным причинам не используются собственные механизмы версионирования объектов (либо используются для узкоограниченной группы объектов).

2 стартмани

09.11.2015    12111    30    Bassgood    11       

Журналирование изменений свойств объектов 20

Инструменты и обработки Системный администратор Программист Конфигурация (md, cf) v8 КА1 БП2.0 ЗУП2.5 УПП1 Windows Абонемент ($m) Журнал регистрации

Доработка подойдет для любой конфигурации, где дополнительные свойства объектов хранятся в регистре сведений ЗначенияСвойствОбъектов

2 стартмани

22.08.2015    14861    4    echo77    1       

Просмотр документов, измененных задним числом 14

Инструменты и обработки Системный администратор Внешняя обработка (ert,epf) v8 УТ10 Россия Абонемент ($m) Журнал регистрации

Редактирование документов в 1С, проведенных задним числом, бывает необходимо для исправления ошибок в учете, но также является распространенным способом воровства в магазине. Поэтому важно максимально ограничить работу задним числом.

2 стартмани

12.08.2015    23627    47    ПерваяСистема    16       

Монитор журнала регистрации 127

Инструменты и обработки Системный администратор Программист Архив с данными v8 1cv8.cf Windows Абонемент ($m) Журнал регистрации Администрирование данных 1С WEB

Позволяет в режиме реального времени отслеживать активность пользователей, накапливать и оповещать о возникновении ошибок, которые попадают в журнал регистрации

2 стартмани

29.06.2015    35953    150    andy23    49       

Конвертация данных. Найдется все! И еще немного... 26

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8 КД Абонемент ($m) Поиск данных Инструментарий разработчика

Каждый разработчик, применяющий конфигурацию «1С:Конвертация данных», когда-нибудь обязательно сталкивается с проблемой поиска данных в правилах обмена и (или) регистрации данных.

2 стартмани

25.06.2015    22813    40    tomvlad    7       

Получить дату создания документа или элемента справочника (по UID) 21

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 v8::УФ КА1 БП2.0 ЗУП2.5 УТ10 Розница УПП1 Россия Windows Абонемент ($m) Поиск данных

Кто и когда создал документ? Когда сделали дубль товара? Данная обработка - сразу отвечает на вопрос когда? Дата создания документа или справочники (любой ссылки) - находит дату создания по уникальному идентификатору (UID) ссылки.

1 стартмани

21.03.2015    13568    67    Serg O.    18       

Универсальный поиск документов 8

Инструменты и обработки no Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Windows Абонемент ($m) Поиск данных

Для обычных и управляемых форм. Версия 1.15 Создана на 1С8.3, но в режиме совместимости с 8.2.16. Итоговые таблицы одинаковы на обоих закладках

1 стартмани

06.01.2015    17469    38    nikitin19819    10       

Поиск, восстановление битой ссылки, 8.3, v 0.2 20

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8 1cv8.cf Абонемент ($m) Поиск данных Тестирование и исправление

Обработка для работы с битой ссылкой, 8.3, v 0.1 Позволяет быстро найти и восстановить битую ссылку.

1 стартмани

24.10.2014    30797    306    infostart user    13       

Логирования объектов ИБ через журнал регистрации 2

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) Абонемент ($m) Журнал регистрации

В любой организации чаще всего возникает проблема манипуляции с документами и справочниками, целью которого чаще становиться покрыть рабочие косяки или по неосторожности. Но последствия таких действии приводят к разным серьезным проблемам от некорректных остатков до разбирательств на суде и в таких случаях обычно стандартные записи журнала регистрации не показывают детальные изменении. Чтобы в данном случае не усердствовать как Шерлок Холмс, предлагаю свой механизм логирования. Логирование сохраняет все данные объекта и можно легко вытащить для просмотра

1 стартмани

23.09.2014    8843    2    kumga99    5       

Получение запросом данных журнала регистрации хранящегося в SQLite 130

Инструменты и обработки Системный администратор Программист Конфигурация (md, cf) v8 1cv8.cf Абонемент ($m) Практика программирования Журнал регистрации

В статье показано как, используя новый функционал платформы, получать данные из журнала регистрации привычным запросом.

1 стартмани

17.09.2014    56892    208    rtnm    35       

Сравнение оборотно-сальдовой ведомости двух баз и поиск различий в операциях (проводках документов). 27

Инструменты и обработки Бухгалтер Внешний отчет (ert,erf) v8 БП2.0 УПП1 БГУ БУ Windows Абонемент ($m) Поиск данных Бухгалтерские Анализ учета

Если надо выяснить, какие операции по бухгалтерскому учету отличаются в двух базах - надо взять архивную копию базы на дату закрытия периода, или любую другую интересующую нас, и сделать сравнение оборотно-сальдовой ведомости рабочей базы и копии. Данная обработка позволяет быстро сделать сравнение оборотно-сальдовых ведомостей двух баз и найти различающиеся операции (документы и проводки).

1 стартмани

27.05.2014    20266    217    alex_4x    32       

Мастер поиска и удаления 46

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 1cv8.cf Windows Абонемент ($m) Чистка базы Поиск данных Универсальные обработки

Обработка предназначена для рекурсивного поиска ссылок на выбранный объект с возможностью "кустового" (рекурсивного) удаления всей связанной информации. Корректно работает с независимыми регистрами сведений, экспериментально добавлен режим удаления ключей аналитики в ряде типовых конфигураций (в частности поддерживается КА и УПП). Обработка внешняя, полностью автономная и универсальная. Незаменима на проектах, связанных с обменом данными с внешними системами.

2 стартмани

27.03.2014    31293    368    mbreaker    20       

Поиск и удаление неиспользуемых объектов 16

Инструменты и обработки Системный администратор Внешняя обработка (ert,epf) v8 1cv8.cf Windows Абонемент ($m) Чистка базы Поиск данных

Основой послужила обработка из публикации http://infostart.ru/public/77323/ Обработка для поиска и удаления неиспользуемых элементов справочников и документов. Позволяет интерактивно искать и помечать на удаление неиспользуемые элементы справочников и документы. Универсальная, работает в любой конфигурации на обычных формах.

1 стартмани

19.03.2014    11612    233    Рамзес    5       

Полнотекстовый поиск по значениям реквизитов 5

Инструменты и обработки no Архив с данными v8 Абонемент ($m) Чистка базы Поиск данных Обработка справочников

Обработка расширяет возможности Полнотекстового поиска, позволяя искать похожие элементы в ЛЮБЫХ Справочниках ЛЮБОЙ конфигурации по проценту совпадения значений выбранных реквизитов. Работает в Обычном и Управляемом режиме!!

1 стартмани

25.12.2013    31800    113    vladim-kul    8       

Качалка 87

Инструменты и обработки no Внешняя обработка (ert,epf) v8 1cv8.cf Россия Windows Абонемент ($m) Поиск данных Инструментарий разработчика WEB

Менеджер закачки и средство автоматизации обработки web-данных в одном флаконе. Интерактивный режим работы: фоновое скачивание, многопоточная фоновая проверка ссылок. Параллельное выполнение парсера, проверки, скачивания, редактирования списка и другие действия. Авто подключение через активный прокси. Индикация всех процессов: парсинга, проверки, скачивания, оставшегося времени, скорости (текущая и средняя), свободного места, состояния прокси соединения. Модульная структура: 3 парсера, 2 модуля скачивания, 2 экспорта, 1 печати. Экспорт в списки закачки для «Download Master», «ReGet». Список закачки в виде дерева значений – логическое структурирование данных, организация подпапок хранения. Печатная форма для дерева закачки на СКД. Веб-браузер: авто подбор парсера, история просмотра, «домашние страницы». Для программиста: легко расширяемых функционал (есть демо-модули для примеров); настраиваемый лог; авто подключение новых модулей в интерфейсе; открытый код. По возможности максимально применены сначала встроенные объекты 1С и затем ОС Windows (ПолеHTMLДокумента, ЧтениеXML и COM: WinHttp.WinHttpRequest, MSXML2.DomDocument, winmgmts). Не использовались: временные файлы, скрипты, внешние компоненты.

1 стартмани

06.09.2013    21536    153    TrashMaster    36       

Журнал регистрации на СКД (полностью программная реализация) 18

Инструменты и обработки Системный администратор Компонента, плагин (dll, vbs,..) v8 1cv8.cf Абонемент ($m) Журнал регистрации

Очередная вариация на тему отчет по журналу регистрации на СКД

1 стартмани

22.08.2013    21043    225    Жолтокнижниг    6       

Просмотр и анализ журнала регистрации (отчет на СКД) 90

Отчеты и формы Системный администратор Программист Внешний отчет (ert,erf) v8::СКД 1cv8.cf Абонемент ($m) Журнал регистрации

Отчет на базе системы компоновки данных (СКД) для просмотра записей журнала регистрации. В отчете можно использовать возможности СКД для вывода отчета в различных вариантах (список, таблица, диаграмма). Поддерживаются все возможности журнала регистрации (фильтры, получаемые колонки, максимальное количество записей).

2 стартмани

25.07.2013    51580    877    YPermitin    50       

Поиск ссылок на объект средствами SQL 21

Инструменты и обработки Системный администратор Внешняя обработка (ert,epf) v8 1cv8.cf Россия Абонемент ($m) Поиск данных Универсальные обработки

Поиск ссылок на объект средствами SQL. Применение: в любой конфигурации

1 стартмани

18.07.2013    13552    100    Cobranet123    21       

Поиск и замена дублирующихся элементов. Вариант использования обработок для Бухгалтерии 2.0 в Бухгалтерии 3.0 21

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 БП2.0 ЗУП2.5 УТ10 Россия Абонемент ($m) Сервисные утилиты Чистка базы Поиск данных

Потратив некоторое время на поиск обработки для склейки дублей в конфигурации Бухгалтерия 3.0, пришел к выводу, что поиск велосипеда дело совсем не хорошее. Решил поделиться "опытом" казалась бы очевидным, но иногда незаметным.

1 стартмани

28.05.2013    21200    251    Kosstikk    21       

Периодическая загрузка событий из журналов регистрации в базу MS SQL Server (с исходниками) 93

Инструменты и обработки Системный администратор Приложение (exe) v8 Windows Абонемент ($m) Журнал регистрации

Еще один вариант парсера файлов журнала регистрации для 8.2. Преимущества: 1) Читает файлы напрямую, что дает высокую скорость. 2) Знает, где остановилось чтение в прошлый раз, и начинает с этого места при следующем запуске. 3) Может работать и как windows-служба, и как обычное приложение.

1 стартмани

16.04.2013    33514    180    Aleksey.Bochkov    40       

Анализ и редактирование файлов журнала регистрации 1С 8.1/8.2 - ELF/LOG/LGF/LGP (v1.4 от 03.02.2014) 110

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 Абонемент ($m) Журнал регистрации

Обработка позволяет анализировать и редактировать типовые файлы журнала регистрации 1С. Поддерживаются форматы 8.1 - ELF/LOG и 8.2 LGF/LGP

1 стартмани

05.04.2013    82410    1493    Антон Ширяев    96       

Поиск данных по сотруднику 58

Инструменты и обработки Бухгалтер Внешняя обработка (ert,epf) v8 ЗУП2.5 УПП1 БУ Управление персоналом (HRM) Абонемент ($m) Поиск данных Универсальные обработки

Будет полезной для расчетчиков заработной платы при большом штате сотрудников. Поиск и отображение ВСЕХ документов созданных по указанному Физическому Лицу за период. Версия 1.2

1 стартмани

02.04.2013    7664    240    aseverin    37       

Готовое решение для протоколирования записи и удаления данных в регистре сведений 25

Отчеты и формы Системный администратор Программист Нет файла v8 1cv8.cf Абонемент ($m) Журнал регистрации

Представляю написанную мной процедуру, которая, будучи своевременно встроена в программу 1С Предприятие 8.2, позволит отследить внесение изменений (запись/удаление) в любом регистре сведений (или в нескольких регистрах одновременно). Процедура встраивается в конфигурацию путём добавления её в общий модуль, далее нужно создать подписку на событие ПередЗаписью требуемых регистров сведений и назначить эту процедуру обработчиком этого события.

1 стартмани

20.03.2013    15991    24    megatrend    8       

Поиск и замена дублирующихся элементов справочников с дополнительными полями поиска дубликатов 18

Инструменты и обработки Системный администратор Внешняя обработка (ert,epf) v8 1cv8.cf Windows Абонемент ($m) Чистка базы Поиск данных Обработка справочников

Это слегка доработанная стандартная обработка из УПП "Поиск и замена дублирующихся элементов справочников" с возможностью поиска дубликатов по нескольким реквизитам.

1 стартмани

14.02.2013    14232    620    jocker    18