Быстрое обезличивание информационной базы

Публикация № 1149906

Администрирование - Администрирование данных 1С - Чистка базы

быстрое обезличивание удаление свертка очистка

Обработка для формирования SQL-скрипта для быстрого обезличивания и очистки данных.

Предлагаю вашему вниманию внешнюю обработку-конструктор для подготовки SQL-скрипта, который может

  • Очищать текстовые реквизиты
  • Заменять значение текстовых реквизитов на GUID
  • Удалять таблицы

При первом открытии надо нажать кнопку "Заполнить дерево МД". В дерево попадут:

  • все объекты, имеющие табличную сущность: основные реквизиты, табличные части, изменения...
  • все реквизиты, имеющие текстовый тип данных

Ставим где нужно флаг "Кодировка" и выбираем доступное для объекта действие. В поле "Запрос SQL" будет появляться собственно сам текст запроса. 

Текст можно скопировать и выполнить в SQL Server Management Studio, не забыв при этом указать целевую базу. Длительность работы скрипта исчисляется минутами, а не часами и днями, если делать то же самое средствами платформы. В скрипте применяются команды UPDATE и TRUNCATE TABLE.

Настройки можно сохранить в файл и восстановить.

Обработка тестировалась на платформе 8.3.12.1567.

В качестве дисклаймера:

  • перед запуском скрипта еще раз тщательно проверьте, что указана правильная база. И эта база точно не продуктив (!), а копия, которую вы решили передать внешнему миру. И сделайте полную копию,  т.к. TRUNCATE TABLE - быстро чистит таблицу, но не оставляет следов в журнале транзакций, так что в случае чего откатить не удастся.
  • обработка сама не меняет данные, полученный скрипт не меняет структуру, но всё же вносит изменения в содержимое базы данных нештатными средствами, поэтому - применяя скрипт к 1С-базе вы нарушаете лицензионное соглашение!
  • возможно кто-то скажет, что это реплика, так и есть! Я честно скачал несколько похожих обработок с ИС, но ни одна из них меня не устроила, ни по функционалу, ни по удобству. Поэтому пришлось написать свою.

Скачать файлы

Наименование Файл Версия Размер
Быстрое обезличивание информационной базы:
.epf 11,33Kb
05.11.19
17
.epf 1 11,33Kb 17 Скачать

Специальные предложения

Комментарии
Избранное Подписка Сортировка: Древо
1. ktb 357 07.11.19 09:57 Сейчас в теме
(0) Я бы добавил "красненьким", что это только для тех кто понимает, что делает. :-)
dim9; dj_tol; barelpro; +3 Ответить
4. zzz_natali 59 07.11.19 10:55 Сейчас в теме
(1) Ну, кто добрался "до сладкого", то бишь до манажамент студио, тот уже понимает, что делает. :)
13. dj_tol 93 11.11.19 07:52 Сейчас в теме
(1)и жирненьким и мигающим.
2. nomad_irk 47 07.11.19 10:07 Сейчас в теме
А обычную форму и формирование скрипта для Postgres сделаете? :)
3. barelpro 1119 07.11.19 10:16 Сейчас в теме
(2)

У меня нет постгресса, не на чем будет тестировать, он еще редко встречается...
С обычной формой наоборот - уже редко встречается...
Но если найдутся желающие взять мою обработку за основу для такого развития - я не против!
5. zzz_natali 59 07.11.19 11:03 Сейчас в теме
(3) Если проанализировать родной одинэсовский запрос в profiler'е, то там не всё так однозначно. Скажем, очистка адресного классификатора в УПП выглядит так:
DELETE FROM T1
FROM dbo._InfoRg19091 T1
SELECT DISTINCT T1._Fld19325_TYPE, T1._Fld19325_RTRef, T1._Fld19325_RRRef, T1._Fld19326
FROM dbo._InfoRg19324 T1
Прокомментируете или пофиг(трункатим скопом, а потом смотрим, жива таблица или амба)?
6. barelpro 1119 07.11.19 11:19 Сейчас в теме
(5) Видеть бы еще ваш УПП, что за имена МД стоят за _InfoRg19091 и _InfoRg19324 ? )

Кстати, с удалением ссылочных объектов надо быть осторожнее в моей обработке, т.к. могут появится битые ссылки. Да и всякие зависимые таблицы (типа итогов и оборотов регистров) тоже не удаляются.
Это уже другая должна быть обработка - обрезка базы, немного другой подход.
Моя цель была - удалить или скрыть информацию, представляющую коммерческую тайну
8. zzz_natali 59 07.11.19 11:37 Сейчас в теме
(6)
InfoRg19091 - таблица КЛАДРа
InfoRg19324 - регистр сведений версии объектов(у нас версионирование включено)
Да, согласна: с наскока не будет выигрыша, хотя подрихтовать базу от битых ссылок можно через конфигуратор с помощью тестирования/исправления
7. Danil.Potapov 429 07.11.19 11:34 Сейчас в теме
(5) TRUNCATE ничего не знает о saas от 1с, поэтому платформа использует DELETE.
9. Yashazz 2985 10.11.19 15:32 Сейчас в теме
Не-е-е. Делать обфускатор на уровне СУБД - это к восстановлению битой базы и долгому интенсивному интиму...
10. barelpro 1119 10.11.19 16:44 Сейчас в теме
(9) Конечно, если менять ссылочные реквизиты, а тут только строковые
11. Yashazz 2985 10.11.19 17:16 Сейчас в теме
(10) Всегда есть шанс цепануть что-то критическое...

Я для себя иначе поступил - написал конфу, которая берёт пустую cf и генерирует стендово-тестовое наполнение по заданным правилам. С тех пор базы у заказчиков не прошу, а прошу лишь логику и статистику их наполнения.

А обфускацию лучше имхо на уровне платформы делать.
Kolunya; barelpro; +2 Ответить
12. barelpro 1119 10.11.19 18:05 Сейчас в теме
(11) Ну это если вы на стороне подрядчика. А если вы на стороне заказчика хотите дать внешнему подрядчику базу, и у вас нет такой волшебной обработки? )
14. Fox-trot 109 11.11.19 08:13 Сейчас в теме
(12) или тебя по-твоему незаслуженно уволили
лол
15. fart07 09.12.19 09:51 Сейчас в теме
Отличная обработка, как раз нужно было быстро обезличить большую базу. Чуть модифицировал под обычные формы.
barelpro; +1 Ответить
Оставьте свое сообщение

См. также

Подборка решений для взаимодействия со ФГИС «Меркурий» Промо

С 1 июля 2019 года все компании, участвующие в обороте товаров животного происхождения, должны перейти на электронную ветеринарную сертификацию (ЭВС) через ФГИС «Меркурий». Инфостарт предлагает подборку программ, связанных с этим изменением.

Простая обработка удаления помеченных объектов (управляемые и обычные формы)

Инструменты и обработки Программист Пользователь Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Абонемент ($m) Чистка базы

Обработка удаляет объекты, помеченные на удаления, а также связанные объекты (в том числе ключи регистров сведений), если на них нет дополнительных ссылок. Доступны опции удаления определенного количества объектов и удаления до определенной даты.

1 стартмани

31.01.2020    619    6    w.r.    1       

Сдача регламентированной отчетности из программ 1С Промо

Сдача регламентированной отчетности из программ "1С" во все контролирующие органы без выгрузок и загрузок в другие программы. Для групп компаний действуют специальные предложения.

от 1500 руб.

Удаление движений документов

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Абонемент ($m) Чистка базы Обработка документов

Обработка для удаления движений документов, управляемые формы.

2 стартмани

23.01.2020    733    3    wowik    4       

Удаление неиспользуемых элементов справочника (обычные и управляемые формы)

Инструменты и обработки Программист Пользователь Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Абонемент ($m) Чистка базы Обработка справочников

Обработка позволяет получить ссылки на используемые элементы справочника (кроме предопределенных), помечать их на удаление и удалить из базы (без проверки целостности данных).

1 стартмани

09.01.2020    867    4    Diana.dedov.91    0       

Базовый курс по обмену данными в системе 1С:Предприятие. Онлайн-интенсив с 12 по 28 мая 2020 г. Промо

Данный онлайн-курс предусматривает изучение механизмов платформы “1С:Предприятие”, обеспечивающих обмен данными между различными прикладными 1С-решениями и взаимодействие с другими информационными системами. Курс предназначен для тех, кто уже имеет определенные навыки конфигурирования и программирования в системе “1С:Предприятие”.

5500 рублей

Удаление помеченных на удаление объектов без контроля ссылочной целостности (управляемые формы)

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Абонемент ($m) Чистка базы

Когда надо подчистить базу, а ссылки на удаляемые объекты все лезут и лезут. Особенно тяжело с объектами ЭДО. Управляемые формы.

2 стартмани

12.12.2019    1260    14    papche    7       

Очистка кэша баз из 1С (обычные и управляемые формы)

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Windows Абонемент ($m) Чистка базы

Обработка очищает кэш нескольких баз из 1С (обычное и управляемое приложение), кроме текущей базы (в которой открыта обработка).

1 стартмани

12.12.2019    1962    12    Diana.dedov.91    0       

Онлайн-курс "Подготовка к экзамену 1С:Эксперт и 1С:Профессионал по технологическим вопросам" с 7 по 24 апреля 2020 г. Промо

На курсе вы получите практические навыки решения задач производительности 1С, в том числе характерных для высоконагруженных информационных систем (более 1000 пользователей). Подготовка к экзамену – только одна из составляющих курса. 70% слушателей приходят за знаниями, которые позволят расти и зарабатывать, делать сложные задачи на крупных проектах.

16450 рублей

Готовые переносы данных из различных конфигураций 1C Промо

Рекомендуем готовые решения для переноса данных из различных конфигураций 1C. C техподдержкой от разработчиков и гарантией от Инфостарт.

Свертка БД 1С: обрезка до выбранной даты средствами MS SQL

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Россия Абонемент ($m) Свертка базы Чистка базы

Внешняя обработка, позволяющая произвести анализ размера БД и грубую обрезку данных до выбранной даты средствами MS SQL. Управляемые формы, 1С:Предприятие 8.3 (8.3.9.1818).

1 стартмани

15.11.2019    5138    69    dmitrydemenew    27       

​​​​​​​CorelDRAW Graphics Suite 2019 Промо

CorelDRAW – пакет профессиональных инструментов для редактирования фотографий, разработки дизайна, создания макетов страниц и векторных иллюстраций

Удаление движений документа

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8::УФ 1cv8.cf Россия Абонемент ($m) Чистка базы Обработка документов

Обработка удаления движений документа. Может быть полезна для удаления движений документа, с признаком: удаление движений - не удалять автоматически.

1 стартмани

15.10.2019    1619    14    Andry_m    4       

Изменение записей независимых регистров сведений (УФ)

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Абонемент ($m) Универсальные обработки

Обработка предназначена для очистки или удаления (изменения) предварительно отобранных записей независимых (не подчиненных регистраторам)  регистров сведений.

1 стартмани

08.10.2019    1574    Hitcher    0       

Программы для исполнения 488-ФЗ: Маркировка товаров Промо

1 января 2019 года вступил в силу ФЗ от 25.12.2018 № 488-ФЗ о единой информационной системе маркировки товаров с использованием контрольных (идентификационных) знаков, который позволяет проследить движение товара от производителя до конечного потребителя. Инфостарт предлагает подборку программ, связанных с применением 488-ФЗ и маркировкой товаров.

Очистка хранилища системных настроек (управляемые формы, неуправляемые формы)

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Абонемент ($m) Чистка базы

Обработка покажет хранилища системных настроек, что в них находится и у какого пользователя. Вы можете выбрать нужные хранилища и удалить

1 стартмани

02.10.2019    2008    1    paulis    0       

Очистка базы данных 1С от данных по организациям прямыми SQL-запросами к СУБД

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8 1cv8.cf Абонемент ($m) Чистка базы

Работа с помощью прямых запросов в случае, когда нельзя, но очень необходимо.

10 стартмани

20.09.2019    7047    32    nomad_irk    53       

Новый раздел на Инфостарте - Electronic Software Distribution Промо

Инфостарт напоминает: на нашем сайте можно купить не только ПО, связанное с 1С. В нашем арсенале – ESD-лицензии на ПО от ведущих вендоров: Microsoft, Kaspersky, ESET, Dr.Web, Аскон и другие.

  • Низкие цены, без скрытых платежей и наценок
  • Оперативная отгрузка
  • Возможность оплаты с личного счета (кешбек, обмен стартмани на рубли и т.п.)
  • Покупки идут в накопления для получения скидочных карт лояльности Silver (5%) и Gold (10%)

Поиск элементов справочника без ссылок на них в информационной базе и удаление

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Россия Абонемент ($m) Чистка базы Поиск данных

Обработка для УФ позволяет выбрать любой справочник в конфигурации и найти все объекты этого справочника, на которые нет ссылок в других объектах, и удалить их.

1 стартмани

17.09.2019    1647    11    Neuroproton    0       

Базовый курс по управлению ИТ-проектами. Курс проходит с 26 февраля по 22 апреля 2020 года. Промо

Отличительная черта курса - органичное сочетание трех вещей: 1.Теория проектного управления (PMI®+Agile Alliance+Российские ГОСТ+Методологии от 1С); 2. Опыт внедрения продуктов 1С (опыт франчайзи и успешных компаний + тренды Infostart Event и Agile Days); 3. Разбор реальных проблем и рекомендации экспертов по проектам слушателей. Мы будем фиксироваться на тех инструментах, которые реально оказываются полезными в практике руководителей проектов внедрения. Ведущая курса - Мария Темчина.

от 11000 рублей

Чистка баз данных (удаление документов, записей регистров) - все и с отбором по организации

Инструменты и обработки Программист Пользователь Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Абонемент ($m) Чистка базы

Обработка позволяет помечать к удалению документы за указанный период или все, справочники, по выбранному типу. Также позволяет их удалять через обработку и без проверки целостности (напрямую). Также позволяет очищать все виды регистров. Тем самым дает возможность частичной и полной чистки базы и удалять объекты, которые не удаляются типовыми средствами. Допускается возможность отбора записей и документов по отдельной организации.

2 стартмани

09.08.2019    2955    20    vik070777    12       

Удаление данных по организации в управляемых формах

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Абонемент ($m) Чистка базы

Обработка предназначена для удаления неиспользуемой организации и данных по ней.

1 стартмани

26.07.2019    1938    8    ranis888    0       

INFOSTART MEETUP Kazan. 13 марта 2020 г. Промо

Инфостарт продолжает путешествие по России. Следующая остановка - Казань. Тема мероприятия - управление и технологии автоматизации учета на платформе "1С: Предприятие". Ждем всех: докладчиков и участников! Стоимость участия - 5 500 рублей. Цена действительна до 30.01.2020

5 500

Пакетное удаление персональной информации из файлов Excel и Word

Инструменты и обработки Программист Бухгалтер Пользователь Внешняя обработка (ert,epf) v8::УФ 1cv8.cf Абонемент ($m) Чистка базы

Внешняя обработка для пакетного удаления персональной информации из файлов .doc, .docx, .xls, .xlsx

1 стартмани

24.07.2019    1480    wonder_boy    0       

Удаление ненужных сообщений в УТМ ЕГАИС

Инструменты и обработки Программист Пользователь Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Розничная и сетевая торговля (FMCG) Россия УУ Розничная торговля Абонемент ($m) Чистка базы

Порой при получении сообщений из ЕГАИС товароучетная система ругается на ответы ЕГАИС, для которых не найден запрос. В большинстве случаев это ответы на запросы, отправленные другими устройствами (ATOL HUB-19, Эвотор и т.п.). Чтобы не засорять учетную систему и не занимать её время обработкой ненужных сообщений, в публикации рассмотрен способ их удаления перед обработкой нужных сообщений из ЕГАИС.

1 стартмани

12.07.2019    2749    vasilievil    0       

Голосование за доклады на INFOSTART MEETUP Kazan - до 25 февраля. Промо

Выбирайте и голосуйте за самые интересные доклады! Лучшие из лучших попадут в окончательную программу казанского митапа. Оставить свой голос можно до 25 февраля 2020 года.

Удаление всех документов за период в обычном и управляемом приложении

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Windows Абонемент ($m) Чистка базы Обработка документов

Обработка удаляет (или помечает на удаление) все документы в любой конфигурации на обычном и управляемом приложении.

1 стартмани

26.06.2019    2014    14    diar01    0       

Управление ИТ-проектами. Модуль 2: продвинутый онлайн-курс по классическим методам управления проектами. Вебинары проходят с 12 марта по 11 июня 2020 года. Промо

Продвинутый онлайн-курс по классическому управлению ИТ-проектами позволит слушателям освоить инструменты из PMBoK® и 1С:Технологии корпоративного внедрения и научиться их применять для проектов любого масштаба. Курс включает в себя 12 вебинаров и 12 видеолекции, разбор кейсов и рекомендации экспертов по проектам слушателей. Ведущая курса - Мария Темчина.

от 13000 рублей

Универсальное удаление выбранного объекта 8.2 - 8.3 на управляемых формах

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Абонемент ($m) Чистка базы

Данная обработка просто хороший, удобный удалитель выбранного объекта через "ОбменДанными" с кучей дополнительных возможностей. Выгода использования данной обработки особенно ярко проявляет себя, когда у вас стоит подписка на события или другой код препятствующий удалению, но вам абсолютно необходимо удалить данный объект ввиду возможности его случайного использования. И вам нет необходимости выходить из режима 1С:Предприятия, входить в конфигуратор, менять отлаженный код блокировок и подписок на события. Таким образом осуществляется "горячее" удаление объекта.

1 стартмани

17.06.2019    2922    7    AlexandrSmith    0       

Поиск и замена данных 8.3 с пометкой на удаление

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8::УФ 1cv8.cf Россия Абонемент ($m) Чистка базы Поиск данных

Данная публикация появилась в результате постоянной работы с различными базами при помощи стандартной обработки ("Поиск и замена данных"). Обработка тестировалась на версиях 8.3.x до 8.3.15. На последнем бета образце 8.4 тестировалась так же.

1 стартмани

02.04.2019    2566    10    AlexandrSmith    1