Разделение базы данных Access. Разделение в Excel данных по столбцам Разделение данных

Механизм разделения данных позволяет хранить данные нескольких независимых организаций в одной информационной базе.

Это становится возможным благодаря тому, что общие реквизиты объектов конфигурации можно использовать не только как "одинаковый реквизит, который есть у всех объектов", но и как идентификатор того, что данные относятся к какой-то одной из нескольких независимых областей. Это можно объяснить на следующем примере.

Допустим в конфигурации существует общий реквизит "Организация". Это значит (упрощённо), что у каждого справочника, документа или другого объекта конфигурации также будет существовать реквизит "Организация".

При этом любой из пользователей информационной базы имеет доступ ко всем данным, которые хранятся в этой базе, независимо от того, какая организация указана, например, в том или ином документе.

Теперь укажем, что общий реквизит "Организация" будет являться разделителем.

Тогда (упрощённо) в информационной базе будет создано несколько независимых областей данных, в каждой из которых будут храниться данные только для одной конкретной организации:

Теперь, заходя в программу, пользователь будет получать доступ не ко всей информации, которая есть в информационной базе, а только к данным "своей" области, в данном случае к документам, справочникам и др. своей организации.

Возможен и другой вариант использования этого механизма, когда в информационной базе существует несколько независимых областей данных и наряду с этим существуют данные, которые доступны всем пользователям программы. Например, они содержат справочник банков, который одинаков для всех организаций.

В этом случае пользователь имеет доступ к "своей" области данных и к области неразделённых данных, которая является общей для всех пользователей.

Механизм разделения данных довольно гибок и универсален:

• он позволяет использовать не один, а несколько разделителей;
• существуют разные режимы использования разделяемых данных; они отличаются тем, как обрабатывается ситуация, когда значение разделителя не указано;
• использование общего реквизита в качестве разделителя может управляться в процессе работы программы из встроенного языка без изменения конфигурации; это называется условным разделением.

Параллельная обработка операций, выполняемых над базой данных (например, сканирования, соединения и сортировки), - это только одна сторона параллельной SQL-обработки; для линейного повышения скорости выполнения некоторых операций обработки часто требуется разделение данных (разбиение таблиц и индексов для хранения их на разных дисках). Как было сказано ранее, разделение данных – это распределение информации среди нескольких дисков для того, чтобы не допустить возникновения узких мест из-за ограниченной пропускной способности подсистем ввода/вывода отдельных дисков. Параллельные запросы, возможно, будут обработаны не лучшим образом, когда в них запрашиваются неразделенные данные. Например, на рис. 7 показано, что запрос на упорядоченное сканирование всех строк большой таблицы базы данных может выполняться медленно из-за ограничений, возникающих при работе с диском.

На рис. 7 представлена ситуация, называемая конвейерной параллельностью (pipelined parallelism ). Запрос обрабатывается параллельно, но эта параллельность ограничена "трубой" (" pipe " ) - пропускной способностью диска, на котором находится вся таблица. Чтобы избежать возникновения конвейерной параллельности в системе с параллельной SQL-обработкой, используется разделение данных. На рис. 8 показано, что тот же самый параллельный запрос может быть выполнен намного быстрее после того, как информация большой таблицы разделена среди нескольких дисков.

Способы разделения данных

Существует множество различных способов разделения данных. Ранее было рассказано, как использовать возможности Oracle8 по разделению таблиц и индексов для разбиения этих объектов на более мелкие и более управляемые части. При конфигурировании Oracleдля параллельной SQL-обработки мы настоятельно рекомендуем применять средства разделения таблиц и индексов по диапазонам, чтобы максимально повысить производительность используемой системы.

Оптимизатор запросов Oracle8 знает о разделении информации тех таблиц и индексов, которые были разбиты на части при помощи встроенного средства разделения данных. Например, если параллельному запросу требуются данные только одного раздела большой таблицы, оптимизатор запросов Oracleавтоматически отменяет сканирование всех других разделов этой таблицы.

К сожалению, при выполнении некоторых запросов нельзя извлечь выгоду из предлагаемого Oracle8 разделения данных по диапазонам. Другим распространенным способом разделения является карусельное (round - robin ) разделение. При этом сервер случайным образом распределяет строки таблицы среди доступных разделов таблицы. Карусельное разделение может ускорить выполнение любых параллельных SQL-запросов, так как данные не разделяются специально для того, чтобы обработать какой-либо запрос. Чтобы распределить физические области хранения информации базы данныхOracleсреди нескольких дисков, обычно применяют различные сервисы внешней операционной системы. Например, в большинстве операционных систем, работающих с многопроцессорными компьютерами, имеются специальные утилиты для чередования дисков (disk striping ), позволяющие случайным образом распределять блоки файлов операционной системы среди нескольких дисков. При использовании карусельного разделения информации баз данныхOracleрекомендуется применять такие утилиты.

Однажды мы обсуждали механизмы ограничения доступа пользователей в 1С и в частности .

Он позволяет разрешить пользователю работать не со всеми документами, а только с теми, в которых указана определенная организация или склад. Отборы производятся динамически, поэтому накладывают определенную нагрузку на работу базы данных.

Свойство общего реквизита-разделителя – Разделение пользователей 1С – позволяет установить доступность списка пользователей в зависимости от использования разделителей.

Если разделитель включен для пользователя, то он будет виден в списке пользователей в режиме 1С Предприятие – иначе не виден.

Таким образом можно организовать различные списки пользователей для различных частей базы.

Свойство общего реквизита-разделителя – Разделение аутентификации 1С – позволяет заводить пользователей с одинаковыми именами пользователя для разных частей базы.

Условное разделение 1С

Условное разделение 1С позволяет включать и отключать разделитель на основании данных базы. Таким образом можно создавать цепочки зависимых друг от друга разделителей динамически действующих в том или ином случае.

Чтобы включить условное разделение 1С – нужно указать в свойстве общего реквизита-разделителя – Условное разделение 1С – , который будет отвечать за определение факта включения разделения 1С.

Возможно использовать константу с типом булево или реквизит справочника с типом булево.

Важно – у этой константы/этого справочника нужно отключить использование (выбрать Не использовать) в составе разделителей, только тогда его можно будет выбрать.

Описание

Некоторые файлы базы данных могут быть разделены на два файла операционной системы (без учета индексных файлов). Такое разделение обычно применяется к файлам, содержащим быстро накапливающуюся информацию: расчетные листы , табель , путевые листы и т.п. Иными словами к первичным документам и накопителям.

• Текущая часть. Содержит данные за последний, относительно небольшой период времени. Большинство пользователей Системы имеет право доступа только к текущей части. Файл операционной системы имеет расширение ASB KEY).
• Архивная часть. Дополнение к текущей части. Вместе, архивная и текущая части, составляют полную базу данных. Доступ к архивной части регулируется назначением специальных прав . Файл операционной системы имеет расширение DAP (индексный файл – расширение KAP).

Преимущества регулярного проведения разделения файлов данных

• Небольшой объем текущего резервирования данных .
• Быстрое восстановление индексных файлов текущей части.

Недостатки размещения базы данных в двух частях

Стратегия разделения

В текущей части необходимо оставлять данные за такой истекший период, в котором весьма вероятно обращение к данным с целью модификации. Следует определить такой активный период для каждой из подсистем, в зависимости от практики использования той или иной информации.

1. Выполнить первоначальное разделение файлов данных.
2. Теперь текущие файлы (ASB) содержат информацию только за активный период.
3. Выполнить сжатие файлов ASB с помощью утилиты SQD.
4. Создать полную резервную копию базы данных .
5. По прошествии активного периода, выполнить очередное разделение файлов данных.
6. Перейти к пункту 2.

Для выполнения программ разделения файлов требуется:

• Убедиться в наличии свободного места на диске.
• Зарегистрироваться пользователем, входящим в группу AP_Admin или Eng.
• Зайти в Систему.
  • Установить требуемый период.
  • Выполнить ДП разделения файлов (либо из меню "Сервис" – "Администратор" - "Перенос данных за период" - "В архивные половины", либо из списка ДП). Выполнение разделения производится без конфликтов и не мешает обычной работе пользователей. В настоящее время реализовано разделение файлов для следующих подсистем:
    • FrRWS Путевая документация . Рекомендуемый активный период – 3 месяца.
    • FrSal Зарплата . Рекомендуемый активный период – 1 год.
    • FrMDc Товарные документы . Рекомендуемый активный период – 3 года.

Применение утилиты SQD

• Утилита SQD применяется для сжатия основного файла данных путем удаления записей, переброшенных в дополнительный файл или удаленных обычным способом. По умолчанию сжимаются файлы, в которых количество таких записей составляет 10 и более процентов.
• Запускается из командной строки в корне директории (или диска), в которой размещается Система:

Запуск АвтоПарк с доступом к архивным половинам

Запуск АвтоПарк с доступом к архивным половинам возможен только для администраторов и программистов проекта. Для входа в АвтоПарк с возможностью доступа к архивным половинам, необходимо запустить АвтоПарк из командной строки с ключом /A , либо с помощью ярлыка "АвтоПарк-Средства администратора-АвтоПарк с доступом к архивам".

Права пользователей на доступ к записям архивной половины

Права пользователей на чтение записей архивной половины

Права на чтение записей архивной половины устанавливаются такими же, как права на чтение записей текущей половины

Права пользователей на модификацию записей архивной половины

Права на модификацию записей архивной половины есть только у администраторов и программистов проекта

Относительно новая функциональная особенность 1С, отнесенная к облачным технологиям. После появления функционала компанией 1С была доработана БСП. Эти же доработки вошли в состав основанных на БСП типовые конфигурации, например, УНФ и УТ11.

Понадобилось организовать получение общих отчетов из нескольких филиалов с одинаковыми конфигурациями. Решил попробовать наработки из БСП в области разделения данных. Идея заключалась в том, чтобы загрузить данные каждого филиала в свою область данных и сформировать отчеты сразу для всех областей. Сразу скажу, что задачу решить пока не удалось, но сама попытка решения выявила проблемы и сомнительный функционал в БСП.

К статье приложена обработка, выносящая скрытый функционал операций с областями данных на отдельную форму.

В БСП предусмотрены два разделителя учета: ОбластьДанныхОсновныеДанные и ОбластьДанныхВспомогательныеДанные. Загадкой осталось, почему эти 2 разделителя ссылаются на одни и те же параметры сеанса: ОбластьДанныхЗначение, ОбластьДанныхИспользование.

Включение механизма

Если ваша самописная конфигурация основана на БСП, то, скорее всего, перед включением необходимо внедрить загадочную библиотеку "1С:Библиотека технологии сервиса". Странно, что даже Гугл не знает о таком продукте 1С. А в типовых конфигурациях процедуры ПроверитьВозможностьИспользованияКонфигурацииВМоделиСервиса в модуле РаботаВМоделиСервиса не существует. Скорее всего, найти недостающие части из этой библиотеки можно в типовых конфигурациях, выполненных на основе БСП. В частности, одна из подсистем называется СтандартныеПодсистемы > РаботаВМоделиСервиса > ВыгрузкаЗагрузкаДанных.

Механизм разделения данных включается через установку константы ИспользоватьРазделениеПоОбластямДанных. Можно установить через пункт меню Все функции.

Создание пользователей области данных

Этот пункт не обязателен, если используется вход в область данных через форму. В режиме конфигуратора создаются пользователи. Один пользователь с административными правами должен иметь во вкладке Разделение данных все неустановленные разделители данных. Для других пользователей во вкладке Разделение данных должен быть установлен разделитель Область данных основные данные. Этот разделитель должен быть явно указан в командной строке при запуске 1С.

Запуск 1С с параметром командной строки

Этот пункт не обязателен, если используется вход в область данных через форму входа.

1С можно запустить сразу в режиме разделения данных. Предусмотрен параметр командной строки /Z. Например, параметр «/Z-,+1» указывает, что 1С запускается со значением Области данных основные данные равным 1, разделитель Область данных вспомогательные данные не установлен.

Способ очень ненадежный. При запуске возникает ошибка в процедуре РаботаВМоделиСервиса. ПриПроверкеВключенияБезопасногоРежимаРазделенияДанных. Ничего лучшего, чем закомментировать эту процедуру, я не нашел. Процедура проверяет, есть ли у пользователя право менять текущую область данных, ограничены ли его права и влияет на безопасность.

Далее при запуске возникают несколько ошибок среди них: «Разделенным пользователям не может быть назначена роль Администратор системы», «Разделенным пользователям не может быть назначена роль Запуск толстого клиента».

Пользователь не найден в справочнике Пользователи - проблему победить не удалось. В традиционном сценарии Пользователь регистрируется при первом входе. Подозреваю, что при разделении данных Пользователи создаются через другое приложение 1C Fresh.

Заполнить регистр сведений Области данных

Для каждой области нужно заполнить запись в регистре сведений Области Данных, присвоив областям номера и статус «Используется». Обработки могут проверять наличие записей в этом регистре перед началом выполнения.

Вход в область данных

Администрирование - Сервис - Вход в область данных (ОбщаяФорма.ВходВОбластьДанных)

Позволяет пользователю сменить текущую область данных. Вход в область возможен от имени пользователя, запущенного без указания разделителей. При смене области данных проверяет ее статус в регистре сведений Области данных.

Выгрузка данных из области

Текущая область выгружается через ОбщаяФорма. ВыгрузкаДанных. До ее использования нужно выполнить вход в нужную область данных. Форма не выведена в интерфейс пользователя в раздел Администрирование.

Данные сериализуются конфигурацией в XML-формат и запаковываются в ZIP. То есть архивирование происходит не средствами 1С-конфигуратора, как традиционная выгрузка.

Загрузить данные в область

ОбщаяКоманда.ЗагрузитьДанныеВОбласть

Для появления в Администрирование-Сервис нужно через Конфигуратор в составе подсистемы НастройкаИАдминистрирование установить видимость.

Данные загружаются в выбранную область. До этого они должны быть выгружены в XML-формат.

Выводы

Не удалось запустить систему через задание разделителей в командной строке. Система отказалась работать из-за незарегистрированного пользователя в справочнике Пользователи. Добраться до справочника не получилось по той причине, что система не пускает пользователей с административными правами. Думаю, что этот сценарий предусматривает обязательную связь с 1CFresh.

Опыты с входами в разные области, выгрузкой и загрузкой областей были удачными. Неудача постигла при попытке выполнить запрос получения всех организаций для всех областей данных. Ошибка: «Нельзя использовать таблицу без указания всех разделителей с независимым использованием разделяемых данных». Отчет работает по одной области, если осуществить вход в какую-нибудь область.

Неясной осталась проблема, как выгрузить данные из базы без разделителей в определенную область данных другой базы.

Интересно было бы узнать о хитрой задумке авторов БСП относительно общих параметров сеансов для двух разделителей, если вызов будет с параметрами: «/Z-,+1», «/Z+1,+1» и «/Z+1,-».