Распределенная файловая система: описание, особенности, преимущества

Опубликованно 18.03.2019 12:27

Распределенная файловая система играет роль отдельной системы, которая отвечает за доступ к файлам по сети, обеспечения доступности и целостности данных на большинстве серверов машин. Аналог сетевой платформой считается традиционной локальной файловой системе, проверка устройств массовой памяти, размещенных на ПК. Основы сетевой БД

Эти элементы принадлежат к сети файловые системы и обеспечивают доступ к серверам. С их помощью пользователь имеет возможность сформировать весь брандмауэр файловой системы. Она включает в себя различные инструменты для серверов.

Распределенные файловые системы (RFS) обеспечивает зеркалирование, репликация и резервное копирование базы данных на всех дисках, которая позволяет разработчику изменять собственные файлы, удалить или сохранить настройки.

Существует несколько РФС, которые варьируются в приложения, интерфейса и протокола, а также различные функции, такие как кэширование, запись, звук, мульти-использования в локальных сетях. Потому что пропускной способности распределенных файловых систем для кластеров чрезвычайно низким, эти приложения имеют специальную систему со скоростью передачи данных более 100 МБ/с. Это, в частности, Global system (GFS) и его общей системы (GPFS).

РФС иерархически структурирована и имеет единственный, логика соглашения об именах. Это сетевой протокол, который позволяет пользователю получить доступ к вашим файлам, не зная местоположение сервера. Центральная структура дерева упрощает поиск файлов в любой компании. Они сохраняются избыточные и полностью доступны даже в случае сбоя основного жесткого диска. В более широком смысле, под RFS означает сетевой протокол доступа к файловой системе.

Примеры: Сетевая файловая система (NFS). Общая файловая система интернета (CIFS), расширение блока сообщений сервера (SMB). Протокол подачи Apple (AFP) и Apple. Протокол NCP (NetWare Novell.

Известными реализациями РФС являются: DFS в Windows Microsoft. Распределенная файловая система DFS со стандартом Microsoft в операционных системах сервера. Она появилась в Windows NT4 и был отправлен с Windows 2000 Server. В Windows Server 2003 на сервер были добавлены или улучшены, такие как несколько корней DFS. Andrew File System (AFS), для которых существует несколько производителей, в рамках проекта «Распределенной вычислительной среде». DCE Консорциума Open Group как продолжить развитие AFSCoda, разработанная в Университете Карнеги-она их. BeeGFS / FhGFS для кластеров и приложений HPCGlusterFS, для всех POSIX-совместимых операционных систем. Файловая система Hadoop обеспечивает объекты, блок и хранения файлов, ядро Linux, gnu LGPL.XtreemFS, RFS POSIX-совместимым интерфейсом. В Google file system (GFS, GoogleFS) Google, основанная на Linux, оптимизированный для высокой пропускной способности данных.

Сравнение распределенных файловых систем.

Услуги и типы услуг, системы

Эта система предлагает следующие услуги: Обслуживание хранилища. Распределение и управление пространством на устройстве хранения, обеспечивая, таким образом, логика системы хранения. Реальный обмен файлов. Включает в себя семантику совместного использования файлов, механизм кэширования, репликации, управления, конкуренции, протокола резервного копирования несколько копий. Услуги имя каталога. Ответственность за действия, связанные с каталог: создание и удаление папок, добавление нового файла в каталог, удаление каталогов, переименование, перемещение в другую директорию.

Необходимые функции RFS: Прозрачности. Клиенты распределенной файловой системы DFS не должны знать количество или расположение файловых серверов и устройств хранения данных. Многие файловые серверы обеспечивают производительность, масштабируемость, надежность и прозрачность доступа. Как локальные, так и файлы должны быть доступны таким же образом. Система должна автоматически найти доступный и загрузить его на сайт клиента. Имя файла не должно указать местоположение файла. Он не должен меняться от одного узла к другому. Если файл реплицируются на несколько узлов, тем, иметь несколько копий и их расположение должны быть скрыты от клиентов. Мобильность автоматически приводит в действие пользователя окружающей среды, например, каталог, пользователя, сайта, к которому он принадлежит. Производительность измеряется, как среднее время, необходимое для удовлетворения запросов клиентов. Это время cpu + время, чтобы добраться до шестеренки хранения + время доступа к сети. Желательно, чтобы производительность распределенной файловой системы Windows является сопоставимой производительности централизованной системы. Пользовательский интерфейс системы очень просто, однако, количество команд должно быть как можно меньше. Масштабируемость, рост узлов, и пользователи не должны быть серьезно нарушить работу службы. Высокая доступность ЕВРО должна продолжать работать в случае поломки частичных, как, например, сбой связи, сайта или диск, и должна иметь некоторое количество файловых серверов, управляющих несколькими устройствами хранения данных. Высокая надежность. Вероятность потери данных, хранящихся должно быть сведено к минимуму. Система должна автоматически создавать резервные копии важных файлов. Целостность данных обеспечивается параллелизма запросов на доступ нескольких пользователей, которые конкурируют за доступ и должны быть правильно синхронизированы с помощью механизма управления различные формы. Пользователи должны быть уверены в конфиденциальности своих данных. Неоднородность ЕВРО, должен быть обеспечен легкий доступ к общим данным на различных платформах, например, рабочей станции Unix, платформы Wintel и другие. Модель транспорт блок

Файловые системы, которые используют модели кэширования данных, важной проблемой проектирования является выбор единицы передачи данных. Он относится к доле миграции и формируется клиентов после операции чтения или записи.

В модели передачи данных на уровне файлов, когда данные должны быть переданы, весь файл будет перемещен. Преимущества модели: Файл должен быть передан только один раз в ответ на запрос клиента и, таким образом, он является более эффективным, чем перенос со страницы на страницу, которая требует большего числа сетевых протоколов. Снижает нагрузку на сервер и сетевой трафик, так как он обращается к серверу только один раз. Это повышает масштабируемость. Когда файл кэшируется на клиентском компьютере, веб-сайт, он не застрахован от сбоев сервера и сети.

Недостатки модели: Нужно достаточно места для хранения данных на клиентской машине. Этот подход не подходит для очень больших файлов, в частности, когда клиент без жесткого диска рабочей станции. Если вы хотите только небольшая часть файла, удаление всего файла, это бесполезно. Передача файлов происходит в блоках. Это его часть прилегает и имеет фиксированную длину, а также может быть равным размеру страницы виртуальной памяти.

Для модели передачи блока данных является байт. Модель обеспечивает максимальную гибкость, поскольку она позволяет хранить и извлекать произвольный объем файла с заданным смещением и длиной. Недостатком является то, что управление кэшем сложнее из-за данных переменной длины для различных обращений.

Модель транспорта на уровне написания структурированных файлов, и блок передачи, записи. Несколько пользователей могут одновременно получать доступ к общим файла. Важной проблемой проектирования для любой файловой системы является определение того, когда изменения файлов данных, созданных пользователем, наблюдается и для других пользователей. Форма и расположение кэша

Каждый распределенная файловая система, Windows использует свою форму кэширования.

Причины создания кэша: Лучшая производительность, так как неоднократные обращения к той же информации, рассматриваются дополнительные сети доступа и передачи. Это потому, местности в модели доступа к файлам. Повышает масштабируемость и надежность ЕВРО, так как данные могут быть удаленно кэширования на клиентском сайте.

Основные решения, которые должны быть приняты в схеме кэширования РФС: Расположение кэша. Изменение распределения. Проверка кэш-памяти.

Расположение кэша относится к месту для хранения данных в кэше. Предполагая, что исходное расположение файла на диске сервера. В РФС есть еще несколько возможных мест кэша: Основной памяти сервера. В этом случае, кэш находится в сети доступа. Это не способствует масштабируемости и надежности системы, так что каждый кэш-клик требует доступа к серверу. Преимущества метода - простота реализации, прозрачности для клиентов, простоте и безопасности исходного файла в кэш. При использовании клиентского диска, кэш находится на диске. Это немного медленнее, чем кэш в оперативной памяти сервера. Преимущества распределенных файловых систем в случае использования клиентского диска обеспечивает надежность от сбоев, так что изменение данных в кэше теряется в случае неудачи. Этот параметр большой емкости, обеспечивает масштабируемость и надежность, так как в кэше удаленного доступа может использоваться локально, без доступа к серверу. Изменение распределения

Когда кэш находится на сайтах клиентов, данных, файл может быть кэширован на нескольких сайтах. Может быть, что кэш становятся несогласованными, когда файл данных разных клиентов, и кэшированных данных в другие узлы не изменяются и не отклонены.

Есть две проблемы с конструкцией: При распространении изменений в кэшированных данных на файловый сервер. При проверке достоверности данных в кэше.

Структура распределения изменения критически влияет на производительность и надежность системы.

Метод «Схема написания» применяется в случаях, когда запись кэша изменяется, новое значение немедленно отправляется на сервер для обновления основного файла. Преимущества метода высокая степень надежности и пригодности для UNIX семантики. Это связано с тем, что риск обновления утерянных данных в случае сбоя клиента, очень низкая, потому что каждое изменение затрагивает сразу на сервер, который имеет основной копии.

Недостаток этой системы подходит только в том случае, когда соотношение чтения к записи, это очень важно. Он не уменьшает сетевой трафик для записи. Это обусловлено тем, что каждый доступ на запись должен ждать, пока данные будут записаны на копирование основного сервера. Схемы с задержкой записи

Для уменьшения сетевого трафика для записи, используется схема с задержкой регистрации. В этом случае новое значение данных записывается только в кэш, и обновляются все записи кэша, отправляются на сервер позже.

Существует три часто используемых подхода с задержкой регистрации: Сохранение при выходе кэш-памяти. Изменение данных в кэше отправляются на сервер только тогда, когда политики замены кэша, решил извлечь из памяти данные кэша. Это может привести к хорошей производительности, но может быть проблема надежности, так как данные сервера стареют в течение длительного времени. Периодические записи. Кэш периодически проверяется, и все данные, которые были изменены с момента последнего сканирования, отправляются на сервер. Закрытия. Изменение данных в кэше, отправляется на сервер, когда пользователь закрывает файл. Это мало помогает в снижение сетевого трафика для файлов, которые открыты в течение очень коротких периодов времени, или которые редко изменяются.

Преимущества модели с задержкой регистрации: Запись выполняется быстрее, потому что новое значение записывается только в кэш клиента. Это приводит к увеличению производительности труда. Измененные данные могут быть удалены, прежде чем пришло время отправить их на сервер, например, временные данные. Поскольку изменения не должны применяться к серверу, он является существенное повышение показателей работы. Сбор всех обновлений файлы и отправлять их на сервер более эффективен, чем отправка каждого обновления отдельно.

Отсутствие схемы с задержкой записи - надежность по-прежнему может быть проблемной, так как изменения в очереди на сервер кэша клиента, будут потеряны. Репликация, как механизм доступности

Высокая доступность-это нужная функция хорошо распределенной файловой системы, и репликации файлов, является основным механизмом улучшения доступности файлов.

Репликация файл-это файл, который имеет несколько экземпляров, каждый из которых на отдельном сервере.

Разница между репликация и кэширование Реплики файл, связанный с сервером, то что это не копия, как правило, ассоциируется с клиентом. Наличие кэшированной копии, в первую очередь, в зависимости от расположения в модели доступа к файлам, в то время как наличие реплики являются, как правило, зависит от требований к доступности и производительности. По сравнению с этот свитер копия реплика является более постоянным, широко известной, безопасной, доступной, полной и точной. Копию в кэш-памяти зависит от реплики. Только путем периодической проверки в отношении реплики может быть полезно, что это не копия.

Преимущества репликации: Увеличение доступности. Альтернатива копирования реплицированных данных могут быть использованы при копирование не доступно. Повышение надежности. Из-за наличия избыточных файлов данных в системе, становится возможным восстановить катастрофических сбоев, например, сбоя жесткого диска. Улучшение времени отклика. Он позволяет получить доступ к данным, либо локально, либо хозяин, который имеет время доступа меньше, чем время доступа к услугам копирования. Снижение сетевого трафика. Если копия файла с файлового сервера, который расположен на сайте клиента, запрос на доступ от клиента, могут быть обработаны локально, что приводит к уменьшению сетевого трафика. Улучшения пропускной способности системы. Несколько запросов клиентов получить доступ к файлу, могут быть обработаны одновременно на разных серверах, что приводит к увеличению пропускной способности системы. Повышение масштабируемости. Для обработки заявок клиентов, у вас есть несколько серверов, из-за репликации файлов. Это повышает масштабируемость. Настройки клиента при отключении

Частой проблемой при использовании системы DFS сообщение «Офлайн клиент DFS». Microsoft имеет решение этой проблемы, для этого, вам необходимо включить клиента на сервере, например, Windows Server 2012 R2.

Алгоритм действий: Открыть "Диспетчер сервера" и выбрать «Управление DFS» на вкладке «Инструменты», если пользователь не может найти его, вы должны добавить функцию DFS Namespace. Один щелчок мыши и выбрать «Нового пространства имен», запускается мастер. Указать имя хоста, называть пространство имен DFS. Нажать кнопку «Создать», и пространство имен DFS. Включают общие папки DFS. Выбрать пространство имен и нажмите на папку New Folder. Объединить несколько папок в одну виртуальную папку. Вы можете видеть, созданная путь \Domain_NameNamespace_NameVirtual_folder_name. После этого сообщения «служба dfs не установлен», и больше действовать для пользователя не будет. Система совместного использования ресурсов сети Linux

NFS-наиболее распространенная файловая система для совместного использования ресурсов сети. Наиболее распространенной версии NFS v2. Это распределенная файловая система Linux ведет себя как уровень локальной файловой системы. Удаленный доступ к файлам осуществляется через вызовы RPC. Он не заботится о состоянии сервера, доступен или вне досягаемости и использует очень мало технологий кэширования файлов. Кроме того, безопасность этой системы основана на доверии клиента. Действительно, это-идентификатор клиента, который передается для ознакомления с правами доступа к ресурсам.

NFS v3 эволюции NFS и в настоящее время используются в запатентованной Unix, которая заполняет некоторые пробелы. Это определение распределенной файловой системы, даже система строительства позволяет сохранять большие файлы с размерами от 2 до 64-разрядной мощности, так что проверить права доступа на сервере. Они могут быть основаны на традиционных аутентификации Unix или использовать дополнительную проверку подлинности, например, Kerberos. Версия дает возможность сохранять данные в асинхронном режиме, что дает ей максимальную производительность. Однако, большинство других операций остаются синхронными. Поддержка NFS v3 в настоящее время в стадии драйвер ядра Linux, и это очень эффективно. Поврежден хранения блоков

Ceph предназначен для обеспечения масштаба объекта, блоки и хранения файлов в системе. Кластеры хранилищ, распределенной файловой системы Ceph предназначен для работы компании оборудования с помощью алгоритма РАЗДАВИТЬ, чтобы обеспечить равномерное распределение данных на группы, то все узлы кластера могут быстро получить данные без какой-либо централизации "узких мест".

Ceph доступна через Amazon Simple (S3) и OpenStack Swift (REST) на основе интерфейсов программирования приложений, и собственный API для интеграции программных приложений. В блоке хранения данных Ceph используется блокировка, которая находится на виртуальном диске и может быть подключен к Linux-серверов или виртуальных машин с открытым исходным кодом. Надежное хранение в автономном режиме распределенных объектов Ceph (RADOS) обеспечивает возможность хранения блоков, как моментальных снимков и репликации.

Блочное устройство Ceph RADOS встроенный работать как спину, хранилище OpenStack. Для хранения файлов Ceph использует POSIX-совместимые системы файлы CephFS (CephFS) для хранения данных в кластер хранения данных Ceph. CephFS использует те же кластеры, системы, магазин блоков, Ceph и объекта хранения Ceph. Преимущества распределенной файловой системы

Технически, она предоставляет доступ к каталогу, который не содержит файлов, но только переходы, и под-каталогов с большим количеством проходов. Переходы похожи мягкие ссылки, как известно, файловой системы Unix, но относятся к общим каталогам и могут указывать на общие папки на других серверах. Во-первых, клиенты просят DFS сервер для подключения, а затем обращаются к файл-сервер, на который указывает эта ссылка.

Основной задачей использования распределенной файловой системы DFS - создания другого пространства имен (дерево каталогов), которая скрывает детали инфраструктуры пользователя. Путь, что пользователи видят, и называются имена DFS, не изменятся при переименовании сервера или при перемещении некоторых папок на другой сервер.

Администраторы могут просто заменить устаревший имя новой, которая указывает на новую цель. Имя может указать более чем одну цель, это предоставить клиенту альтернативный вариант подключения для различных общих папок. В этом случае клиент распределенной файловой системы DFS могут получить доступ к одной из целей. Это обеспечивает балансировку нагрузки и автоматическое переключение на другой сервер, если сервер выходит из строя.

С помощью DFS более не имеет соединения с сервером / обмен. Память представлена в виде пула большой емкости, которые стоят файловых систем, скрытых от пользователя. На самом деле, это невероятно полезный инструмент для решения растущих потребностей для распределенной файловой системы диска новых серверов на базе требований доступности.

Технология похожа на Windows DFS, прибыль всех предприятий большого и малого. Для крупных компаний, оплачивая вид более гибкое использование ресурсов хранения. Потому, что все диски являются частью виртуальной памяти не более ненужные или переполненные, диски и картины.

Небольшие компании, однако, пользоваться для нормализации администрации. Из-за своих ограниченных ресурсов трудно идти полным серверов, время обновления до большой диск и распределить места между приложениями.

DFS, не представляет места для хранения, а также пользователей и приложений, хотят видеть, потому что он действительно существует. И как сервер, и клиентский компонент является неотъемлемой частью операционной системы Windows, процесс установки и настройки почти не требует усилий со стороны администратора и практически не влияет на работу пользователя.

Разработчики включили полный контроль распределенной файловой системы DFS Windows, консоль представляет собой единую точку управления для нескольких систем корня DFS. Графические инструменты, упрощают мониторинг и контроль. Управление может быть, даже на веб-сайтах. Автор: Иван Фролов 7 Декабря 2018 года

Категория: Hi-Tech