Цифровое оборудование

Впервые задача построения на факультете системы коллективного пользования, насчитывающей в общей сложности 300 рабочих станций, была сформулирована еще в 1986 году. В те годы системы коллективного пользования строились по другим принципам, а первые компьютерные сети начали возникать на факультете с начала 90-х годов. В результате их объединения в 1995 году была создана единая информационно-вычислительная сеть механико-математического факультета. Сеть являлась естественным развитием вычислительного центра лаборатории вычислительных методов факультета и первоначально представляла собой комплекс разнородного, и зачастую устаревшего, оборудования (мини-ЭВМ, персональные компьютеры), связанного сетью Ethernet 10 Мб/с. За прошедшие 10 лет эксплуатации оборудование сети многократно модернизировалось как за счет собственных средств факультета, так и за счет финансовой поддержки ректората МГУ. Однако наиболее серьезная модернизация была проведена в 2004-2005 годах, за счет оборудования полученного факультетом в рамках кредита фонда «Гермес».

В частности, в рамках этой закупки, были приобретены три наиболее существенных группы оборудования: высокопроизводительный вычислительный комплекс в составе 48 двухпроцессорных вычислительных узлов на базе процессоров Intel Xeon 2,4 Ггц общей стоимостью 649 тыс. евро; сеть высокопроизводительных рабочих мест в составе 160 персональных компьютеров на базе процессоров Intel Pentium 4 2,4 Ггц и другого оборудования на сумму 467 тыс. евро; и комплекс интернет-серверов в составе шести серверов, шести персональных компьютеров и дополнительного оборудования на сумму 121 тыс. евро.

В результате этой модернизации сеть приобрела дополнительные вычислительные функции, завершился перевод сети на скорость передачи данных 100 мб/с, в подразделениях и компьютерных классах факультета были установлены современные высокопроизводительные рабочие места, что позволило полностью отказаться от использования устаревшего оборудования.

Следует также отметить существенную помощь фирмы Intel в обеспечении учебного процесса современной вычислительной техникой, регулярно оказываемую с 1997 года по настоящее время.

Единая информационно-вычислительная сеть факультета представляет собой систему коллективного пользования, объединяющую более 300 рабочих мест и обеспечивающую учебную, научную и инновационную деятельность факультета. Более конкретно, единая информационно-вычислительная сеть факультета обеспечивает доступ со всех рабочих мест к собственным вычислительным ресурсам факультета, к мировым информационным ресурсам глобальной сети Интернет и компьютерную поддержку учебных курсов. С точки зрения использования, единая информационно-вычислительная сеть представляет собой универсальную компьютерную среду, без которой не может обойтись никакая научная, учебная, или административная работа, ведущаяся на факультете.

Единая информационно-вычислительная сеть механико-математического факультета – сеть крупного учебного подразделения главного вуза страны, и это определяет ее некоторые специфические свойства. Одна из целей существования сети – поддержка учебной деятельности, переходящей в научную работу подрастающего поколения студентов. Соответственно, существенную часть сети составляет учебная подсеть, а другая ее часть, хотя и выполняет в основном научную функцию, также участвует в процессе включения студентов в научную работу. Для любой учебной деятельности всегда характерно совершение студентами большого числа ошибок, причем не только по незнанию и неумению, но и из свойственного молодежи желания попробовать на прочность окружающий мир, и в частности, его компьютерную компоненту. Таким образом, любая учебная или учебно-научная компьютерная среда является компьютерной средой с непредсказуемым воздействием. Очевидно, что любая компьютерная сеть, построенная без учета этого фактора, в условиях учебного заведения будет обладать весьма низкой надежностью, повышенными трудозатратами на системное администрирование и необходимостью поддержки очень жесткой дисциплины среди обучаемых. Все эти три обстоятельства неприемлемы для Московского Университета. Поэтому основной задачей, решаемой при построении сети, должно быть создание отказоустойчивой компьютерной среды.

Поскольку на нынешнем этапе развития компьютерных технологий аппаратная отказоустойчивость поднялась на весьма высокий уровень, на первый план выходит обеспечение надежности программного обеспечения, которая наоборот, имеет тенденцию к снижению. Поскольку никакая серьезная доработка базового программного обеспечения не под силу факультету, единственный реалистичный способ решения этой задачи состоит в тщательной локализации и защите всех критически важных информационных ресурсов, используемых в компьютерной среде.

Физически, единая информационно-вычислительная сеть факультета состоит из следующих основных компонентов:

1. Рабочие места, установленные на кафедрах и в лабораториях факультета.

2. Рабочие места, установленные в компьютерных классах.

3. Рабочие места, установленные в административных подразделениях факультета.

4. Кабельная подсистема.

5. Комплекс интернет-серверов.

6. Высокопроизводительный вычислительный комплекс.

7. Подсистема управления компьютерными классами (включая собственные вычислительные ресурсы).

Логически, сеть представляет собой несколько вложенных друг в друга подсетей:

1. Основная сеть факультета.

1.1. Административная сеть.

1.2. Учебная сеть.

1.2.1. Внутренняя сеть учебных вычислительных комплексов.

1.3. Сеть вычислительного комплекса.

Таким образом, внутри основной сети находится защищенная административная подсеть, учебная подсеть, и внутренняя подсеть вычислительного комплекса. Внутри учебной подсети имеется внутренняя подсеть учебных вычислительных комплексов.

Аппаратной платформой практически всей компьютерной техники единой информационно-вычислительной сети являются процессоры Intel. Исключение составляют лишь несколько компьютеров, установленных на кафедрах и в лабораториях факультета и использующие процессоры других производителей.

В качестве базового программного обеспечения на кафедрах и в лабораториях факультета в основном используется операционная система Windows XP и другие ее версии. На всех серверах и на учебных рабочих станциях используется свободно распространяемая операционная система Linux.

Основой обеспечения информационной безопасности в единой информационно-вычислительной сети факультета является физическое размещение всех серверных, вычислительных и других информационных ресурсов в изолированном помещении со строго ограниченным доступом и всеми необходимыми вспомогательными системами: электропитания, охлаждения и т.п.

Основная сеть механико-математического факультета является частью сети интернет, имеет реальные IP-адреса и предоставляет неограниченный доступ в интернет со всех находящихся в ней рабочих станций. Также, из сети интернет может осуществляться доступ к любой из этих рабочих станций. Сети присвоены адреса из диапазона 158.250.33.0-158.250.33.255. В этой сети расположены рабочие станции, установленные на кафедрах и в лабораториях факультета. Обмен с интернетом осуществляется через шлюз, имеющий подключение к сети «Радио-МГУ». Сервер, являющийся шлюзом сети «Радио-МГУ» одновременно является сервером имен для основной сети факультета. В случае отказа этого подключения, обмен может осуществляться через резервный шлюз, имеющий подключение к сети «MSU-NET». Также, в основной сети находятся почтовый сервер, UUCP-сервер, административный сервер, управляющий сервер высокопроизводительного вычислительного комплекса, и интернет-шлюз подсистемы управления компьютерными классами. Эти серверы можно условно объединить в группу под общим названием «комплекс интернет-серверов».

Почтовый сервер выполняет функции по отправке и получению электронной почты сотрудниками кафедр и лабораторий факультета по протоколам SMTP и POP3. Для предотвращения несанкционированных рассылок электронной почты, ее отправка разрешена только с рабочих станций расположенных на кафедрах и в лабораториях факультета, или с других серверов сети. Отправка почты с любых других компьютеров, находящихся за пределами сети факультета, по протоколу SMTP невозможна, для этого используется web-интерфейс почтового сервера, доступный по адресу mail.math.msu.su. Кроме этого, этот сервер выполняет функции web-сервера факультета – www.math.msu.su.

UUCP-сервер предназначен для приема и отправки электронной почты по телефонным каналам. Такой сервис необходим для обеспечения домашней работы с электронной почтой сотрудников факультета из числа профессорско-преподавательского состава.

Задача организации эффективной эксплуатации высокопроизводительного вычислительного комплекса максимальным количеством пользователей, требует помимо наличия собственно вычислительного ресурса, создания соответствующей инфраструктуры, обеспечивающей интеграцию комплекса в единую сеть факультета при условии максимальной оптимизации управления комплексом с одной стороны, и исключения непредсказуемого воздействия на компоненты комплекса с другой.

Для этого необходимо создать три основных механизма. Во-первых, организовать очередность выполнения вычислительных заданий на вычислительном комплексе. Во-вторых, организовать распределение объема вычислений между вычислительными узлами комплекса. В-третьих, обеспечить физическое отделение внутренней сети комплекса от основной сети факультета и обеспечить только необходимый доступ из основной сети во внутреннюю сеть комплекса.

Выполнение этих трех функций возложено на управляющий сервер высокопроизводительного вычислительного комплекса. Этот сервер выполняет несколько основных функций. Во-первых, он служит шлюзом между внутренней сетью вычислительного комплекса и основной сетью факультета. Внутренняя сеть комплекса имеет скорость обмена 1 Гб/с, и служит для обмена сообщениями между узлами комплекса. Обмен данными между узлами происходит через интерфейс SCI связывающий в двумерный тор все узлы комплекса. Передача информации через этот шлюз возможна только посредством установленного на нем специализированного ПО, прямая передача информации невозможна. Во-вторых, этот сервер выполняет функцию организации очереди заданий, реализованную при помощи соответствующего ПО. И в-третьих, функцией этого сервера является распределение заданий между вычислительными узлами комплекса, которая также реализована при помощи соответствующего ПО.

Поскольку в административной сети факультета, охватывающей бухгалтерию, планово-финансовый отдел, и отдел кадров факультета широко используется небезопасное, с точки зрения сети Интернет, разделение ресурсов, а подключение к Интернету тем не менее необходимо, такое подключение должно обеспечивать жесткую фильтрацию любого обмена административной сети с основной сетью факультета, и далее, с сетью Интернет.

Первым и основным условием для этого, является наличие физически отдельной от любых других сетей кабельной системы, соединяющей административные подразделения факультета.

Вторым необходимым условием является наличие административного сервера, который необходим для обеспечения безопасного подключения компьютеров, установленных в финансовых подразделения факультета, к сети интернет. Этот сервер выполняет функции шлюза, соединяющего внутреннюю подсеть финансовых подразделений, имеющую виртуальные IP-адреса и недоступную из внешней сети, с основной сетью факультета. Обмен через этот шлюз ограничен только необходимыми протоколами.

Учебная сеть является частью основной сети факультета и имеет несколько существенных особенностей. Основным предназначением этой сети является поддержка бесперебойной работы компьютерных классов. Учитывая, что учебная компьютерная среда является средой с непредсказуемым воздействием, требуется обеспечить такую организацию сети, при которой полностью исключалась бы возможность случайного или намеренного повреждения используемого программного обеспечения и данных.

Для этого в рамках учебной сети реализован механизм удаленной загрузки и удаленного хранения данных. Никакая существенная информация не размещается на учебных рабочих станциях. Учитывая, что число этих станций достаточно велико, это позволяет исключить дублирование информации на этих рабочих станциях, и что более важно, исключить дублирование системных настроек для каждой рабочей станции, и тем самым сократить на два порядка объем системных работ, необходимых для настройки рабочих станций. Кроме того, многократно повышается уровень защищенности системы, даже при повреждении операционной системы на какой-то рабочей станции, операционная система, хранящаяся на сервере, остается доступной только для чтения. При такой организации, образ операционной системы хранится на сервере удаленной загрузки, причем только одна копия для всех рабочих станций. Различаются только файлы аппаратной конфигурации рабочих станций. Это не только экономит дисковое пространство сервера, но и позволяет при наличии на сервере достаточного объема памяти вообще исключить дисковый обмен даже на сервере. Память сервера используется как кэш-память диска, и после загрузки первой же рабочей станции, образ операционной системы оказывается в оперативной памяти сервера. При обмене по сети с пропускной способностью 100 мб/с одновременная работа сотни рабочих станций не вызывает заметного снижения скорости работы по сравнению со скоростью работы обычного диска. При этом на рабочих станция можно пользоваться не только базовыми приложениями операционной системы, но и полноценно использовать систему X-windows.

Для хранения студенческих программ используется сервер данных. В отличие от операционной системы, для хранения данных необходимо относительно большое дисковое пространство, причем с очень интенсивным обменом. И хотя здесь также используется кэш-память диска, необходимо использование нескольких параллельно работающих дисковых накопителей для распределения между ними потока обращений. При такой интенсивной работе надежность дисковых накопителей снижается, и для предотвращения потерь информации имеется параллельно работающий резервный сервер данных. Одновременно он является и резервным сервером удаленной загрузки. Сервер данных позволяет студенческим рабочим станциям записывать данные, но в строго определенную область и не более выделенного объема. Раздельное хранение на разных серверах изменяемых данных и операционной системы также существенно повышает устойчивость системы в целом.

Кроме этого, в учебной сети имеется два вспомогательных сервера – web-сервер и сервер мониторинга. Web-сервер служит для хранения студенческих заданий, учебных курсов и другой необходимой для студентов информации. Сервер мониторинга предназначен для сбора статистики о работе студентов в компьютерных классах, которая может использоваться на зачетах и экзаменах, а также получения информации о техническом состоянии всего парка рабочих станций учебной сети.

Для решения вычислительных задач в учебной сети имеется два многопроцессорных вычислительных комплекса (кластера). Они имеют сравнительно невысокую вычислительную мощность и выделены для выполнения исключительно студенческих заданий. Один из них построен на базе двух четырехпроцессорных серверов и предназначен для решения вычислительных задач, ориентированных на использование нескольких процессоров, работающих с общей оперативной памятью. Другой построен по образу и подобию основного высокопроизводительного вычислительного комплекса – восемь двухпроцессорных узлов объединенных высокоскоростной сетью и интерфейсом SCI. Он позволяет выполнять такие задания, которые при необходимости могут быть выполнены и на основном высокопроизводительном вычислительном комплексе.

Эти два комплекса объединены в вычислительную подсеть учебной сети, и управляются своим сервером управления. В его функции входит управление очередью заданий и распределение заданий между узлами комплекса. Реализация ПО для выполнения этих функций выполнена сотрудниками и студентами факультета, поскольку типовое ПО для этой цели не обладает достаточной степенью надежности для работы в условиях студенческой сети.

Интернет-шлюз подсистемы управления компьютерными классами выполняет функции по обмену данными между внутренней учебной сетью и основной сетью факультета. Внутренняя учебная сеть имеет виртуальные IP-адреса и недоступна из сети интернет. Доступ в интернет из внутренней сети возможен, но только при наличии учебной необходимости. В остальных случаях доступ искусственно заблокирован для повышения эффективности учебного процесса. Также, этот шлюз используется для управления объектами внутренней учебной сети с рабочих станций преподавательского состава, находящихся в основной сети факультета.

Помимо сетевых компьютерных ресурсов, в учебной подсети имеется автономная система компьютерного видеонаблюдения, сохраняющая на дисковых накопителях полную видеозапись всего происходящего в компьютерных классах за последние четыре недели. Наличие такой системы в сочетании с комплексом мер информационной безопасности позволяет отказаться от постоянного дежурства технического персонала в компьютерных классах.

Кабельная подсистема сети построена на основе проводки витой пары категории 5, охватывающей всю территорию факультета в главном здании МГУ с 12 по 16 этаж. Передача данных в основной сети осуществляется посредством двух основных маршрутизаторов, установленных на 13 этаже и десяти поэтажных концентраторов, установленных по два на каждом этаже. Скорость передачи данных на всех участках сети составляет 100 Мб/с. Передача данных в учебной подсети осуществляется через отдельную кабельную систему, расположенную в пределах 13 этажа при помощи пяти 24-портовых маршрутизаторов. Скорость передачи данных в этой подсети также составляет 100 Мб/с. В административной сети передача данных также осуществляется по отдельной кабельной системе со скоростью 100 Мб/с. Таким образом, кабельная система сети физически локализована по характеру использования, что полностью исключает возможность несанкционированного доступа из одной сети в другую.

Дальнейшее развитие единой информационно-вычислительной сети факультета планируется по следующим основным направлениям:

1. Создание дополнительных автоматизированных рабочих мест для работы студентов старших курсов и аспирантов.

2. Создание централизованной системы хранения информации большой емкости и электронных библиотек.

3. Дальнейшее внедрение на кафедрах и в лабораториях факультета мультимедийного оборудования.

4. Внедрение на кафедрах и в лабораториях факультета портативной компьютерной техники.

5. Внедрение современных компьютерных технологий в преподавании иностранного языка.

6. Развитие компьютерных практикумов в различных областях математики и механики.

7. Модернизация сети для перехода на скорость передачи данных 1 Гб/с.

Острой проблемой, стоящей на факультете в настоящее время, является явно недостаточное число автоматизированных рабочих мест для студентов 4-5 курса и аспирантов. Для решения этой проблемы предполагается создание комплекса мини-лабораторий в составе 3-4 компьютеров и необходимого периферийного оборудования в каждой, для организации работы на них рабочих групп студентов старших курсов и аспирантов, а также, проведение компьютерных практикумов. При закреплении таких лабораторий за кафедрами факультета предполагается организовать единую техническую поддержку для всего этого комплекса. Количество таких мини-лабораторий должно соответствовать числу кафедр, не имеющих собственной технической базы для организации работы студентов старших курсов и аспирантов (большинство кафедр).

Цифровая революция, произошедшая в мире на рубеже веков, создала принципиально новые условия использования информационных технологий во всех отраслях жизни. Любая аудио-визуальная информация теперь может записываться и храниться в цифровом виде, следовательно, актуальной становится задача накопления и хранения такой информации. Создание централизованной системы хранения информации и дальнейшее внедрение на кафедрах и в лабораториях факультета мультимедийного оборудования позволит приступить к решению этой задачи. Объектами накопления и хранения информации должны стать учебные курсы, доклады на конференциях, записи физических экспериментов и другая подобная информация. В дальнейшем, подобные архивы приобретут не меньшее значение, чем сейчас имеют традиционные, бумажные библиотеки.

Другой острейшей проблемой, стоящей на факультете, является острая нехватка помещений. Дополнительный вклад в решение этой проблемы может внести частичная замена обычных, достаточно громоздких компьютеров, на портативные. Многие кафедры и лаборатории буквально перегружены компьютерной техникой, на площади в 20 квадратных метров размещается до 7 компьютеров, при норме 6 квадратных метров на каждый компьютер. Более широкое применение портативной техники позволит хотя бы частично решить эту проблему и сделает более комфортной работу профессорско-преподавательского состава.

Преподавание иностранного языка на факультете ведется в настоящее время с использованием традиционного лингафонного оборудования. Такое оборудование, хотя и является надежным и долговечным, не обладает всей широтой мультимедийных возможностей, присущих современной компьютерной технике. И хотя внедрение компьютерных технологий в этой области представляется весьма актуальным и перспективным, оно должно осуществляться параллельно с созданием мультимедийных библиотек, чтобы обеспечить преемственность информационной базы.

Модернизация сети и переход на скорость передачи данных 1 Гб/с. позволит поддерживать современный технический уровень сети и создаст условия для успешного решения перечисленных выше задач.