Руководство по оцифровке

Методические рекомендации
по электронному копированию архивных документов
и управлению полученным информационным массивом

2. Организация работ по оцифровке архивных документов

2.1. Цели оцифровки архивных документов

Оцифровка архивных документов производится с целью формирования электронного фонда пользования (ЭФП).

Электронный фонд пользования представляет собой совокупность электронных копий документов Архивного фонда, записанную на цифровые носители, и предназначенную для использования вместо подлинников документов, что должно обеспечить:

• сохранность документа,

• возможность формирования электронных ресурсов, обеспечивающих оперативность доступа к документу, в т.ч. с использованием Интернет-технологий.

Позиционирование электронных копий архивных документов и электронного фонда пользования в качестве страхового фонда архивной документации недопустимо^[33].

Порядок создания электронного фонда пользования (электронных копий архивных документов) является одной из важных задач деятельности архива и должен быть регламентирован специально разработанным Регламентом создания электронного фонда пользования (электронных копий архивных документов), утвержденным в установленном порядке после его рассмотрения и одобрения на методической комиссии и обсуждения на дирекции архива.
 

2.2. Электронный фонд пользования

В ЭФП включаются копии оцифрованных в полном объеме (полностью) единиц хранения.

ЭФП состоит из трех массивов электронных копий:

• массива мастер-копий, записанного на электронные носители с указанием содержания на обложках^[34], и не предназначенного для использования (ЭФП-1);

• массива рабочих копий (копий первого поколения, дубликатов), также записанного на электронные носители с указанием содержания на обложках^[35]. Данные копии предназначены для постоянного использования с целью последующей переработки (ЭФП-2);

• массива всех копий второго и последующих поколений, созданных в различных целях, записанного на электронные носители с указанием содержания на обложках и предназначенного для многократного использования (ЭФП-3).
   

2.3. Методы создания ЭФП

Электронный фонд пользования создается:

• целевым порядком в рамках государственных, ведомственных, региональных программ и ежегодных (перспективных) планов работы архива;

• целевым порядком на все документы, определенные для страхового копирования;

• целевым порядком на наиболее часто запрашиваемые документы;

• в процессе выполнения заказов;

• в процессе других работ.

Основные технологические операции создания электронных копий архивных документов:

• отбор документов для оцифровки;

• подготовка документов для оцифровки;

• передача документов на сканирование/ прием документов/ регистрация в учетной документации;

• выбор способа оцифровки документов на различных носителях (так, для фотодокументов определяющими факторами являются: тип и вид носителя документа (фотобумага, фотопленка, стекло), рулон или отдельный кадр, размер (формат) носителя (бумаги и фотокадра), характеристика документа (отдельный лист документа, фотография, или комплекс документов (фотографии, вклеенные в фотоальбом); для фонодокументов – носитель информации, наличие специализированного оборудования для воспроизведения подлинника и т.п.);

• оцифровка документа – создание электронной копии – мастер-копии;

• двукратная (минимум) запись на носители: мастер-копия и рабочая копия;

• маркировка носителей / регистрация носителей и их содержимого (мастер-копия и рабочая копия) в учетной документации;

• передача носителей копий на хранение;

• возврат подлинников документов в хранение.
   

2.4. Критерии отбора архивных фондов для создания электронных копий

В плановом порядке электронные копии архивных документов создаются в первую очередь для:

• наиболее используемых документов, независимо от времени их создания, материала и техники изготовления;

• особо ценных и уникальных документов,

• документов, находящихся в неудовлетворительном физическом состоянии с высокой степенью разрушения основы, что может повлечь утрату подлинника;

• документов, для которых существует угроза утраты информации (например: для документов на бумажной основе – угасание текста; для фонозаписей на магнитной ленте – размагничивание; для цветных фотонегативов – утрата цветности и т.п.) при удовлетворительном физическом состоянии носителя;

• выполнения запросов и заказов, подготовка изданий и выставочных проектов.

Оцифровке подлежат только те фонды, по которым уже прошла или не предполагается в будущем научно-техническая переработка или усовершенствование описей (в части редактирования заголовков).

Из фондов, равноценных по значению, первоочередному копированию подлежат фонды, документы которых находятся в неудовлетворительном физическом (техническом) состоянии и наиболее интенсивно используются, а также цветные фотодокументы.
 

2.5. Планирование работы по созданию электронного фонда пользования

С целью организации и контроля за проведением работ по оцифровке фондов в каждом архиве должен быть создан Перспективный план оцифровки, включающий в себя названия фондов, предназначенных для создания электронных копий в рамках всего собрания архива (Приложение № 2).

Ежегодно должны проводиться мониторинг и редакция Перспективного плана, осуществляемая по результатам выполнения годового плана оцифровки, закрепленного в Перечне фондов, подлежащих оцифровке.

Перспективное планирование должно осуществляться структурными подразделениями, на которые возложены функциональные обязанности по созданию электронных копий, с учетом предложений от отделов использования документов, отделов обеспечения сохранности документов и других структурных подразделений.

При планировании работ по оцифровке в показатели планирования включаются следующие графы:

• наименования и номера фондов, коллекций, единиц хранения и наименования документов, планируемых к оцифровке;

• количество документов, подлежащих оцифровке, в соответствующих единицах хранения;

• предполагаемые сроки осуществления оцифровки;

• отметка о выполнении.

На основе Перспективного плана ежегодно создается (создаются) Перечень (Перечни) фондов, подлежащих оцифровке, в котором(ых) определяется последовательность оцифровки фондов в рамках данного года (Приложение № 3).

Очередность оцифровки определяется ценностью и информационной значимостью документов, их физическим состоянием, интенсивностью обращения к ним, а также наличием технических и кадровых возможностей.

Перечни согласовываются с задействованными в работе по созданию ЭФП структурными подразделениями архива (в первую очередь с отделом обеспечения сохранности и архивохранилищами, в которых находятся на хранении дела подлежащие сканированию) и утверждаются директором архива (архивного учреждения).

При годовом планировании работ по оцифровке в показатели включаются следующие графы:

• наименования и номера фондов, коллекций, номера описей, единиц хранения, наименования документов;

• количество документов, подлежащих оцифровке, в соответствующих единицах хранения;

• объем единиц хранения для фотодокументов – в листах/кадрах/ед.хр., для фоно-, кино- и видео-документов – в часах/минутах/секундах;

• формат документов;

• категория сложности документов (см. Приложение № 23);

• отметка о выполнении – дата оцифровки, № и дата акта о передаче на хранение внешнего носителя, маркировка внешнего носителя;

• шифры хранения электронных мастер-копий;

• шифры хранения электронных рабочих копий.

  (Прим.: последние три пункта заполняются по факту выполнения работ).

Оцифровка проводится по фондам с соблюдением систематизации единиц хранения в описи.

Допустимо ведение Перспективного плана и ежегодных Перечней фондов, подлежащих оцифровке, в форме компьютерной базы данных с созданием обязательной ежегодной распечатки обоих документов.
 

2.6. Структурные подразделения для создания ЭФП^[36]

Работы по созданию электронного фонда пользования должны осуществляться специализированным подразделением архива.

Создание ЭФП планируется и организуется как самостоятельный вид работы.

Создание ЭФП не может рассматриваться в качестве дополнительного функционала сотрудников других подразделений.
 

2.7.–2.8. Примерный состав специалистов структурного подразделения по созданию ЭФП.
Требования к квалификации сотрудников

Состав и функции специалистов в структурном подразделении архива, на которое возложен функционал по созданию ЭФП:

Методист

Функционал: прием архивных документов на сканирование, ведение учета ЭФП (ЭФП-1, ЭФП-2, ЭФП-3), контроль качества выполнения работ при передаче электронных копий на хранение, мониторинг вопросов повторного сканирования, сдача архивных документов в архивохранилища после сканирования, передача на хранение маркированных носителей с ЭФП.

Оператор сканирования

Функционал: проведение операций сканирования, шифровка электронных копий;

Оператор записи внешний носителей

Функционал: запись электронных копий на носители, маркировка носителей.

Инженер

Учет использования рабочих копий, техническое обслуживание компьютерной техники, периодическое тестирование носителей информации с ЭФП (ЭФП-1, ЭФП-2, ЭФП-3).

Специалист по графической обработке цифровых копий и подготовке копий второго и последующих поколений (при необходимости).

Осуществлением работ^[37], связанных с непосредственным созданием (оцифровкой, сканированием, учетом) электронных копий архивных документов, должны заниматься штатные сотрудники архива.

Квалификационные требования к сотрудникам, на которых возложены обязанности по созданию и учету электронных копий, изложены в Едином квалификационном справочнике (квалификационные требования к должностям «архивист»/ «хранитель фондов»/ «методист»/ «специалист лаборатории обеспечения сохранности архивных документов»).

Сотрудники, непосредственно выполняющие работы по оцифровке архивных документов, должны пройти обучение (курсы повышения квалификации) по специальности «операторы сканирующих устройств».

Осуществлением работ по работе с цифровым контентом должны заниматься штатные сотрудники архива, имеющие высшее либо среднее профессиональное образование по специальности «Автоматизированные системы управления», «Программирование», «Программное обеспечение вычислительной техники и автоматизированных систем».
 

2.9. Создание электронных копий архивных документов
силами подрядных организаций

Допускается создание ЭФП силами сторонних организаций на условиях аутсорсинга при обеспечении безопасности и полной сохранности подлинников.

Создание ЭФП силами сторонних организаций может производиться исключительно на территории архива в специально оборудованном помещении при оформлении соответствующих документов, фиксирующих выдачу/возврат подлинников документов во временное пользование, и при постоянном контроле процесса оцифровки со стороны сотрудников архива.

При заключении договоров на условиях аутсорсинга с подрядными организациями на выполнение работ по оцифровке архивных документов особо необходимо оговаривать ответственность подрядной организации за сохранность подлинников документов.

Создание электронных копий архивных документов должно производиться подрядными организациями с помощью оборудования, прошедшего тест-контроль в рамках методики и программного обеспечения, представленного в «Методических рекомендациях, программном обеспечении оценки и контроля качества функционирования сканирующего оборудования при выполнении работ по оцифровке архивных документов в российских государственных архивах» (см. п. 2.11) и в соответствии с техническими требованиями к созданию электронных копий архивных документов, содержащимися в п.п. 2.14. – 2.20, что также должно оговариваться в договорах.

Учитывая то, что комплексы профессионального оборудования для оцифровки и обработки графической информации являются весьма энергоемкими, при заключении договоров на условиях аутсорсинга с подрядными организациями на выполнение работ по оцифровке архивных документов, рекомендуется особо оговаривать оплату коммунальных платежей и электроэнергии со стороны организации-подрядчика.
 

2.10. Примерный перечень оборудования и программного обеспечения,
необходимого для создания электронных копий архивных документов,
хранения ЭФП и управления цифровым контентом

Для проведения работ по созданию электронных копий документов, ЭФП и управлению цифровым контентом необходимо следующее компьютерное оборудование:

Сканирующее оборудование:

• профессиональные книжные планетарные (бесконтактные) сканеры;

• цифровые фотоаппараты (матрица от 3,2 МРх);

Компьютерное оборудование:

• автоматизированное рабочее место оператора – графическая рабочая станция – РС–совместимая персональная ЭВМ для поддержки автоматизированных рабочих мест сканирования / индексирования / администрирования;

• монитор с диагональю не менее 19 дюймов;

• устройства чтения и записи оптических дисков;

• устройство для чтения карт памяти (картридер) – рекомендуется при работе с цифровым фотоаппаратом;

• источник бесперебойного питания.

Серверное оборудование:

• сервер локальной сети / центральный компьютер для решения вопросов передачи информации (при проведении работы на нескольких сканирующих устройствах и использовании при этом выделенного сегмента локальной вычислительной сети архива);

• источник бесперебойного питания

Носители информации (модули памяти):

• файл-сервер для хранения ЭФП-1, ЭФП-2, ЭФП-3 (типа: HP DL180 G6) / система хранения данных/ электронная библиотека;

• RAID-массив^[38];

• источник бесперебойного питания;

• носители информации для хранения оцифрованных документов (специализированные CD-R, DVD-R, предназначенные для архивного хранения) – ЭФП-1, ЭФП-2.

Печатающее устройство:

• лазерный ч/б принтер для печати сопровождающей документации, оформления носителей информации для сдачи на хранение и печати бумажных копий;

• цветной фотопринтер;

• или многофункциональное устройство/

Программное обеспечение:

• операционные системы Windows XP или выше;

• необходимые драйверы для сканирующих устройств, цифровых фотоаппаратов, принтеров, подключенных к компьютерам;

• программное обеспечение, позволяющее контролировать качество цветопередачи и контрастность на экране монитора (например, Adobe Gamma или Atrise Lutcurve);

• графические редакторы (например, Adobe Photoshop);

• программа для просмотра и организации графических изображений (например, ACDSee);

• драйверы PostScript для версий Windows;

• операционные системы для серверов Windows Server 2005 и выше;

• программа для записи информации на компакт-диск (например, Nero Burning Rom);

• система управления базами данных (СУБД) и/или оболочка базы данных (система) для учета электронных копий и управления цифровыми ресурсами;

• приложение для преобразования PostScript-файлов в PDF-файлы Adobe Acrobat Distiller (при необходимости);

• программа для просмотра документов в формате PDF Adobe Acrobat Reader (при необходимости).

Все перечисленное оборудование должно быть смонтировано в единый аппаратно-программный комплекс создания и хранения электронных копий архивных документов.

Все перечисленное оборудование не может использоваться в иных целях.

Рабочие станции и сервера, используемые для создания и/или хранения ЭФП, не могут быть подключены в локально-вычислительные сети архивов.

Рабочие станции и сервера, используемые для создания и/или хранения ЭФП, не могут иметь выход в Интернет.
 

2.11. Основные требования к техническому оборудованию и программному обеспечению

Создание электронных копий архивных документов может производиться с помощью двух видов оцифровывающих устройств:

• профессионального сканирующего оборудования – планетарных бесконтактных сканеров;

• цифровых фотоаппаратов.

Выбор вида оборудования зависит от:

• состава фондов;

• максимальных размеров документов
  (при помощи специализированных сканеров целесообразно проводить оцифровку документов форматов А2, A3, А4, А5 и меньшего формата, при помощи цифрового фотоаппарата и при отсутствии сканеров формата А1–А0 – документов форматом более A2);

• финансовых возможностей архивного учреждения.

Использование планшетных офисных документных сканеров, разработанных для осуществления сканирования текущей офисной документации и не предназначенных для оцифровки архивных документов, требующей повышенного внимания к безопасности и сохранности подлинника, недопустимо. Использование подобного оборудования для оцифровки архивных документов может нанести непоправимый вред подлинникам^[39].

Основными критериями выбора моделей сканеров для созданий электронных копий архивных документов являются:

• безопасность и сохранность подлинника в процессе сканирования;

• качество электронной копии;

• размер стола сканирующего устройства, соответствующий максимальному размеру подлинников, предназначенных для оцифровки, и исключающий необходимость фрагментарного сканирования документов с последующей компьютерной «склейкой» («стикингом») изображений;

• другие технические характеристики оборудования.

Проблеме оптимального подбора сканирующего оборудования для осуществления оцифровки архивных документов (по критериям «цена – качество») посвящена научно-исследовательская работа, выполненная в 2011 г. по заказу Федерального архивного агентства Научно-исследовательским институтом репрографии (г. Тула). Отчет по теме «Разработка методических рекомендаций по выбору сканирующего оборудования, способного удовлетворить потребности российских архивов» в январе 2012 г. размещен на портале «Архивы России»^[40]. На портале «Архивы России» размещен дистрибутив разработанной на основе многофакторного анализа компьютерной программы по подбору оборудования – MregForm^[41] и пошаговая инструкцию по ее применению.

В 2012 г. Научно-исследовательским институтом репрографии (г. Тула) по заказу Росархива разработаны «Методические рекомендации, программное обеспечение оценки и контроля качества функционирования сканирующего оборудования при выполнении работ по оцифровке архивных документов в российских государственных архивах»^[42], размещенное на портале «Архивы России».

Наиболее оптимальным решением в вопросе выбора сканирующего оборудования представляются:

Профессиональные книжные планетарные (бесконтактные) сканеры формата не менее А2, оснащенные лампами холодного света, либо LED светодиодными осветителями и книжной колыбелью для сканирования не расшиваемых цветных, черно-белых и полутоновых подлинников (книги, рисунки, ветхие материалы, атласы) архивных документов, поставляющееся в следующей комплектации:

• сканер формата не менее А2;

• книжная колыбель с автоматизированным прижимным стеклом для книг толщиной не менее 12,5 (специализированная колыбель – до 50) см;

• программное обеспечение управления сканированием (поставляется в комплекте);

• набор для калибровки сканера под заданные параметры (поставляется в комплекте в виде белого листа или специальных настроечных таблиц/тест-объектов; при отсутствии – тест-объекты приобретаются отдельно)

  и обладающее техническими характеристиками:

  Технические характеристики сканера:

  Максимальный угол раскрытия книги – 180 град;

  Неподвижная относительно подлинника сканирующая система (голова), расположенная на стойке (планетарный тип конструкции);

  Сканирующая система – Линейный сенсор / Фотоматрица (CCD-сенсор)^[43];

  Система освещения должна обеспечивать сканирование с защитой от ультрафиолетового и инфракрасного излучения и должна быть построена на базе экономичных LED-технологий (не более 80 VA);

  Система освещения располагаться ниже сканирующей головы для получения лучшего качества скана;

  Разрешение оптическое не менее 400 dpi (все режимы сканирования), выходное не менее 600 dpi;

  Наличие подвижной книжной колыбели, лазерная индикация центра (желательна), регулируемое пространство для переплета книги;

  Наличие прижимного стекла для подлинников;

  Возможность работы как с прижимным стеклом, так и без прижимного стекла;

  Функция ограничения области сканирования.

  Режимы сканирования:

  Не менее 36/24-бит в цветном изображении;

  Не менее 8-бит в оттенках серого;

  Не менее 1-бит для чёрно-белого изображения;

  Автоматическое определение формата сканирования;

  Наличие лазерного луча центрирования подлинника (желательно)

  Отсутствие ультрафиолетового и инфракрасного излучений;

  Отсутствие бликов при сканировании глянцевых подлинников;

  Толщина книги не менее 120 мм

  Глубина фокуса не менее 120 мм

  Скорость сканирования: 400 ррi в цвете на формате 610мм х 458мм – не более 6–7 сек.

  Интерфейс: USB2.0.

  Формат выходного файла: все стандартные форматы изображений: несжатый и многостраничный TIFF, TIFF G4, JPEG, JP2, PDF, многостраничный PDF, BMP, PCS, PNG.

  Программное обеспечение с функциями:

  • автоматическое распознавание страниц;

  • автоматическая разбивка разворота на две страницы;

  • ручной выбор и разбивка страницы;

  • автоматическое исправление изгибов книги (желательно);

  • поворот изображения;

  • несколько фильтров;

  • изменение разрешения;

  • перевод из цветного формата в градации серого и в черно-белый;

  • сохранение в нескольких форматах;

  • отправка на печать.

Выбор цифровых фотокамер (фотоаппаратов) определяется размером матрицы и финансовыми возможностями архива.

На сегодняшний день цифровые фотокамеры представляют собой самый безопасный для подлинников архивных документов способ создания электронных копий документов. Однако их использование также имеет свои ограничения и недостатки, главным из которых является проблемы соблюдения светового режима.

Допустимо комбинирование различного оборудования для решения задач оцифровки документов разного формата.

Технические характеристики компьютерного оборудования:

Системный блок:

Минимальные требования:

CPU с количеством ядер не менее 2 и тактовой частотой не менее 2,8 ГГЦ;

Память тип DDR3, объем не менее 2 Гб, HDD не менее 500 Гб SATA;

Видеокарта не менее 512 МБ, частота GPU Мгц не менее 700, тип GDDR5, Gigabit Ethernet, Multi-DVD.

Оптимальные требования (при поточном режиме оцифровки):

Чипсет – Intel, CPU с количеством ядер не менее 2, объем не менее 6Мб и частотой работы не менее 3,2 ГГц;

Память тип DDR3, объем не менее 8 Гб, с возможностью расширения до 32 Гб, HDD не менее 1000 Гб SATA;

Дискретная видеокарта с объемом памяти не ниже 1 Гб и пропускной способностью памяти не ниже 25,6 Гб/сек;

Возможность защиты информации с помощью встроенного аппаратного модуля;

Предустановленное производителем ПО для защиты и безопасного удаления информации.

Монитор:

диагональ не менее 19 дюймов,

тип подсветки – LED,

яркость монитора не менее 250 кд/см², контрастность не менее 1000 : 1, динамическая контрастность не менее 3 000 000 : 1,

углы обзора не менее 170 градусов по горизонтали и 160 по вертикали.

Технические требования к серверному оборудованию, системам хранения электронного контента и печатающим устройствам определяются, исходя из реальных объемов имеющегося цифрового контента, перспектив его наращивания и нужд в осуществлении распечатки электронных копий.
 

2.12. Основные требования к технологическим^[44] помещениям подразделения
по созданию электронных копий архивных документов и рабочим местам сотрудников

Помещения, где производятся работы по оцифровке архивных документов и созданию электронных копий, должны иметь естественное и искусственное освещение. Желательна ориентация оконных проемов на север или северо-восток. Оконные проемы должны быть оборудованы регулируемыми жалюзи или занавесками, позволяющими полностью закрывать (при необходимости) оконные проемы.

Рабочие места для создания электронных копий оборудуют специальными столами, приставками, подъемно-поворотными креслами (стульями), регулируемыми по высоте и углам наклона сиденья и спинки.

Освещенность на поверхности стола в зоне размещения документа должна быть 300–500 лк, освещенность поверхности экрана – не более 300 лк.Освещение не должно создавать бликов на поверхности экрана и стола сканирования. Допустимо при использовании профессионального сканирующего оборудования, оснащенного собственными лампами, полное выключение освещения в процессе оцифровки.

Минимальная площадь на одно рабочее место должна составлять не менее 6 кв.м, расстояние между рабочими столами с видеомониторами должно быть не менее 1,2 м^[45].

Экран монитора должен находиться от глаз пользователя не ближе 500 мм с учетом размеров алфавитно-цифровых знаков и символов.

Помещение должно быть хорошо вентилируемым. Вентиляционные отверстия на оборудовании не должны быть перекрыты.

Не допускается размещение вблизи оборудования комнатных растений.

Помещение должно быть оборудовано сейфом или закрывающимся шкафом для хранения архивных документов, принятых на оцифровку.

Помещения, где производятся работы по оцифровке архивных документов и созданию электронных копий, должны сдаваться под охрану.
 

2.13. Подготовка и передача документов на оцифровку

Подготовка документов для проведения работ по созданию электронных копий фонда пользования осуществляется в соответствии с порядком выдачи архивных документов из архивохранилищ^[46].

Подготовка документов для проведения работ по созданию электронных копий включает в себя:

• выемку дел,

• проверку поисковых данных,

• сверку с описью заголовков дел,

• проверку нумерации листов,

• уточнение в листах заверителях.

При подготовке дел проверяется физическое состояние документов: выявляются документы с малоконтрастными и угасающими текстами, а также документы, требующие реставрации и укрепления основы. В случае необходимости привлекаются специалисты по обеспечению сохранности архивных документов и специалисты по оцифровке документов для проведения консультаций с целью недопущения возможности повреждения дел при сканировании.

Дела, предназначенные к оцифровке, как правило, расшивке не подлежат и могут быть расшиты только в исключительных случаях по согласованию с руководством архива при полной невозможности копировать переплетенное дело.

Принятие решения о расшивке дела может быть мотивировано:

А) обеспечением сохранности документов (дело туго сшито и при его раскрытии на 180 градусов и использовании прижимного стекла может произойти повреждение (деформация) документов);

Б) невозможностью представить на электронной копии всю информацию документа, т.к. часть информации «уходит» в корешок.

Решение о расшивке документов принимается только в случае наличия в архиве условий по переплету после сканирования расшитых для оцифровки дел.

По окончании работы дело в обязательном порядке переплетается заново.

Передача документов на оцифровку в специализированное подразделение осуществляется сотрудниками архива, ответственными за создание электронного фонда пользования, и оформляется Заказом (требованием)^[47] на изготовление электронных копий (Примерная форма Заказа (требования) – Приложение № 4), оформленным в соответствии с последовательностью сканирования фондов, зафиксированной в Перечне фондов, предназначенных для оцифровки.

В Заказе (требовании) на изготовление копий отмечается:

Основание для оцифровки (в случае выполнения плановых работ – ссылка на позицию в Ежегодном Перечне фондов, предназначенных для оцифровки; в случае выполнения заказа в иных целях – указание №, даты и названия документа, на основании которого производятся работы, целей выполнения работ, реквизитов заказчика).

Учетные шифры (номер фонда, номер описи, номер ед.хр., номера листов (оборотов – если необходимо).

Количество листов/оборотов листов, предназначенных для оцифровки.

Разрешение, формат, носитель (для заказов, выполняющихся не в рамках программы оцифровки архива).

Примечание (указание на особые требования по сохранности, необходимость применения специализированных методов оцифровки, возможность использования прижимного стекла и/или графической обработки (для заказов, выполняющихся не в рамках программы оцифровки архива)).

Дата передачи на оцифровку,

Дата выполнения заказа;

Дата получения заказа (для заказов, выполняющихся не в рамках программы оцифровки архива);

Дата возвращения подлинников в хранилище;

Шифр и место хранения электронной мастер-копии (на встроенном носителе и внешних носителя);

Шифр и место хранения электронной рабочей копии (на внешнем носителе);

Шифр и место хранения копии второго поколения (при необходимости – для заказов, выполняющихся не в рамках программы оцифровки архива).

Заказ (требование) на изготовление электронных копий ФП архивных документов подписывается директором или заместителем директора (главным хранителем фондов).

Бланк заказа составляется в необходимом количестве, но не менее чем в 2-х экземплярах. Один экземпляр хранится в централизованном учёте в делах фондов, другой – в отделе обеспечения сохранности документов или в структурном подразделении, в котором осуществляется централизованное хранение электронного фонда пользования архива. Бланк заказа регистрируется в Журнале учета заказов на создание электронных копий документов (Приложение № 5). Журнал ведется в структурном подразделении, на которое возложен функционал по созданию электронных копий.

Журнал оформляется по правилам оформления учетной документации архива, т.е. его листы прошиваются, пронумеровываются; их количество указывается в листе-заверителе^[48]. Графы в журнале и записи ведутся в разворот. Допустимо ведение Журнала учета заказов в электронном виде.

Исполнители несут персональную ответственность за сохранность подлинников архивных документов в течение всего времени работы с ними.

Во избежание повторного сканирования одних и тех же документов (рескана) сотрудники, заполняющие заказы и ведущие журнал, обязаны перед передачей-приемом документов на сканирование убедиться в том, что документы прежде не проходили процедуру оцифровки.

В случае если документ уже оцифрован, все работы по выполнению заказа производятся с его рабочей электронной копией.

Повторное сканирование (оцифровка) (рескан) документов недопустимо!^[49]
 

2.14. Оцифровка (сканирование) документов.
Общие подходы и требования

Решение о способе цифровой обработки (сканирование или цифровая съемка) принимает зав. структурным подразделением, на которое возложен функционал по созданию электронных копий.

Независимо от целей, задач, требований заказов и т.п. архивный документ оцифровывается однократно.

В результате процесса оцифровки создается электронная мастер-копия документа.

Требования по созданию мастер-копии: 

Требования общего характера:

1. Единицы хранения, отдельные архивные документы оцифровываются в полном объеме, включая обложки, шмуцтитулы, листы со служебной информацией, оборотные стороны и т.п.

2. Допустимо не оцифровывать «пустые» (незаполненные символьной (текстом), графической и иной информацией, непронумерованные) листы (страницы), входящие в состав единицы хранения (документа), при обязательной оцифровке листа-заверителя и специальной отметке в сопроводительной документации^[50][51] (в описании электронной копии) о том, какие именно и по какой причине листы (страницы) не оцифровывались.

3. Неразброшюрованные дела оцифровываются в разворот, отдельные документы – полистно (включая оборотную сторону).

4. Полистная оцифровка неразброшюрованных дел возможна только в случае, когда формат листов (в высоту) превышает размер сканирующего стола, и дела необходимо располагать на столе горизонтально.

5. В случае если в составе дела находятся документы разных размеров, необходимо использовать белые листы бумаги для подкладки их под небольшие документы с тем, чтобы следующий документ бОльшего размера не предъявлялся на изображении.

6. Нежелательна пофрагментная оцифровка большеформатных подлинников с последующей компьютерной «склейкой» («стикингом») изображения. Для оцифровки большеформатных документов рекомендуется использовать специализированные сканеры формата А1-А0 или цифровой фотоаппарат.

7. В случае если архивный документ представляет собой трехмерный объект (например, книжное/альбомное издание, свиток, рулон и т.п.), кроме оцифровки его обложки, шмуцтитула и страниц с помощью сканера, необходимо также создание цифровой фотографии предмета, отражающей его физические размеры и форму, а также имеющиеся особенности (книжный корешок, три обреза книги, застежки и т.п.).

8. В случае если документ хранится в сложенном виде, кроме оцифровки его лицевой и оборотной стороны в развернутом виде, необходимо также оцифровать его во всех вариантах сложения в случае, если варианты сложения имеют самостоятельную информационную ценность (например, надписи на внешних сторонах писем–треугольников периода Великой Отечественной войны).

9. В случае если документ представляет собой телетайпную или телеграфную ленту, книгу, выполненную азбукой Брайля, имеет филиграни, рельефные изображения, подчистки, исправления и т.п. и/или иные детали, видимые только при определенном освещении или под углом, его сканирование производится с использованием специального оборудования. Если подобное оборудование отсутствует, то особенности документа подробно описываются в сопроводительной документации, в том числе в программе учета и описания электронных копий.

10. Если архивный документ имеет историческую упаковку (конверт, папку, обложку, кофр и т.п.) в обязательном порядке необходимо создать электронную копию данной упаковки, применив при необходимости цифровой фотоаппарат.

11. При оцифровке сложных объектов (например, фотоальбомов), где на странице расположено несколько архивных документов (фотографий), демонтаж которых невозможен, создается электронная копия страницы в целом, а затем с помощью специальных установок сканирующего оборудования – каждого документа (фотографии) в отдельности.

12. В случае изменения внешнего вида подлинника архивного документа (например, в результате реставрации), документ оцифровывается повторно, а утратившая актуальность мастер-копия заменяется на новую и отправляется в архив.

13. При оцифровке желательно располагать на поверхности сканера две линейки, демонстрирующие физические размеры документа.

14. При оцифровке документа (единицы хранения) необходимо следить, чтобы граница области сканирования отстояла на 0,5–1 см от края документа с тем, чтобы на изображении были видны его края.

15. Использование прижимного стекла сканеров нежелательно в случае если:

    • толщина дела превышает глубину книжной колыбели;

    • дело сшито таким образом, что при его раскрытии на 180 градусов у корешка возникает «волна» и появляется возможность нанесения вреда документам;

    • при сканировании иллюминированных или пергаменных рукописей и книг.

Технические требования к созданию мастер-копии с помощью сканирующего оборудования:

Ежедневно работа по созданию электронных копий должна начинаться с:

• проведения регламентной настройки сканирующего оборудования с помощью набора для калибровки сканера (калибровочных таблиц);

• проведения калибровки монитора компьютера.

• проведения процедур настройки оборудования в соответствии с «Методическими рекомендациями, программным обеспечением оценки и контроля качества функционирования сканирующего оборудования при выполнении работ по оцифровке архивных документов в российских государственных архивах».

Все три вида настройки должны проводиться после каждого (любого) отключения оборудования.

Результаты настройки оборудования ежедневно должны фиксироваться в Журнале создания электронных копий или Протоколе проведения регламентной настройки. (Приложение № 6).

Проведение процедуры настройки сканера не исключает использования в процессе оцифровки (создания мастер-копии архивных документов на бумажной основе) специальных тест-объектов (цветной и серой шкал, технических мир^[52]), предназначенных для осуществления последующего контроля цветности, контрастности и четкости электронного изображения в процессе его хранения. Шкалы размещаются рядом с подлинником и обязательно должны попасть в область сканирования. В этом случае электронная мастер-копия обязательно должна содержать в себе изображения подлинника архивного документа и тест- объектов.

Однако, учитывая то, что стоимость тест-объектов и технических мир достаточно высока, при проведении оцифровки архивных документов можно ограничиться проведением трех видов настройки оборудования, описанных выше.

В целях исключения повторной оцифровки документов создание мастер-копии производится с максимально возможными техническими параметрами:

Разрешение не менее 300 dpi – для оцифровки документов формата А4 и более;

Разрешение не менее 600 dpi – для оцифровка документов формата менее А4;

Цветной режим True color.

Подробнее см. Таблицу № 1.

При сканировании документов, имеющих тонкие линии, мелкие детали, фотодокументов, для гарантии воспроизведения чертежей, карт, а также документов в плохом физическом состоянии разрешение должно быть не менее 600 dpi.

Таблица № 1

Основные параметры процесса создания электронных копий архивных документов

 
Если документ содержит угасший, или плохо читаемый текст, создаются два варианта электронной мастер-копии: в цветном режиме и в режиме «оттенки серого».

При этом в зависимости от возможностей сканирующего оборудования, возможны следующие способы решения проблемы:

А) однократное сканирование документа в случае, если сканирующее оборудование имеет программное обеспечение, позволяющее осуществлятьперевод изображения из цветного формата в формат градации серого и в черно-белый, а также дает возможность сохранять изображение в нескольких экземплярах.

Б) допустимо повторное сканирование документа в режиме «оттенки серого» в случае, если сканирующее оборудование не имеет программного обеспечения, позволяющего преобразовывать полученное цветное изображение в изображение в режиме «оттенки серого»^[53] .

Каждое отдельное изображение (обложка, разворот, страница, оборотная сторона и т.п.) оцифрованного документа является отдельным файлом, который автоматически нумеруется по порядку во встроенной в сканирующее оборудование программе оцифровки (в проекте).

Эти файлы, созданные в результате сканирования и представленные в программе оцифровки (в проекте), являются исходными мастер-копиями, максимально качественными в силу отсутствия внешних воздействий (копирования, обновления, репликации, эмуляции, миграции, графической обработки, преобразования в иной формат и т.п.). Однако хранение исходных мастер-копий в проекте возможно только ограниченный период времени, поэтому созданные файлы транслируются из программы сканирования в графический редактор, после чего БЕЗ проведения каких-либо процедур обработки (кроме переименования файлов^[54] ) записываются на встроенные носители информации (сервер, систему хранения данных, электронную библиотеку). Эти первично сохраненные и записанные файлы являются мастер-копиями.

Графическая обработка электронных мастер-копий недопустима!

Мастер-копии должны сохраняться:

в виде отдельных файлов;

в режиме RGB;

в формате *bmp^[55]. Учитывая, что файлы, сохраненные в данном формате, являются слишком объемными, наиболее оптимальным форматом хранения мастер-копий является формат *tiff^[56] без компрессии^[57].

Во избежание утраты цифровой информации на встроенных носителях информации допустима однократная репликация полученных файлов на внешние носители информации – компакт или оптические диски (CD-R, DVD-R)^[58].

Электронные копии на компакт или оптические диски реплицируется, исключая возможность последующей дозаписи информации на данный носитель.

Обязательным является хранение каждого компакт или оптического диска в индивидуальной первичной упаковке (желательно в виде жесткой коробки).

Удаление созданных в результате сканирования и представленных в программе оцифровки (в проекте) файлов из памяти сканирующего устройства и рабочего компьютера до записи полученных файлов на встроенные носители информации и последующей репликации на внешние носители информации категорически не допустимо!

Технические требования к созданию электронных мастер-копий с помощью цифрового фотоаппарата принципиально не отличаются от требований к созданию мастер-копий с помощью сканеров.

Тем не менее, стоит особо подчеркнуть, что цифровая фотосъемка должна производиться с максимально возможным разрешением фотокамеры (не менее 150 DPI), в цветном режиме (исключения описаны выше) и с использованием тест-объектов.

Для представления реальных физических размеров подлинника документа рядом с ним в обязательном порядке необходимо размещать линейки.

При оцифровке документов с использованием цифрового фотоаппарата заголовки изображениям даются автоматически. После переноса кадров с карты памяти на жесткий диск компьютера необходимо в графическом редакторе привести заголовки оцифрованных документов в соответствие с номерами листов подлинника. При этом недопустима какая-либо иная графическая обработка изображений.

Удаление созданных в результате цифровой фотофиксации и представленных на карте памяти фотоаппарата изображений до записи полученных файлов на встроенные носители информации и последующей репликации на внешние носители информации категорически не допустимо!
 

2.15. Контроль качества электронных копий

В настоящее время не существует разработанных и апробированных методик автоматизированного контроля качества создаваемых электронных копий, поэтому целесообразно применять комбинацию методов визуального контроля, перечисленных ниже:

• полистный просмотр и сравнение подлинников документов с электронными копиями;

• сверка соответствия количества электронных файлов количеству листов, проверка последовательности листов;

• проверка наличия электронных копий оборотов листов документов;

• анализ качества изображения на экране монитора с разрешением 1280х1024 точек, в том числе – цветопередача, резкость, контрастность;

• проверка читаемости документа при 200% масштабировании;

• оценка плотности изображения;

• анализ качества распечатки выбранных графических образов, созданной на принтере с разрешением 600 dpi.

Контроль качества электронных копий должен производиться неоднократно на разных этапах создания ЭФП-1:

• на этапе создания мастер-копии в процессе оцифровки;

• после трансляции из программы сканирования в графический редактор перед переименованием (маркировкой) файла и его записью на встроенные носители информации;

• после записи на встроенный носитель информации;

• после репликации файлов на внешние носители информации^[59] – компакт или оптические диски (CD-R, DVD-R).

Результаты каждого этапа контроля качества электронных копий должны документироваться и отражаться в протоколе (акте) контроля (Приложение № 7, 8, 9 10). В случае выявления брака электронной копии на любом из этапов, информация о нем вносится в протокол (акт) соответствующего этапа, который сверяется с протоколом (актом) контроля предыдущего этапа и является основанием для осуществления повторной процедуры работы с электронной мастер-копией.

Возможно осуществлять контроль качества электронных копий с помощью:

• программной верификации данных и подсчетом контрольной суммы CRC^[60];

• программного обеспечения «Silverfast»^[61].

В этом случае в Протоколах (актах проверки) делается специальная отметка о том, какое программное средство использовалось и каковы результаты оценки качества электронной копии, осуществленной с помощью данного программного продукта.

Контроль качества электронных копий должен проводиться по каждому файлу. Выборочная методика контроля допустима в исключительных случаях на однотипных (массовых) источниках.
 

2.16. Маркировка электронных мастер-копий

Каждый файл электронной мастер-копии должен иметь уникальное имя шифр-маркировку. Разработка и внедрение унифицированной маркировки электронных копий имеет целью:

• однозначную идентификацию электронной копии;

• возможность соотнесения мастер-копии с подлинником архивного документа;

• возможность расположения электронных копий листов каждого оцифрованного дела в структуре каталога в порядке возрастания номеров листов с целью облегчения их полистного просмотра.

Основной принцип, который должен соблюдаться при маркировании электронных копий, – включение в структуру имени файла всех элементов архивного шифра документа^[62]. Ниже приводится пример маркирования электронной копии архивного документа (система архивных шифров XX–XXI вв.).

Если архивные шифры документов построены по иной схеме (что характерно для учетной документации XIX – начала XX вв.), для маркирования электронных копий должна быть разработана и внедрена система, полностью воспроизводящая данную схему.

Традиционно имена файлов должны содержать основные поисковые данные архивного документа, разделяемые знаком «_» (подчеркивания), которые включают в себя аббревиатуру названия архива^[63] (или индекс архива в автоматизированной системе), номер фонда, номер описи, номер единицы хранения (дела), номер листа, шифр лицевой стороны или оборота (1 – лицевая сторона; 2 – оборотная сторона), режим сканирования (цв – для цветного; с – для оттенков серого), расширение (формат) хранения.

В качестве дополнений к этой схеме в маркировке также могут присутствовать:

Буквенный индекс фонда^[64], характеризующий, к какому периоду истории относятся данные документы (например, «Р» – советский период) – ставится перед номером фонда;

Литера к номеру описи – ставится после номера описи.

Пример: 01_Р272_3а_964_8_1_цв.TIFF^[65]

01 – индекс архива (или аббревиатура названия архива – например, ГАРФ)

Р – буквенный индекс фонда

272 – номер фонда

3 – номер описи

а – литера к номеру описи

964 – номер единицы хранения (дела)

8 – номер листа

1 – шифр лицевой стороны или оборота

цв – режим сканирования

tiff – формат.

В случае если файл представляет собой изображение листов единицы хранения, оцифрованных в разворот, имя файла будет выглядеть следующим образом:

Пример: 01_Р272_3а_964_8_2_9_1_цв.TIFF

01 – индекс архива (или аббревиатура названия архива – например, ГАРФ)

Р – буквенный индекс фонда

272 – номер фонда

3 – номер описи

а – литера к номеру описи

964 – номер единицы хранения (дела)

8 – номер листа

2 – шифр оборота

9 – номер листа

1 – шифр лицевой стороны

цв – режим сканирования

tiff – формат.

Для маркировки электронных копий документов коллекций (нефондовая организация хранения) предлагается следующая схема маркирования:

Пример: 01_фото_3а_964_8_1_цв.TIFF, где

01 – индекс архива (или аббревиатура названия архива – например, ГАРФ)

Фото – название коллекции;

3 – номер описи

а – литера к номеру описи

964 – номер единицы хранения (дела)

8 – номер документа

1 (2) – шифр лицевой стороны (оборота)

цв – режим сканирования

tiff – формат.

Принцип маркирования должен быть унифицирован для всего массива оцифрованных документов.

Процедура маркирования файлов электронных копий с указанием всех сигнатур осуществляется в ручном режиме, что тормозит процесс создания электронных копий, но позволяет в случае необходимости организовать отдельное от электронных систем учета хранение электронных массивов графических образов.

Файлы гистрограмм (при необходимости) маркируются также, но в позиции «режим сканирования» ставится обозначение «гр».
 

2.17. Структура каталогов на встроенных носителях информации
(хранение электронных мастер-копий)

Организация хранения электронных мастер-копий на встроенных носителях информации (сервер, система хранения данных, электронная библиотека, RAID-массив) должна соответствовать принципам иерархического учета и описания архивных документов и состоять из набора вложенных папок:

Папка: № фонда

Папка: № описи

Папка: № единицы хранения

Папка: № листа (диапазон № листов) документа

Папка: Цвет (цветная электронная копия)

Файлы в порядке возрастания номеров листов

Папка: Оттенки серого (электронная копия, выполненная в режиме «оттенки серого» – если необходимо)

Файлы в порядке возрастания номеров листов

Папка: (при необходимости) файлы гистограмм для отдельных электронных копий

Файлы в порядке возрастания номеров листов.
 

2.18. Хранение электронных мастер-копий на встроенных носителях

Электронные мастер-копии необходимо хранить на сервере/ системе хранения данных/ в электронной библиотеке с обязательной формированием RAID-массивов, применяемых с целью предотвращения утраты информации и повышения надёжности хранения данных.

Структура хранения цифровой информации на RAID-массиве должна полностью совпадать с основным хранением на сервере/ в системе хранения / в электронной библиотеке.

В этом случае обе электронные мастер-копии (на сервере в системе хранения / в электронной библиотеке и на RAID-массиве) носят статус неприкосновенных, доступ к которым максимально ограничен.

Репликация мастер-копий на сервер и RAID-массив оформляется Актом (Приложение № 11).
 

2.19. Запись электронных мастер-копий на внешние носители информации

По окончании создания электронных мастер-копий и размещении их в соответствующем разделе каталога на встроенном носителе и в RAID-массиве, необходимо произвести репликацию электронных мастер копий^[66] на внешние носители информации, которые будут являться контрольным экземпляром мастер-копии и должны храниться в другом подразделении архива (отделе обеспечения сохранности документов).

Электронные копии на компакт или оптические диски реплицируется, исключая возможность последующей дозаписи информации на эти электронные носители.

Процесс репликации актируется (Приложение № 11-а).

Одновременно на основе актов ведется Журнал репликации электронных копий (мастер-копий) (Приложении № 12).
 

2.20. Создание и маркировка рабочих электронных копий

Для обеспечения возможности активного пользования созданными электронными копиями необходимо изготовить рабочий экземпляр электронных копий для создания копий второго и последующего поколений.

Для этого производится повторная репликация электронных копий на другой комплект внешних носителей информации, подтвержденная составлением акта (Приложение № 11-а. Форма совпадает с формой Акта репликации электронных мастер-копий на внешний носитель).

Одновременно на основе актов ведется Журнал репликации электронных рабочих копий (Форма журнала совпадает с формой Журнала репликации электронных мастер-копий (Приложении № 12)).

Рабочие экземпляры электронных копий делаются с мастер-копий, выполненных с максимальным разрешением и сохраненных в формате *tiff.

Электронные копии на компакт или оптические диски реплицируется, исключая возможность последующей дозаписи информации на эти электронные носители.

Основные рекомендации по параметрам создания рабочих копии (ЭФП-2) представлены в Таблице № 2.

Таблица № 2

Основные параметры процесса создания рабочих электронных копий архивных документов

 
Если в дальнейшем в процессе активного использования рабочей копии потребуется ее замена, то создание новой рабочей копии (повторная репликация) возможно только:

1) в структурном подразделении, на которое возложен функционал по созданию электронных копий архивных документов;

2) на основании:

• Заказа (требования) на репликацию (повторное создание) рабочей копии с приложением

• Акта технического состояния внешнего носителя (рабочей копии) с указанием возникших проблем (причин ее замены) (Приложение № 13);

• Акта об уничтожении внешнего носителя рабочей копии (Приложение № 14)^[67].

При этом создаются новый Акт на репликацию, делается новая отметка в Журнале регистрации репликаций электронных рабочих копий. В старой записи делается отметка об уничтожении (проставляется ссылка на № и дату Акта об уничтожении внешнего носителя информации).

Созданной новой рабочей копии присваивается маркировка уничтоженной копии (см. п. 2.22. Поле «дата создания копии» заполняется актуализированной информацией).

В Журнале регистрации дисков рабочих копии (ЭФП-2) (См. п. 2.24, Приложение № 17) в поле «Примечание» записи о первой рабочей копии делается отметка об Акте технического состояния копии и Акте ее уничтожения. Вновь созданная вторая рабочая копия проходит повторную регистрацию (п. 2.24)^[68].

Копирование рабочих копий или создание с них копий второго и последующего поколений в других подразделениях архива и без соблюдения описанной процедуры недопустимо.

Внешний носитель с записанными на него рабочими копиями остается в структурном подразделении, на которое возложен функционал создания электронных копий архивных документов для использования и создания производных копий.
 

2.21. Обеспечение аутентичности, достоверности и целостности электронной копии

Согласно ГОСТ 15489–1–2007, чтобы обеспечить аутентичность, достоверность и целостность документов (в том числе и электронных копий любого порядка), необходимо внедрить и документально зафиксировать процедуры контроля над созданием, полнотой и неизменностью, получением, передачей, сохранением и отбором документов и тем самым гарантировать, что создатели документов уполномочены на это и идентифицированы, а документы защищены от несанкционированного дополнения, удаления, изменения, использования и сокрытия (засекречивания). Из данного определения следует, что обеспечение данных характеристик электронных копий возможно только в результате разработки, внедрения и использования системы учета и управления цифровым контентом, в которой электронные копии документов должны быть учтены, сопровождены и связаны «с метаданными, отражающими операции, совершаемые с ними в процессе деловой деятельности», и неукоснительного соблюдения соответствующих регламентов управления цифровыми ресурсами.
 

2.22. Маркировка внешних носителей информации

Для каждого внешнего носителя информации создается свой информационный вкладыш. На вкладышах к внешним носителям информации (CD-R, DVD-R)^[69], на которые произведена репликация электронных мастер-копий и рабочих копий, должны быть указаны:

название архива;

порядковый номер диска (носителя информации) – присваивается в валовом порядке;

даты оцифровки;

дата записи диска;

количество файлов;

объем файлов (Мб) (с уточнением: общий, свободный, занятый – при необходимости);

тип диска (электронные мастер-копии – подлинник^[70]);

а также полный перечень имен файлов, записанных на данный носитель.

Пример:

ГА РФ, диск №1; 22.07.2012. 523 ф-ла, 3,83 Гб, ЭФП-1 – подлинник; Ф.Р-499, оп.1, д.1-8

имя файла

имя файла

…..

Маркировка внешних носителей рабочих копий производится тем же способом, а в позиции «тип диска» пишется «тип диска (электронные копии – рабочая копия (дубликат))».

Форма вкладыша – Приложение № 15.
 

2.23. Контроль качества внешних носителей информации

После записи оптических дисков необходимо произвести их тестирование и контроль качества (читабельности):

• визуальный контроль ведется одновременно с записью диска и фиксируется в Журнале технического состояния и диагностики внешних носителей (Приложение № 16);

• проверка на сбои при считывании с помощью утилиты «Scan Disc»

• проверка читабельности информации, записанной на носителе с помощью программных и технических средств; оценка физического состояния сохранности носителя.

Результат контроля оформляется актом. (Приложение № 13, п.&nnbsp;1.1.)

Подобный контроль необходимо проводить в режиме осуществления регламентных работ не реже 1 раза в год для всех имеющихся внешний (дисковых) носителей информации.
 

2.24. Регистрация носителей

Каждый внешний носитель информации должен быть зарегистрирован в Журналах регистрации внешних носителей информации:

Журнал регистрации внешних носителей (дисков) с электронными мастер-копиями (ЭФП-1);

Журнал регистрации внешних носителей (дисков) рабочих копии (ЭФП-2).

Журнал регистрации внешних носителей (дисков) с копиями второго и последующих поколений (ЭФП-3).

(Формы всех трех журналов незначительно отличаются друг от друга. Приложение № 17)

Регистрация производится сотрудником структурного подразделения, на которое возложен функционал создания электронных копий по завершении записи каждого нового диска.

Журналы должны быть прошиты, листы пронумерованы, их (листов) количество отражено в листе-заверителе или заверительной записи в конце журнала. Журналы ведутся в разворот.
 

2.25. Передача внешних носителей информации на хранение

Записанные внешние носители с электронными мастер-копиями архивных документов передаются в отдел обеспечения сохранности документов или подразделение архива, на которое возложен функционал по хранению фонда пользования архива, по акту приема-передачи мастер-копий на хранение (Приложение № 18), составленному в структурном подразделении, на которое возложен функционал создания электронных копий.

Прием внешних носителей осуществляется в одном экземпляре единиц хранения – контрольном, на котором записаны электронные мастер-копии.

При приеме электронных копий сотрудником отдела обеспечения сохранности документов или подразделения архива, на которое возложен функционал по хранению фонда пользования архива, составляется научно-справочный аппарат (опись (Приложение № 19), удостоверяющий лист к описи, карточкам электронных носителей) и другая сопроводительная информация, проверяется комплектность изготовления электронных копий, визуально-техническое состояние.

Внешние носители с электронными рабочими копиями хранятся в структурном подразделении, на которое возложен функционал создания электронных копий, и используются для изготовления копий различного назначения.
 

2.26. Создание электронных копий второго и последующих поколений
для разных целей (ЭФП-3)

Создание производных электронных копий архивных документов осуществляется в структурном подразделении, на которое возложен функционал создания электронных копий, на основании Заявки (требования) на изготовление электронной копии с рабочей копии, записанной на внешний носитель (Приложение № 4).
 

2.27. Рекомендации по техническим параметрам создания электронных копий
второго и последующих поколений

На основе анализа целей создания и использования электронных копий второго и последующего поколений, эти копии можно разделить на:

А. Копии для использования в компьютеризированных читальных залах:

в автоматизированных системах для читальных залов;

для предоставления читателям на оптических дисках

Б. Копии для представления в сети Интернет

В. Копии для обеспечения доступа к архивным документам в соответствии с положениями пп.№ 1.1^[71] Статьи 24 «Доступ к архивным документам» Федерального закона от 22.10.2004 № 125-ФЗ «Об архивном деле в Российской Федерации» (в ред. Федерального закона от 27.07.2010 № 227-ФЗ)

Г. Копии, предоставляемые в рамках выполнения заказов пользователей.

Д. Копии, создаваемые для формирования страхового фонда на микроносителях.

Основные рекомендуемые технические параметры для каждого из четырех видов электронных копий второго и последующих поколений приведены в Таблице.

Таблица № 3

Основные параметры электронных копий второго и последующих поколений различного назначения

Комментарии к Таблице.

А. Копии для использования в компьютеризированных читальных залах

Технические параметры, параметры контроля:

в зависимости от условий целесообразно создавать:

с максимальным разрешением в 300 dpi, в двух режимах (цветном и оттенках серого – при необходимости) и представлять отдельными файлами страниц (разворотов) в формате *jpg^[72], организованными в соответствии с архивным расположением документов, представленным в структуре каталога;

с разрешением не более 150–200 dpi в формате электронной книги PDF^[73] (или многостраничный *tiff^[74]).

Электронные копии в формате *jpg создаются в графическом редакторе Adobe PhotoShop, маркируются и размещаются в структуре каталогов на внешних носителях аналогично описанному в п. 2.16, 2.17.

Электронная книга создается с использованием приложения для преобразования Post Script-файлов в PDF-файлы Adobe Acrobat Distiller. Работы по формированию электронной книги производятся только в структурном подразделении, на которое возложен функционал создания электронных копий архивных документов.

Электронная книга составляется последовательно из образов оцифрованных листов/ оборотов подлинника согласно нумерации листов документа. Маркировка полученного файла производится аналогично описанной в п. 2.16. Однако в позиции «лист» указывается диапазон листов, представленных в электронной книге (например: 1–130).

Полученная в результате преобразований электронная книга проверяется полистно и сверяется с подлинником. Также контролируется также качество всех электронных копий, включенных в нее. Результаты контроля оформляются Актом создания электронной книги (Приложение № 20), который оформляется до передачи электронной книги, записанной на внешний носитель, в читальный зал для использования.

Применение графических редакторов, ретушь, повышение контрастности и иные способы графической обработки электронных копий документов^[75] нежелательны. Если подобная графическая обработка электронных копий все же была проведена, все ее этапы и содержание должны быть отражены в описании представленной электронной копии, размещенном либо на вкладыше к носителю информации, либо в примечаниях к описанию документа, находящихся в автоматизированных системах читального зала.

Репликация на внешние носители, интеграция в автоматизированные программы:

Запись на внешние носители электронных копий для читального зала производится только в структурном подразделении, на которое возложен функционал создания электронных копий. Количество и вид внешних носителей (CD-R, DVD-R) с идентичным содержанием определяется сотрудниками читального зала и указывается в бланке Заказа (требования) (Приложение № 4).

Записанные на оптические диски копии для читального зала передаются сотрудникам читального зала по Акту приема-передачи (Приложение № 21). Порядок их использования в читальном зале определяется правилами работы читального зала.

Для хранения оптических дисков в служебных помещениях читального зала должны быть обеспечены условия в соответствии с требованиями, изложенными в главе II «Организация хранения документов Архивного фонда Российской Федерации и других архивных документов в архиве» «Правил организации хранения, комплектования, учета и использования документов Архивного фонда Российской Федерации…»

Интеграция электронных копий в автоматизированную систему читального зала производится с внешних носителей, на которые записаны электронные копии для читального зала. Результат интеграции копий оформляется Актом приема-передачи электронных копий на хранение (Приложение № 21).

Условия представления и использования электронных копий в автоматизированных системах определяются функциональностью используемого программного обеспечения.

Б. Копии для представления в сети интернет

Созданию электронных копий в этих целях посвящены «Рекомендации по созданию интернет-выставок архивных документов», разработанные в 2012 г. РГАНТД по заказу Федерального архивного агентства.

В рамках настоящий Методических рекомендаций необходимо еще раз обратить внимание на то, что рекомендуемым разрешением для электронных копий архивных документов, представляемых в сети Интернет, является «72 dpi. Оптимальный размер одного файла – до 100 кб;

– для сохранения изображений следует использовать формат JPG (JPEG)^[76] с максимально возможной степенью сжатия…. В большинстве случаев приемлемо 60% сжатие;

– для создания анимированных (движущихся) картинок, изображений с «прозрачными» областями, с повышенными требованиями к четкости деталей, а также графиков, схем и пр. рекомендуется использовать формат GIF^[77].»

К данным рекомендациям можно добавить, что для многостраничных файлов может быть использован также формат сжатия *pdf.

Целесообразно защищать электронную копию архивного документа, размещенную в сети Интернет, «водяным знаком» (watermark) с изображением логотипа или названия (аббревиатуры названия) архива, созданным с помощью специализированного программного обеспечения (к примеру: Watermark Master^[78], Easy Watermark Creator 3.0^[79] и т.п.).

Размещение электронной копии в сети Интернет в соответствии с действующим законодательством Российской Федерации является формой публикации архивного документа.

В этом случае, по действующим «Правилам издания исторических документов в СССР»^[80] в сопроводительных материалах (описанию) к каждому из публикуемых документов (электронной копии № поколения) должно быть указано, какие работы по его графической обработке (ретушированию) проводились, что и как корректировалось, должны быть указаны фамилия и инициалы специалиста, проводившего графическую обработку электронной копии^[81].

В. Копии для обеспечения доступа к архивным документам в соответствии с положениями пп.№ 1.1^[82] Статьи 24 «Доступ к архивным документам» Федерального закона от 22.10.2004 № 125-ФЗ «Об архивном деле в Российской Федерации» (в ред. Федерального закона от 27.07.2010 № 227-ФЗ)

В таблице определены технические характеристики для создания данных копий.

В связи с тем, что одним из атрибутов электронного документа является электронная цифровая подпись, рекомендуется для предоставления электронных копий архивных документов в виде электронного документа использовать формат *pdf/a^[83], позволяющий интегрировать ЭЦП.

Следует особо отметить, что практического опыта предоставления электронных копий архивных документов в форме электронных документов на сегодняшний день не имеется. Поэтому данные рекомендации следует использовать с известной долей осторожности.

Г. Копии, предоставляемые в рамках выполнения заказов пользователей

Технические параметры создания и предоставления электронных копий архивных документов в Таблице отсутствуют, т.к. во многом определяются содержанием заказов пользователей.

Тем не менее, эти параметры не могут превышать параметры, описанные для создания электронных мастер-копий, чтобы не приводить к повторной оцифровке подлинников. Поэтому, целесообразно, чтобы максимальные параметры электронной копии, предоставляемой в рамках выполнения заказа, не превышали размер разрешения, с которым создана электронная мастер-копия.

формат сжатия *tiff без компрессии.

Максимальные технические характеристики электронных копий, предоставляемых в рамках выполнения заказов, должны быть зафиксированы в утвержденном дирекцией архива Прейскуранте и доводиться до сведения заказчиков.

В бланке Заказа (требования) на создание электронной копии (Приложение № 4) необходимо обязательно указывать, с какой целью создается электронная копия, ту же информацию необходимо вносить в систему учета электронных копий.

Если электронная копия архивного документа предназначается к публикации, то в форму Договора на выполнение услуги по подготовке электронной копии необходимо внести пункт, обязывающий автора предоставить библиотеке архива экземпляр издания с осуществленной публикацией.

Передача Заказчику выполненной по его заказу электронной копии, записанной на внешний носитель, осуществляется по Акту (Приложение № 22).

Д. Копии, создаваемые для формирования страхового фонда на микроносителях

Технические параметры создания электронных копий архивных документов для формирования страхового фонда на микроносителях определяются технологическими требованиями COM-систем.
 

2.28. Нормы выработки при оцифровке архивных документов

Нормы выработки^[84] при оцифровке архивных документов устанавливаются эмпирическим (опытным) путем или путем самофотографирования и зависят от возможностей оцифровывающего оборудования, опыта сотрудников, занимающихся оцифровкой и характеристик подлинника^[85] и других условий.

В качестве опорного документа для разработки норм выработки при оцифровке архивных документов можно использовать Межотраслевые укрупненные нормативы времени работы по документационному обеспечению управления. – М., ВНИИДАД, 1995.

Недопустимо совмещение работ по оцифровке с другими видами работ (выемкой дел, оформлением передачи, регистрацией, переименованием, записью на носители и т.п.).

В Таблице приводятся максимальные и минимальные значения количества файлов электронных копий, на которые можно ориентироваться при разработке собственных нормативов.

Необходимо обратить внимание на то, что приведенные объемы значительно меньше, аналогичных установленных норм в коммерческих компаниях, специализирующихся на оцифровке архивных документов, что объясняется бóльшим вниманием к качеству получаемых электронных копий.

Все виды бумажных носителей.

Нормы создания электронных копий архивных документов^[86] в зависимости от категорий сложности документов

 
Нормы установлены на рабочий день продолжительностью 8 часов. Продолжительность непрерывной работы специалистов с компьютерной техникой не должна составлять более двух часов^[88]. После каждого часа работы обязателен перерыв не менее 10 минут.

В качестве примера разработанных норм в Приложении № 24 приведен хронометраж работ, выполненный в Государственном архиве Красноярского края.
 

2.29.–2.30. Возврат подлинников документов в хранение.
Отметки об оцифровке в описях подлинников документов

По возвращении подлинников документов в хранение, в описях фондов (описях и номерниках ОЦ документов, Книгах учета и описания фотодокументов) в графе «Примечание» напротив заголовка оцифрованной для ЭФП единицы хранения, проставляется штамп «ЭФП» и маркировка внешнего носителя мастер-копии. Если оцифрованы все дела, включенные в опись, то штамп «ЭФП» достаточно проставить только на титульном листе и обложке описи, указав маркировку всех носителей мастер-копий.

Сведения о создании копий ЭФП вносятся в раздел 6 Листа учёта и описания уникального документа с указанием даты копирования и вида носителя копии.

[33] Правила организации хранения, комплектования, учета и использования документов Архивного фонда Российской Федерации и других архивных документов в государственных и муниципальных архивах, музеях и библиотеках, организациях Российской академии наук (утв. 18.01.2007),

ГОСТ Р 33.505-2003 Единый российский страховой фонд документации. Порядок создания страхового фонда документации, являющейся национальным, научным, культурным и историческим наследием.

ГОСТ Р 33.1.02-2008 Единый российский страховой фонд документации. Страховые копии кинодокументов и фотодокументов. Общие технические условия.

ГОСТ Р 33.3.02-2008Единый российский страховой фонд документации. Страховые копии документации, являющейся национальным научным, культурным и историческим наследием. Общие требования к условиям хранения.

[34] В случае если хранение электронных копий осуществляется на электронных носителях (однократно записываемые диски CD-R и DVD-R). В случае если хранение электронных копий осуществляется с использованием накопителей электронной информации (жестких дисков, серверов, электронных библиотек) в структуру информационного массива необходимо включать текстовый файл (формат .txt) с перечнем хранящихся на носителе электронных копий.

[35] См. предыдущую сноску.

[36] В п. 2.6. – 2.8. описывается идеальная модель организации работ по созданию электронных копий.

Решение о создании специализированного структурного подразделения, на которое возложены функции по созданию электронных копий архивных документов, принимается руководством архивного учреждения, исходя из конкретных обстоятельств (наличия штатных единиц, сотрудников, оборудования, объемов работ и т.п.).

Возможно выполнение данного вида работ сотрудниками иных структурных подразделений архива, на которые возложен данный функционал. При этом желательно выделить в имеющемся структурном подразделении самостоятельное направление по созданию ЭФП, сотрудники которого не должны заниматься выполнением других видов работ (т.е. без совмещения).

[37] Приказ Министерства здравоохранения и социального развития Российской Федерации № 338н от 11 апреля 2012 г. «Об утверждении Единого квалификационного справочника должностей руководителей, специалистов и служащих, раздел «Квалификационные характеристики должностей работников государственных архивов, центров хранения документации, архивов муниципальных образований, ведомств, организаций, лабораторий обеспечения сохранности архивных документов».

[38] RAID – массив (англ. redundant array of independent disks – избыточный массив независимых жёстких дисков) – массив из нескольких дисков, управляемых контроллером, взаимосвязанных скоростными каналами и воспринимаемых внешней системой как единое целое. В зависимости от типа используемого массива может обеспечивать различные степени отказоустойчивости и быстродействия. Служит для повышения надёжности хранения данных и/или для повышения скорости чтения/записи информации (RAID 0).

[39] Коханова И.О. Оцифровка и микрофильмирование как средства сохранения документов. // Вестник ХДАК. Вып. 29, 2010; Юмашева Ю.Ю. Создание электронных копий архивных документов: проблемы и возможные решения. Нормативно-технические и технологические аспекты создания электронных копий документов. Материалы Проблемного семинара и круглого стола в рамках 18-ой Международной Конференции «Крым 2011». «Библиотеки и информационные ресурсы в современном мире науки, культуры, образования и бизнеса». 4–12 июня 2011, г. Судак, Автономная республика Крым. М., ЗаО «ДиМи-Центр», 2011.

[40] Отчет по НИР «Разработка методических рекомендаций по выбору сканирующего оборудования, способного удовлетворить потребности российских архивов». [Электронный ресурс.] / Федеральное архивное агентство. Официальный сайт. Режим доступа к сайту: URL: http://archives.ru/documents/recomendacii-vybor-scan-oborudovanija-2011.shtml (дата обращения: 12.09.2012).

[41] MregForm.[Электронный ресурс.] / Архивы России. Режим доступа к сайту: URL: http://www.rusarchives.ru/8765sdjhg5680954365s/MprArc/MprArc.rar (дата обращения: 12.09.2012).

[42] Автоматизированный контроль качества процесса создания электронных копий является наиболее объективным методом оценки (Гаврилин А., Завалишин П. Современное состояние проблемы оценки качества сканирования бумажных документов. // Нормативно-технические и технологические аспекты создания электронных копий документов. Материалы Проблемного семинара и круглого стола в рамках 18-ой Международной Конференции «Крым 2011». «Библиотеки и информационные ресурсы в современном мире науки, культуры, образования и бизнеса» 4–2 июня 2011, г. Судак, Автономная республика Крым. М., ЗаО «ДиМи-Центр», 2011). По состоянию на 01.10.2012 г. в мире имелись только две методики, использующие программные средства (специализированное ПО) для оценки качества изображений. Они разработаны и применяются в Библиотеке Конгресса США (ANSI/AIIM MS44-1988 R1993 «Руководящие указания для контроля качества сканеров изображений») и в Королевской библиотеке Нидерландов – Национальная программа сохранения «бумажного» культурного наследия – проект Метаморфоза: Metamarfoze Preservation Imaging Guidelines. [Электронный ресурс.] / Metamorfoze. Режим доступа к сайту: URL: http://www.metamorfoze.nl/sites/metamorfoze/files/bestanden/richtlijnen/guidelinespijune07. pdf). (дата обращения: 12.09.2012).

Вместе с тем, существует и действует система стандартов на тест-объекты для сканирования черно-белых и цветных офисных документов (ISO 12653–1, ISO 29861), которые, не являясь программными средствами, позволяют оценить качество оцифровки современной документации, а при условии применения определенных математических моделей и процедур – качество процесса оцифровки, которое обеспечивает сканирующее оборудование. Совмещение тест- объектов и математической модели в рамках осуществления научно-практической работы, выполненной по заказу Федерального архивного агентства, позволило сотрудникам НИИ репрографии (г. Тула) разработать и апробировать отечественную методику контроля качества цифровых копий документов, полученных сканированием, а также разработать специализированное программное обеспечение (Клещарь С.Н. «Методика «Контроль качества цифровых копий документов, полученных их сканированием». Программа автоматизации основных процессов контроля качества процесса сканирования». [Электронный ресурс.] / ГПНТБ Режим доступа к сайту: URL: http://www.gpntb.ru/general/index.php?option=com_content&task =view&id=1695&Itemid=177). (дата обращения: 12.09.2012).

[43] Промежуточным вариантом между планетарным сканером и цифровой фотокамерой является сканирующее оборудование (сканер), основанное на применении цифровых фотокамер (встроенная фотоматрица).

[44] Технологические помещения – помещения, где проводятся все производственные процессы создания электронных копий архивных документов.

[45] Сан ПиН 2.2.2/2.4. 1340-03. Гигиенические требования к персональным электронно-вычислительным машинам и организации работы. Введ. 2003-06-30. М.: Минздрав России, 2003.

[46] «Правила организации хранения, комплектования и учета …», 2007, п. 2.11.10 – 2.11.11.

[47] В практике работы архивов передача архивных документов внутри архива оформляется Требованием (см. «Правила организации хранения, комплектования и учета…, п. 2.11.10.2).

[48] См. Приложение № 3 к «Правилам организации хранения, комплектования, учета и использования документов Архивного фонда Российской Федерации…»

[49] Результаты современных исследований свидетельствуют о том, что даже однократное сканирование документа сокращает его «жизнь» на срок от 25 до 50 лет в зависимости от носителя информации и применяемого сканирующего устройства (см.: Кащеев А.А. Воздействие сканирующего оборудования на бумажные первоисточники: мифы и реальность. Материалы Проблемного семинара «Создание качественного цифрового документа – проблемы и решения» в рамках 19-ой Международной Конференции «Крым 2012». «Библиотеки и информационные ресурсы в современном мире науки, культуры, образования и бизнеса». 2–9 июня 2012, г. Судак, Автономная республика Крым), что опровергает выводы, сделанные «Рекомендациях по оценке состояния документов государственных архивов при проведении работ по хранению, использованию, специальной обработке документов с учетом их свойств, потенциальной долговечности и специфики дефектов» / Привалов В.Ф., ВНИИДАД, М., 2009.

[50] В том числе в программе учета и описания электронных копий.

[51] Данное положение не относится к листам с филигранями и другими особенностями.

[52] ISO 12653-2:2000. Обработка изображений электронная. Тест-объект для черно-белого сканирования офисных документов; ISO 29861:2009. Прикладные системы управления документами. Контроль качества сканирования цветных учрежденческих документов.

[53] Преобразование цветной мастер-копии при помощи графических редакторов (например, с помощью опции GrayScale в AdobePhotoShop) в «серую» гамму не дает искомого результата по повышению читабельности документа, поэтому, его проведение нецелесообразно.

[54] В идеале при первичном освидетельствовании файлов мастер-копий в графическом редакторе (Adobe Photoshop) необходимо для каждого полученного файла строить и сохранять гистрограмму в режиме RGB (Levels), являющуюся уникальным идентификатором («портретом») изображения. Эта процедура особенно важна для особо ценных, уникальных документов, имеющих красочные детали, а также для документов до начала XIX в.

Сохраненные гистограммы должны хранится в составе цифровой информации мастер-копии, записанной на встроенные носители, а также иметь отдельное описание в структуре метаданных, описывающих электронную мастер-копию.

[55] BMP (от англ. Bitmap Picture) – формат хранения растровых изображений, основанный на принципе «простой матрицы» и использовании всей цветовой палитры без агрегирования (усреднения) оттенков цвета (повышенная точность передачи цвета (16 бит на канал), реализована в версии 48 бит (6 байт).

В самой распространенной версии – 24 бита (3 байта, в режиме RGB – TrueColor) на каждый из трёх каналов (Red, Green, Blue) отводится по 1 байту (256 возможных значений – оттенков одного цвета), общее количество цветов равно 16777216.

Версия 32 бита (4 байта) практически аналогична TrueColor, четвёртый байт обычно не используется, или в нём располагается альфа-канал (прозрачность).

Формат разработан компанией Microsoft.

Описание формата BMP. [Электронный ресурс.] / Режим доступа к ресурсу: URL: http://jenyay.net/Programming/Bmp/ (дата обращения: 12.09.2012).

Спецификация: Bitmaps. [Электронный ресурс.] / MSDN. Режим доступа к ресурсу: URL: http://msdn.microsoft.com/en-us/library/dd183377(v=vs.85)/ (дата обращения: 12.09.2012).

[56] TIFF (англ. Tagged Image File Format) – формат хранения растровых графических изображений с большой глубиной цвета.

Спецификация: [Электронный ресурс.] / Adobe Partners. Режим доступа к ресурсу: http://partners.adobe.com/public/developer/en/tiff/TIFF6.pdf/  (дата обращения: 12.09.2012).

Формат *tiff является на сегодняшний день оптимальным с точки зрения качества сохранения визуальной (растровой) информации – он широко используется в полиграфии высокого качества. Оцифровка в цветном режиме с разрешением не ниже 300 dpi и последующим сохранением (без компрессии) в формате *tiff – лучший вариант создания электронного изображения, предназначенного как для длительного хранения, так и для дальнейшего использования, включая варианты преобразований файла.

[57] В марте 2012 г. цифровой архив Университета Флориды (США) опубликовал результаты многолетних исследованиях – список «Рекомендованных цифровых форматов, предназначенных для долгосрочного хранения цифровой информации» («Recommended Data Formats for Preservation Purposes…» [Электронный ресурс.] / State University Library Services/ Florida Virtual Campus. Режим доступа к ресурсу: URL: http://fclaweb.fcla.edu/uploads/recFormats.pdf/ (дата обращения: 12.09.2012).). Список составлен для разновидовой цифровой информации. В нем проведено ранжирование наиболее известных форматов с точки зрения их надежности и долговечности. Так, для типа информации «растровое изображение» (электронное изображение, электронная мастер-копия):

высокой надежностью обладают форматы: TIFF (без компрессии) и PNG (*.png);

средней надежностью: BMP (*.bmp), JPEG/JFIF (*.jpg), JPEG2000 (преимущественно без потерь или без компрессии) (*.jp2), TIFF (с компрессией), GIF (*.gif);

низкой надежностью: MrSID (*.sid), TIFF (в формате Planar), FlashPix (*.fpx), PhotoShop (*.psd), все остальные графические форматы, предназначенные для работы с растровой графикой и не перечисленные выше.

[58] С целью повышения надежности хранения электронных мастер-копий допустимо также создание еще одной копии (репликация) и ее хранение на стримерах или магнитных лентах.

[59] Контроль качества электронных копий на данном этапе совмещен с контролем технического состояния носителя информации.

[60] Циклический избыточный код (cyclic redundancy check или CRC) – хэш-функция, используемая для обнаружения неожидаемых изменений в необработанных компьютером данных. Применяется в программах архивирования (например, в WinRAR) или при переносе (перезаписи) данных с одного носителя на другой.

[61] SilverFast Ai – профессиональное программное обеспечение для сканирования и обработки изображений, которое поддерживает свыше 240 сканеров и цифровых камер, оснащено встроенным денситометром — программой для измерения степени затемнения (оптической плотности) фотографических материалов.

[62] Раздел III «Организация учета документов Архивного Фонда Российской Федерации и других архивных документов в архиве».

[63] Согласно п. 3.1. «Правил организации хранения, комплектования, учета и использования документов Архивного Фонда Российской Федерации…».

[64] Согласно п. 3.5. «Правил организации хранения, комплектования, учета и использования документов Архивного Фонда Российской Федерации…».

[65] Количество и порядок разрядов в имени файла электронной копии, разделенных подчеркиванием («_»), может меняться в зависимости от реально существующей маркировки подлинника.

[66] Запись электронных мастер-копий на внешние носители возможна в режиме эмуляции, т.е. копирования фрагмента структуры каталогов и содержимого папок (электронных файлов мастер-копий) со встроенных носителей информации.

[67] Для полного уничтожения внешнего носителя (диска) с рабочими электронными копиями диск необходимо согнуть или переломить.

[68] В Журнале учета репликации электронных рабочих копий (Приложение № 12) делается соответствующая отметка о замене носителя.

[69] Согласно Рекомендациям по обеспечению сохранности информации, записанной на оптических дисках (тестирование выборочного массива документов федеральных архивов). (Подготовлены РГАНТД в рамках выполнения Государственного контракта № 79 от 12 июля 2011 г.) наиболее устойчивыми оптическими дисками являются диски, предназначенные для долгосрочного хранения информации, например: «Archive Gold CD-R» и «Archive Gold DVD-R», с торговой маркой MAM-A и идентификационным кодом производителя Mitsui.

[70] Согласно ГОСТ 6.10.4-84 «Унифицированные системы документации. Придание юридической силы документам на машинном носителе и машинограмме, создаваемые средствами вычислительной техники. Основные положения»: «Подлинником документа на машинном носителе является первая по времени запись документа на машинном носителе и содержащая указание, что этот документ является подлинником».

[71] «1.1. Доступ к архивным документам обеспечивается:

1) путем предоставления пользователю архивными документами справочно-поисковых средств и информации об этих средствах, в том числе в форме электронного документа;

2) путем предоставления подлинников и (или) копий необходимых ему документов, в том числе в форме электронных документов»

[72] JPEG (англ. Joint Photographic Experts Group, по названию организации-разработчика – URL: http://www.jpeg.org/, URL: http://www.martinreddy.net/gfx/2d/JPEG.txt) – один из популярных графических форматов, применяемый для хранения фотоизображений и подобных им изображений. Несмотря на свое широкое распространение, данный формат имеет очевидные недостатки, которые можно игнорировать при представлении информации, к примеру, в Интернет, но которые весьма существенны при формировании фонда пользования (особенно для требовательных исследователей). Например, сохраненное в формате *jpg при максимально возможном качестве (в Adobe PhotoShop – 10) и без компрессии изображение в случае восстановления не будет в точности совпадать с исходным изображением, формируемым при сканировании.

[73] Portable Document Format (PDF) – кроссплатформенный формат электронных документов, созданный фирмой Adobe Systems с использованием ряда возможностей языка PostScript. Предназначен для представления в электронном виде полиграфической продукции. Одно из его основных преимуществ – универсальность: PDF широко распространен для представления многостраничных документов, он сохраняет их «первоначальный вид», обладает другими достоинствами. К недостаткам формата можно отнести сравнительно скромные возможности по представлению многоцветных документов (растровой графики) и необходимость использования специализированного программного обеспечения (Adobe Reader) для воспроизведения на экране монитора.

PDF с 1 июля 2008 г. является открытым стандартом ISO 32000. Спецификация: URL: http://www.adobe.com/devnet/pdf/pdf_reference.html.

Имеет множество версий.

Формат PDF включает механизм электронных подписей для защиты и проверки подлинности документов. В этом формате распространяется большое количество сопутствующей документации.

[74] Многостраничный *tiff (мульти-Tiff) – версия известного формата TIFF для хранения и представления многостраничных файлов. Создается специальным программным обеспечением – Multi-Page TIFF Editor (Windows, т.к. программы для просмотра изображений покажут только первую страницу многостраничного TIFFа, http://www.yukudr.com/multipageimage/index-ru.php), многочисленными бесплатными программами, входит к комплект форматов многих графических редакторов. Для открытия .tiff-файлов необходимо использовать программы для просмотра многостраничных документов (например, Evince (http://projects.gnome.org/evince/), или функцию листания в стандартной программе просмотра изображений.

[75] Использование методик графической обработки информации, описанных, например, в монографии Харитонова А.Г. «Восстановление угасающих текстов и изобразительных архивных документов» (М., 2006), или иных способов ретуши, возможно только в отношении копий второго и последующего поколений, создаваемых по заказам, в которых специально оговаривается необходимость осуществления подобной работы.

[76] Для представления электронных копий архивных документов в Интернет возможно также использовать пирамидальный формат *jpeg (ISO/IEC 10918-1:1994/Cor.1:2005 Информационные технологии. Цифровое уплотнение и кодирование неподвижных изображений с непрерывным спектром тонов).

[77] GIF (Graphics Interchange Format – формат для обмена изображениями) – популярный формат графических изображений. Способен хранить сжатые данные без потери качества в формате не более 256 цветов.

[78] Watermark Master. [Электронный ресурс.] / IZONE.ru. Режим доступа к ресурсу: URL: http://www.izone.ru/multimedia/utilities/watermark-master.htm (дата обращения 1 октября 2012 г.)

[79] Easy Watermark Creator.[Электронный ресурс.] / Image Tools.ru. Режим доступа к ресурсу: URL: http://www.imagetools.ru/products/watermark/ (дата обращения 1 октября 2012 г.)

[80] Правила издания исторических документов в СССР/ 2-е издание, переработанное и дополненное. М., 1990. [Главное архивное управление при СМ СССР], п.150: «Устранение неисправностей изображения кинофотодокументов. Для улучшения качества изображения кинофотодокументов в полиграфии применяется ретуширование различными механическими и фотохимическими способами. Вопрос о сохранении или устранении дефектов кинофотодокументов решается с учетом целей и задач издания и характера публикуемых документов. Так, в научных изданиях публикация кинокадров и фотоснимков должна полностью сохранять все имеющиеся внешние особенности носителя (трещины, царапины, пятна и др.), необходимые для восприятия и анализа документов». См. также п. 232.

[81] В соответствии с действующим законодательством по авторскому праву любая не регламентированная и не стандартизованная графическая обработка электронной копии может рассматриваться как ее творческая переработка, а результат такого вмешательства – объектом авторского права сотрудника, который проводил графическую обработку.

[82] «1.1. Доступ к архивным документам обеспечивается:

1) путем предоставления пользователю архивными документами справочно-поисковых средств и информации об этих средствах, в том числе в форме электронного документа;

2) путем предоставления подлинников и (или) копий необходимых ему документов, в том числе в форме электронных документов»

[83] PDF/A (англ. Portable Document Format / A) – cтандарт ISO 19005-1:2005 (опубликован 1 октября 2005 г.) для долгосрочного архивного хранения электронных документов. Описание возможностей формата: PDF Association. [Электронный ресурс.] / Режим доступа к ресурсу: URL: http://www.pdfa.org/competence-centers/pdfa-competence-center/ (дата обращения 1 октября 2012 г.)

[84] Правовая и методическая основа нормативов (норм времени и норм выработки) отражена в следующих правовых документах: Трудовой кодекс Российской Федерации, раздел 6 «Оплата и нормирование труда», глава 22 «Нормирование труда», ст. 160 «Нормы труда», ст. 161 «Разработка и утверждение типовых норм труда», ст. 162 «Введение, замена и пересмотр норм Труда», ст. 163 «Обеспечение нормальных условий работы для выполнения норм выработки»; Положение об организации нормирования труда в учреждениях Государственной архивной службы СССР (утверждено приказом Главного архивного управления при СМ СССР от 4 сентября 1989 г. № 57).

[85] Нормы устанавливается в зависимости от характеристик подлинника: размер, тональность и т.п. Необходимо также учитывать категории сложности подлинника (определение категории сложности производится в соответствии с документом «Нормы времени и выработки на услуги и работы, выполняемые лабораториями…», ВНИИДАД, 2009 г. Приложение № 23).

[86] Расчет произведен на основное время 5 часов 42 мин. (в соответствии с нормами охраны труда предусмотрено шесть технических перерывов по 10 мин. и 30 мин. на личные потребности).

[87] Лист или оборот листа.

[88] Сан ПиН 2.2.2/2.4. 1340-03. Гигиенические требования к персональным электронно-вычислительным машинам и организации работы. Введ. 2003-06-30. М.: Минздрав России, 2003.

За последние восемь лет я перевозил эту коробку с видеокассетами в четыре разные квартиры и один дом. Семейные видеозаписи из моего детства.

Спустя более 600 часов работы я, наконец, оцифровал и нормально их организовал, так что кассеты можно выбросить.

Часть 2

Вот как сейчас выглядит отснятый материал:

Все семейные видео оцифрованы и доступны для просмотра с приватного медиасервера

Получилось 513 отдельных видеоклипа. У каждого название, описание, дата записи, теги для всех участников с указанием возраста на момент записи. Всё лежит на приватном медиасервере, доступ к которому есть только у членов семьи, а хостинг стоит меньше 1 доллара в месяц.

Эта статья рассказывает обо всём, что я сделал, почему для этого понадобилось восемь лет — и как добиться аналогичного результата гораздо проще и быстрее.

Первая наивная попытка

Примерно в 2010 году моя мама купила какой-то конвертер VHS в DVD и прогнала через него все наши домашние видео.

Оригинальные DVD, которые записала мама (не знаю, что случилось с пропавшими буквами)

Проблема в том, что мама сделала только один комплект DVD. Все родственники живут в разных штатах, так что было делало неудобно передавать диски по кругу.

В 2012 году сестра подарила мне эти DVD-диски. Я скопировал видеофайлы и выложил всё в облачное хранилище. Проблема решена!

DVD-рипы семейных видео в хранилище Google Cloud

Через несколько недель я спросил, смотрел ли кто эти записи. Оказалось, что никто не смотрел. Даже я не смотрел. В эпоху YouTube глупо скачивать трёхчасовые файлы неизвестного содержания в поисках интересных кадров.

Только моя мама обрадовалась: «Отлично, — сказала она, — теперь можно, наконец, выбросить все эти кассеты?»

Ой-ёй. Это страшный вопрос. А если мы пропустили какие-то записи? Что, если кассеты можно оцифровать с более высоким качеством? Что, если на этикетках важная информация?

Мне всегда было неудобно выбрасывать оригиналы, пока нет абсолютной уверенности, что видео скопировано с максимально возможным качеством. Таким образом, пришлось самому взяться за дело.

Я даже не подозревал, во что ввязываюсь.

Звучит не так уж и сложно

Если вы не понимаете, почему это заняло у меня восемь лет и сотни часов, я вас не виню. Я тоже думал, что всё будет легко.

Вот как выглядит процесс оцифровки от начала до конца:

Точнее, так он выглядит в теории. Вот как получилось на практике:

Большую часть времени заняли переделки уже сделанного. Я заканчивал один этап, а потом через один или два этапа находил какой-то недостаток в технике. Приходилось возвращаться и переделывать. Например, я снял видео с 20 лент, прежде чем понял, что звук немного не синхронизирован. Или после нескольких недель редактирования обнаружил, что экспортирую видео в формате, который не поддерживает стриминг в интернете.

Чтобы сохранить рассудок читателя, я излагаю процесс так, будто он планомерно двигался вперед, чтобы не заставлять вас постоянно отпрыгивать назад и всё переделывать, как приходилось мне.

Шаг 1. Захват видео

Ладно, вернёмся в 2012 год. Маме очень хотелось выбросить кассеты, которые она хранила двадцать лет, поэтому при первой встрече она сразу вручила мне огромную картонную коробку. Так начался мой квест по оцифровке.

Очевидным решением было поручить работу профессионалам. Множество компаний занимаются оцифровкой, а некоторые специализируются именно на домашнем видео.

Но я довольно чувствительно отношусь к приватности и мне не хотелось, чтобы незнакомые люди рассматривали наше семейное видео с интимными моментами личной жизни, включая моё обучение горшку (в соответствующем возрасте; ничего странного!). И ещё я думал, что в оцифровке нет ничего сложного.

Спойлер: это оказалось действительно трудно.

Первая попытка захвата видео

У отца всё ещё хранился старый семейный видеомагнитофон, поэтому я попросил к следующему семейному ужину откопать его из подвала. Я купил дешёвый адаптер RCA-USB на Amazon и приступил к делу.

Устройство захвата видео TOTMC, первое из множества устройств A/V, которые я купил во время многолетнего квеста

Для обработки видео с устройства захвата USB я использовал программу VirtualDub, версия 2012 года немного устарела, но не критично.

Кадры в программе VirtualDub, как я в возрасте четырёх лет читаю книгу своему отцу

Напасть с искажением звука

Когда я начал процесс редактирования, то заметил небольшой рассинхрон аудио и видео. Ладно, без проблем. Я могу немного сдвинуть звук.

Через десять минут он снова рассинхронизировался. Разве я мало сдвинул его в первый раз?

До меня постепенно дошло, что аудио и видео не просто рассинхронизированы, они реально записываются с разной скоростью. На протяжении всей ленты они расходятся всё больше и больше. Для синхронизации приходилось вручную настраивать звук каждые несколько минут.

Если ваша установка захватывает звук и видео с разной скоростью, то единственным решением является коррекция звука вручную каждые несколько минут

Представляете, как трудно отличить звук на 10 миллисекунд раньше или на 10 миллисекунд позже? Это действительно трудно! Судить сами.

На этом видео я играю со своим бедным, терпеливым котёнком, которого звали Black Magic. Звук немного не синхронизирован. Определите, он опережает картинку или идёт с опозданием?

Пример видеоклипа с рассинхроном звука и картинки

В этом месте Black Magic прыгает, фрагмент с замедлением в пять раз:

Рассинхрон звука и картинки, замедление в пять раз

Ответ: звук идёт с опозданием в несколько миллисекунд.

Может, потратить лишнюю сотню долларов вместо сотен часов личного времени?

Одна только коррекция звука потребовала многих часов утомительной, сводящей с ума работы. В конце концов мне пришло в голову, что можно избежать рассинхрона, если использовать более качественное и дорогое устройство видеозахвата. После некоторого исследования я купил новое на Amazon:

Моя вторая попытка приобрести устройство для видеозахвата

Даже с новым устройством рассинхрон никуда не исчез.

Видеомагнитофон с приставкой «супер»

Может, проблема в видеомагнитофоне. На форумах по оцифровке говорили, что рассинхрона не будет на видеомагнитофоне с «корректором времени» (time-based corrector, TBC), эта функция есть на всех видеомагнитофонах Super VHS (S-VHS).

Ну конечно! Зачем я возился с дурацким обычным видеомагнитофоном, когда есть супер-VCR, который решает проблему?

Никто уже не производит видеомагнитофоны S-VHS, но они по-прежнему доступны на eBay. За 179 долларов я купил модель JVC SR-V10U, которая вроде хорошо подходит для оцифровки VHS:

Винтажный видеомагнитофон JVC SR-V10U, который я купил на eBay за 179 долларов

«Супер»-видеомагнитофон пришёл по почте. После нескольких месяцев борьбы с рассинхроном звука я был вне себя от радости, что появилось оборудование, которое решит все мои проблемы.

Я открыл коробку, всё подключил — но звук по-прежнему записывался с другой скоростью. Эх.

Утомительный поиск, устранение неисправностей и многолетняя борьба

Я приступил к жалким попыткам устранить неполадки. На это было больно смотреть. Каждый раз я вытаскивал всё оборудование из шкафа, заползал на коленях за рабочий стол, чтобы всё подключить, пытался захватить видео — и опять наблюдал, что ничего не получается.

Вот мне попался случайный пост на форуме от 2008 года, где говорится об установке какого-то странного китайского драйвера без подписи… Это ужасная идея, но я в отчаянии. Впрочем, он не помог.

Я пробовал разные программы для оцифровки. Купил специальную кассету VHS, чтобы прочистить магнитные головки видеомагнитофона. Купил третье устройство видеозахвата. Ничего не помогло.

Я неизменно сдавался, всё отключал и прятал оборудование в шкаф ещё на несколько месяцев.

Сдаёмся и отдаём кассеты профессионалам

Наступил 2018 год. Я перетаскал видеокассеты и тонны оборудования по четырём разных квартирам и собирался переехать из Нью-Йорка в Массачусетс. Я не мог найти силы снова их везти, потому что уже понял, что самостоятельно никогда не закончу этот проект.

Я спросил семью, можно ли отдать кассеты в фирму по оцифровке. К счастью, никто не возражал — всем хотелось снова увидеть записи.

Я: Но это значит, что какая-то компания получит доступ ко всем нашим домашним видео. Тебя это устраивает?
Сестра: Да мне по барабану. Тебя одного это беспокоит. Погоди, так ты с самого начала мог просто заплатить кому-то?
Я: Э-э-э…

Оцифровка всех 45-ти кассет стоит $750. Кажется дорого, но к тому моменту я бы заплатил сколько угодно, лишь бы больше не разбираться с этим оборудованием.

Когда они отдали файлы, качество видео было однозначно лучше. На моих кадрах всегда были видны искажения на краях кадра, но специалисты всё оцифровали вообще без искажений. Самое главное, что аудио и видео идеально синхронизированы.

Вот видео со сравнением профессиональной оцифровки и моих доморощенных попыток:

Сравнение профессиональной и самодельной оцифровки в видеоролике, где мама снимает мою первую попытку программирования

Шаг 2. Редактирование

В домашних съёмках около 90% материала скучны, 8% интересны, а 2% потрясающие. После оцифровки у вас ещё много работы.

Редактирование в Adobe Premiere

На кассете VHS длинный поток видеоклипов перемежается пустыми участками. Чтобы отредактировать ленту, вы должны определить, где начинается и заканчивается каждый клип.

Для редактирования я использовал Adobe Premiere Elements, которая стоит меньше $100 за пожизненную лицензию. Его важнейшая фича — масштабируемая временная шкала. Она позволяет быстро найти границы сцены, а затем увеличить масштаб, чтобы найти точный видеокадр, где начинается или заканчивается клип.

Важнейшая временная шкала с масштабированием в Adobe Premiere Elements

Проблема с Premiere заключается в том, что процесс требует постоянных действий вручную, но при этом оцифровка и экспорт занимают много времени. Вот моя последовательность операций:

1. Открыть сырой файл, который содержит 30-120 минут видео.
2. Отметить границы отдельного клипа.
3. Экспортировать клип.
4. Подождать 2-15 минут, пока завершится экспорт.
5. Повторять шаги 2-4, пока не закончится лента.

Долгое ожидание означало, что я постоянно переключался между редактированием видео и какой-то другой задачей, переводя внимание туда-сюда в течение нескольких часов.

Другим недостатком была невоспроизводимость. Исправить небольшую ошибку было почти так же трудно, как сделать всё с нуля. Это сильно ударило по мне, когда дело дошло до публикации видео. Только тогда я понял, что для стриминга в интернете нужно было изначально экспортировать видео в формат, который нативно поддерживают веб-браузеры. Передо мной встал выбор: перезапустить утомительный процесс экспорта сотен клипов или перекодировать экспортированные видео в другой формат с ухудшением качества.

Автоматизация редактирования

После кучи времени, потраченного на ручную работу, я подумал, можно ли здесь как-то применить ИИ. Кажется, определение границ клипов — подходящая задача для машинного обучения. Я знал, что точность будет не идеальной, но пусть он выполнит хотя бы 80% работы, а я исправлю последние 20%.

Я экспериментировал с инструментом под названием pyscenedetect, который анализирует видеофайлы и выдаёт временные метки, где происходят изменения сцены:

 $ docker run 
    --volume "/videos:/opt" 
    handflucht/pyscenedetect 
    --input /opt/test.mp4 
    --output /opt 
    detect-content --threshold 80 
    list-scenes
[PySceneDetect] Output directory set:
  /opt
[PySceneDetect] Loaded 1 video, framerate: 29.97 FPS, resolution: 720 x 480
[PySceneDetect] Downscale factor set to 3, effective resolution: 240 x 160
[PySceneDetect] Scene list CSV file name format:
  $VIDEO_NAME-Scenes.csv
[PySceneDetect] Detecting scenes...
[PySceneDetect] Processed 55135 frames in 117.6 seconds (average 468.96 FPS).
[PySceneDetect] Detected 33 scenes, average shot length 55.7 seconds.
[PySceneDetect] Writing scene list to CSV file:
  /opt/test-Scenes.csv
[PySceneDetect] Scene List:
-----------------------------------------------------------------------
 | Scene # | Start Frame |  Start Time  |  End Frame  |   End Time   |
-----------------------------------------------------------------------
 |      1  |           0 | 00:00:00.000 |        1011 | 00:00:33.734 |
 |      2  |        1011 | 00:00:33.734 |        1292 | 00:00:43.110 |
 |      3  |        1292 | 00:00:43.110 |        1878 | 00:01:02.663 |
 |      4  |        1878 | 00:01:02.663 |        2027 | 00:01:07.634 |
 ...

Инструмент действительно показал точность около 80%, но проверка его работы заняла больше времени, чем он сэкономил. Тем не менее, pyscenedetect сделал одно из самых важных открытий для всего проекта: определение границ сцены и экспорт клипов — это отдельные задачи.

Я вспомнил, что я программист

До этого момента я считал «редактированием» всё, что делал в Adobe Premiere. Вырезание клипов из необработанных кадров казалось неразрывно связанным с поиском границ клипа, потому что именно так Premiere представлял эту задачу. Когда pyscenedetect распечатал таблицу метаданных, это заставило меня понять, что я могу отделить поиск сцен от экспорта видео. Это был прорыв.

Причина, по которой редактирование было таким утомительным и трудоёмким, заключалась в том, что мне приходилось ждать, пока Premiere экспортирует каждый клип. Если бы я записал метаданные в электронную таблицу и написал скрипт, который автоматически экспортирует видео, процесс редактирования пролетел бы незаметно.

Более того, электронные таблицы значительно расширили объём метаданных. Изначально я впихивал метаданные в название файла, но это их ограничивает. Наличие целой электронной таблицы позволило каталогизировать гораздо больше сведений о клипе, например, кто в нём присутствует, когда он записан и любые другие данные, которые я хочу показать во время демонстрации видео.

Гигантская электронная таблица с метаданными о моих домашних видео

Позже я смог использовать эти метаданные, чтобы добавить информацию к клипам, например, сколько нам всем было лет и подробное описание того, что происходит в клипе.

Функциональность электронных таблиц позволяет записывать метаданные, которые дают больше информации о клипах и облегчают их просмотр

Успех автоматизированного решения

Имея электронные таблицы, я написал скрипт, который нарезал сырое видео на клипы на основе данных в CSV.

Вот запись как это выглядит в действии:

К этому моменту я потратил сотни часов, нудно выбирая границы клипа в Premiere, нажимая экспорт, ожидая несколько минут, чтобы он закончился, а затем всё сначала. Мало того, процесс повторялся несколько раз на одних и тех же клипах, когда позже обнаруживались проблемы с качеством.

Как только я автоматизировал часть нарезки на клипы, с моих плеч свалился огромный груз. Больше не нужно было беспокоиться, что я забуду метаданные или выберу неправильный формат вывода. Если позже вылезет ошибка, можно просто подправить скрипт и всё повторить.

Часть 2

Оцифровка и редактирование видеоматериалов — только половина дела. Нам ещё нужно найти удобный вариант публикации в интернете, чтобы все родственники смотрели семейное видео в удобном формате со стримингом как на YouTube.

Во второй части статьи я подробно расскажу, как поднять опенсорсный медиасервер со всеми видеоклипами, который стоит мне всего 77 центов в месяц.

Продолжение,

Часть 2

Популяции аналоговых устройств медленно исчезают, однако носители информации данного вида еще существуют. Технический писатель Selectel Николай Рубанов столкнулся с необходимостью оцифровки и хранения домашнего архива. В руководстве рассказываем, как правильно подобрать устройства и сэкономить >100 тыс.руб. на самостоятельной оцифровке.

Хотели бы вы вскрыть «капсулу времени» и услышать молодые голоса ваших родителей? Увидеть, как выглядел дедушка в молодости, или посмотреть, как жили люди 50 лет назад? А между прочим, у многих до сих пор есть такая возможность. На антресолях, в комодах и кладовках еще лежат и ждут своего часа аналоговые носители информации. Насколько реально их вычитать и перевести в цифровой вид? Именно этим вопросом я задался и решил действовать.

Видеозаписи

Все началось еще лет 5 назад, когда на небезызвестном китайском сайте я увидел недорогой USB-брелок для оцифровки аналоговых источников с названием EasierCAP. Поскольку в кладовке хранилось некоторое количество VHS-кассет, решил купить эту штуку и посмотреть, что было на видеокассетах. Так как телевизора у меня нет в принципе, а видеомагнитофон еще в 2006 году отправился на помойку, то следовало найти рабочее устройство, чтобы воспроизвести VHS.

Зайдя на другой небезызвестный сайт с объявлениями о продаже всякой всячины, нашел видеоплеер LG Wl42W формата VHS буквально в соседнем доме и приобрел его по цене двух чашек кофе. Вместе с видеоплеером мне достался и RCA-кабель.

Подключил я это добро к компьютеру и стал разбираться с программой, шедшей в комплекте. Все было интуитивно понятно, поэтому спустя два-три дня все VHS-видеокассеты были оцифрованы, а видеоплеер продан на том же самом сайте. Какой же вывод сделал: видеозаписям было в среднем 20 лет и большая часть из них — пригодна для оцифровки. Только одна из двух десятков записей оказалась частично повреждена, и считать ее полностью не удалось.

Полез разгребать кладовую дальше и наткнулся на 9 видеокассет формата Sony Video8. Помните передачу «Сам себе режиссер», которая была еще до появления Youtube и TikTok? В те годы многие использовали портативные аналоговые видеокамеры.

Мейнстримом тогда были следующие форматы:

У каждого из форматов есть разновидности, так что пришлось вначале внимательно прочитать о каждой из них, прежде чем пытаться найти оборудование, на котором смогу воспроизвести найденные кассеты.

Основная проблема, которая этот процесс сильно затянула во времени: б/у видеокамер этого формата оказалось мало, да и стоили они каких-то нереальных денег. Спустя пару недель наблюдения за объявлениями, нашел одно, где за видеокамеру просили чуть меньше 1000 руб., и приобрел Sony Handycam CCD-TR330E.

Оказалась она весьма побитой жизнью, с расколотым ЖК-экранчиком, но при подключении к аналоговому выходу USB-брелка работала весьма сносно. Блока питания в комплекте не было, аккумуляторов тоже. Вышел из положения при помощи лабораторного блока питания и проводов с «крокодилами». Лентопротяжный механизм на удивление находился в хорошем состоянии, что позволило считать все видеокассеты. Самая старая лента Video8 у меня датировалась 1997-годом. Результат — 9 из 9 кассет считались без проблем. Видеокамеру ждала та же участь, что и видеоплеер — через пару дней у меня ее купили для таких же целей оцифровки.

Первая часть эпопеи с переносом архива закончилась достаточно быстро. EasierCAP отправился в ящик, где и оставался до недавнего времени. Спустя два года пришла пора делать капитальный ремонт квартиры у родственников, что автоматически означало: кладовку требуется освободить полностью. Вот тут-то и обнаружилось огромное количество раритетных носителей информации:

Идея сохранить это добро и преобразовать в цифровой вид пришла практически сразу. Мне предстояло еще немало трудностей, прежде чем получить ожидаемый результат.

Фотографии и негативы

Множество старых фотографий и пленок, снятых на Зенит-Б, — это первое, что хотелось сохранить. В то время получение красивых кадров требовало усилий. Качественная фотопленка была дефицитом, но не это главное. Пленку надо проявить и напечатать, часто — в домашних условиях.

Вместе с пленками и фотографиями обнаружил большое количество химической посуды, фотоувеличители, красную лампу, кадрирующие рамки, емкости для реактивов и тонны разных приспособлений и расходников. Когда-нибудь потом попробую самостоятельно пройти весь цикл получения фотоснимков.

Итак, мне предстояло приобрести устройство, способное оцифровывать негативы и обычные фотоснимки. Порыскав по объявлениям, нашел отличный планшетный сканер HP ScanJet 4570c, имеющий отдельный слайд-модуль для сканирования фотопленки. Обошелся мне он всего в 500 рублей.

Оцифровка заняла очень много времени. Более двух недель каждый день по несколько часов приходилось выполнять операцию просмотра и сканирования. Для удобства пришлось нарезать фотопленку на куски, помещавшиеся в слайд-модуль. Работа выполнена, а сканером я пользуюсь до сих пор. Качество его работы меня исключительно порадовало.

Дискеты 3.5 дюйма

Прошли те времена, когда дисковод для дискет был неотъемлемым атрибутом для любого системного блока, ноутбука и даже музыкального синтезатора (у меня до сих пор жива Yamaha PSR-740 с флоппи-приводом). Сейчас дискеты — раритет, практически не использующийся с повсеместным распространением интернета и дешевых Flash-накопителей.

Разумеется, можно купить на барахолке древний системный блок с флоппи-приводом, однако на глаза попался USB-привод. Его приобрел за символическую сумму. Было интересно, прочитаются ли дискеты, записанные в промежуток с 1999 по 2004 годы.

Результат, мягко говоря, обескуражил. Прочиталось менее половины всех дискет. Остальные — сыпали ошибками при копировании или вообще не читались. Вывод прост: флоппи-диски долго не живут, поэтому если у вас где-то хранятся эти накопители, то, вероятно, они не несут никакой полезной информации.

Аудиокассеты

История аудиокассет — иначе их называли компакт-кассетами — началась еще с 1963-го года. Массовое распространение они получили с 1970 года и держали лидерство целых 20 лет. На смену им пришли компакт-диски, и эпоха магнитных аудионосителей закончилась. Тем не менее, у многих до сих пор на антресолях пылятся аудиокассеты с разной музыкой. Чем же вычитать их в 21-ом веке?

Мне пришлось обратиться к другу, заядлому коллекционеру аудиотехники, и попросить у него на несколько дней знаменитую «Кобру» — Panasonic RX-DT75, получившую такое прозвище за весьма оригинальный внешний вид. На самом деле подошел бы и любой аудиоплеер, но с живыми пассиками (прим. автора приводными ремнями) их найти достаточно сложно.

Катушки с магнитной лентой

Как сейчас помню себя маленького, играющего с магнитофоном Снежеть-203. В комплекте был микрофон и головные телефоны, поэтому я баловался, записывая свой голос на 9-ой скорости, а воспроизводя на 4-ой. Почти как в знаменитом фильме «Один дома», где Кевин МакКалистер использовал диктофон Tiger Electronics, линейки Talkboy.

С тех пор прошло более двух десятков лет, а записи так и лежали в кладовке, ожидая извлечения на свет. Там же обнаружился и магнитофон, аж 1979 года выпуска. Пожалуй, это был самый интересный квест. Если найти винтажную видеокамеру или флоппи-привод не составляет проблемы, то восстановить работоспособность магнитофона, которому более 40 лет, — задача нетривиальная. Для начала решил вскрыть корпус и хорошенько продуть внутренности от пыли.

Визуально все выглядело хорошо, кроме пассиков. Годы в кладовке уничтожили несчастные резинки, которые в руках просто рассыпались. Всего там 3 пассика. Основной — на двигатель, дополнительный — на подкатушечник и еще один — на счетчик. Проще всего было поменять именно третий: для этих целей подходит любая резинка для купюр. А вот первые два я стал искать по сайтам объявлений. В конечном итоге купил ремкомплект у продавца из Тамбова. Предполагаю, он специализируется на ремонте винтажного оборудования. Спустя неделю мне пришло письмо с двумя новыми пассиками. Ума не приложу — либо это их так хорошо сохранили, либо они до сих пор где-то производятся.

Пока пассики ехали ко мне, включил для проверки магнитофон в сеть и убедился, что мотор исправно работает. Все трущиеся металлические части прочистил и смазал машинным маслом, а резиновые части и головку воспроизведения обработал изопропиловым спиртом. Также пришлось поменять пару растянувшихся пружинок. И вот момент истины. Пассики установлены, катушки установлены. Воспроизведение началось.

И сразу первое разочарование — звука нет. Полез в инструкцию, проверил положение переключателей. Все было верно. Значит, надо разбирать и смотреть, где теряется звук. Источник проблемы обнаружился быстро. Один из стеклянных предохранителей визуально выглядел нормальным, но «на прозвон» оказался пробитым. Заменил на аналогичный и voilà. Звук появился.

Моему удивлению не было предела. Пленка сохранилась практически идеально, хотя в кладовке ее никто не трогал и не перематывал. А в мыслях уже представил, что придется запекать ее, как описывалось в статье на Хабре о восстановлении магнитных лент. Паять переходник не стал, а для записи использовал профессиональный студийный микрофон. Фоновый шум убрал с помощью штатных возможностей бесплатного аудиоредактора Audacity.

Виниловые пластинки

Занятно, но это, пожалуй, единственный вид раритетных носителей информации, для которых до сих пор производят оборудование. Винил давно в ходу у диджеев, оборудование всегда есть в наличии. Более того, даже недорогие проигрыватели имеют функцию оцифровки. Такой девайс станет отличным подарком старшему поколению, которое сможет легко поставить любимую пластинку и послушать привычную им музыку.

Я сделяль

Ну, вот я все оцифровал и стал думать: как хранить фотографии, негативы, видео- и аудиозаписи? Оригинальные носители я уничтожил, чтобы не занимали места, а цифровые копии следует надежно сохранить.

Надо выбрать такой формат, который смогу прочитать через условные 20 лет. Такой формат, к которому смогу найти устройство чтения, который будет удобно хранить и при необходимости вычитать. Исходя из полученного опыта, хотел воспользоваться современным стримером и записать все на магнитную ленту. Но стримеры безбожно дорогие, в SOHO-сегменте их не существует. Хранить дома ленточную библиотеку неразумно, размещать ее в дата-центре только ради «холодного хранения» — дорого.

Выбор пал на однослойные DVD-диски. Да, они не слишком емкие, однако до сих пор производятся, как и оборудование для их записи. Они долговечные, их легко хранить, при необходимости также легко считать. На Хабре был достаточно познавательный пост про деградацию оптических носителей, однако не так давно мне довелось считывать DVD-диски, записанные 10 лет назад и забытые на даче. Все считались без проблем с первого раза, хотя описанные в статье дефекты — «бронзование» дисков — начали появляться. Поэтому решил обеспечить резервным копиям идеальные условия хранения, считывать и перезаписывать на новые диски каждые 5 лет.

В итоге я действовал следующим образом:

Записанные диски лежат дома, каждый в индивидуальном боксе, без доступа к свету, внутри завакуумированного пластикового мешка. Внутрь мешка положил силикагель, чтобы надежно защитить содержимое от влаги. Надеюсь, это позволит их без проблем считать даже через 10 лет.

Мой опыт показал, что не поздно заняться оцифровкой аналоговых носителей. Пока есть живые устройства для воспроизведения и данные реально вытащить. Однако с каждым годом шанс, что носители станут непригодными для использования, возрастает. Не откладывайте.

Зачем все эти сложности с покупкой устройств, неужели нельзя просто обратиться в мастерскую по оцифровке и получить готовый результат? Ответ прост — это очень дорого. Цены на оцифровку видеокассеты достигают 25 руб. за минуту, причем оплачивать надо сразу за всю кассету. Невозможно узнать, что на ней есть, не прочитав полностью. То есть за одну видеокассету VHS, емкостью 180 минут, пришлось бы заплатить от 2880 до 4500 рублей.

По моим примерным подсчетам, только за оцифровку видеокассет пришлось бы заплатить около 100 тыс. рублей. Я уже не говорю про аудио и фотографии. Мой способ стал интересным хобби на несколько месяцев и обошелся мне в 5-7 тыс. рублей. Эмоции же превзошли все ожидания и доставили моим родным много радости от возможности вновь пережить запечатленные на пленках моменты.

Пока мы исследуем новые темы для блога Selectel, расскажите в комментариях, уже оцифровали домашний архив? А намерены?

Пошаговое руководство по
оцифровке книг. Часть 1

Задеть больную тему
качественного перевода бумажных
изданий в цифровую форму
заставляет сама жизнь. В
электронных интернет-библиотеках
книги появляются довольно новые, но
вот качество их обработки
оставляет желать лучшего. Страницы
не обрезаны, картинки размыты,
текстовый (OCR) слой не добавлен и ещё
много всяких больших и маленьких
огрехов.

Понимаю, бывают случаи, когда
необходимо быстро создать
электронную копию для собственных
нужд, но должно быть совестно
выкладывать такой полуфабрикат в
Сеть и заставлять людей страдать
(ибо чтением назвать процесс
просмотра таких «шедевров»
язык не поворачивается). Если уж у
вас нет сил, чтобы отсканированный
«манускрипт» привести в
приемлемый вид, — просто
заархивируйте сканы и выложите на
специализированных форумах.
Поверьте, всегда найдутся люди,
готовые пожертвовать своим
временем для создания электронного
варианта книги, за который потом не
было бы стыдно перед её читателями.

Итак, возвращаясь к нашим баранам.
Основы «DJVU-печатания» были
рассмотрены в «Компьютерных
вестях» №№5-6 за 2007 год Андреем
Ачиновичем. Дабы не переписывать
уже имеющуюся информацию,
остановимся на некоторых нюансах,
связанных, в основном, с качеством
создаваемых сканов книг, а также на
появившихся нововведениях и
улучшениях, с позволения сказать,
техпроцесса. Времени после
публикации вышеупомянутой статьи
прошло довольно много — появились
новые версии прежних программ, да и
разработаны новые утилиты. Конечно,
тема процесса создания книг
затёрта уже практически до дыр на
различных форумах и в печатных
изданиях, но, как ни странно,
улучшению качества недавно
отсканированных книг это не
способствует. Цель статьи — поднять
уровень уже существующих
«Гуттенбергов» века
компьютерного и привлечь новичков
к этому важному делу.

Этап первый: сканирование

Здесь особенных премудростей нет
— как правило, выставления
разрешения 300 dpi для страницы в
формате Gray вполне достаточно. Всё
остальное зависит только от
сканера. Кстати, обложку книги и
особо важные иллюстрации я всё-таки
рекомендую сканировать в цвете (16-
или 24-битном), опять же — для того,
чтобы наша цифровая книжка
получилась красивая. Кроме того,
желательно разворот книги на
сканерном стекле особенно не
перекашивать и не менять каждый раз
его местоположение. Потом будет
проще всё лишнее обрезать (не стоит
полностью уповать на возможности
автоматического разворота и
разрезания страниц, имеющихся в
пакетах типа ABBYY FineReader).

Сканировать в разрешении больше
300 dpi смысла нет, так как, во-первых,
увеличивается износ механики
сканера (к примеру, мой старый Mustek
12000 SP+ на 300 dpi сканирует страницу за
один проход, а на 600 останавливается
четыре раза), а во-вторых,
разрешение впоследствии можно
исправить вручную, с помощью
специализированного ПО (об этом
ниже). Сканирование, на мой взгляд,
во всей технологии e-book самый нудный
процесс, и тенденции к облегчению и
упрощению пока не намечается. Всё
равно переворачивать страницы
приходится вручную. Хотя, к примеру,
в некоторых сканерах производства
HP возможности пакетного
сканирования сводят неудобства до
минимума. Настроил один раз
качество и разрешение сканируемой
картинки — и знай себе
переворачивай страницы да не
забывай нажимать кнопку «Scan»
на крышке сканера. Всё остальное
уже сделает автоматика. В
результате в выбранную папку будут
ложиться готовые сканы.

Что же касается владельцев не
столь продвинутой техники, то им
придётся пользоваться старым
добрым IrfanView с установленным
специализированным плагином AutoScan (labun.com/autoscan.zip)
от Eugen Labun. Скачиваем данный архив со
страницы автора и распаковываем
файлы autoscan.vbs и AutoWindowEnabler.exe в
директорию с установленным IrfanView.
Далее заходим в меню Файл >
Получить/Отсканировать, выбираем
режим сканирования «Одно
изображение» и сканируем и
сохраняем образец с нужными нам
параметрами. Назвать первый скан
лучше всего 001.* (так советует автор).
Теперь запускаем распакованный
ранее файл autoscan.vbs. Программа
покажет заданные ранее параметры и
после нажатия на «OK» начнётся
автоматическое сканирование через
определённые промежутки.

Файлы сохраняются с именами 001.*,
002.*, 003.* и т.д. в ту же директорию, где
и первый файл. Файл AutoWindowEnabler.exe
предназначен для слежения за окном
IrfanView (часто бывает, что во время
открытого TWAIN-диалога окно
просмотрщика становится
неактивным, а то и вовсе исчезает с
экрана). Кстати, если вдруг скрипт
что-то воспроизводит не так, как бы
вам хотелось, или просто нужно
изменить настройки — достаточно
просто ещё раз произвести тестовый
запуск IrfanView, а потом опять
запустить макрос. Или же, щелкнув
правой кнопкой мыши по файлу
autoscan.vbs, выбрать «Изменить» и
внести необходимые параметры
вручную:

' You can change these settings:
StartingIndex = 1
Increment = 1
NumberOfDigits = 3
SkipExistingFiles = True ' True or False
DelayBetweenScans = 0 ' Seconds
SetScanDPI = False ' Try to set to True only if
  Your scanner does not preserve scan resolution
DPI = 300 ' has no effect if SetScanDPI is False

Как можно догадаться, StartingIndex
показывает порядковый номер
первого файла (от которого будет
вестись счёт), Increment — величину, на
которую будет увеличиваться
порядковый номер каждой новой
сканируемой страницы. NumberOfDigits —
число знаков в цифровом индексе
файла. DelayBetweenScans — задержку между
окончанием одного прохода сканера
и началом следующего (выставляется
она строго экспериментальным
методом и занимает ровно столько
времени, сколько вам потребуется,
чтобы перевернуть страницу). SetScanDPI —
принудительное задание разрешения
сканирования (необходимо в случае,
если TWAIN-драйвер сканера такой
возможности не предоставляет).
Может принимать значение либо TRUE,
либо FALSE; по умолчанию стоит второе.
DPI — значение разрешения
сканирования в случае выбора
предыдущего параметра «TRUE».
Сохраняем исправленный документ
(отмечу, что лезть ручками можно
только (!) в данную секцию, упаси вас
бог экспериментировать с
остальными, недоступными разуму
рядового пользователя, параметрами
— в результате таких необдуманных
действий вместо картинки можно
получить чёрти что).

Более продвинутым является
использование специальной утилиты
для потокового сканирования PaperCapture
(djvu-soft.narod.ru/recogniform_paper_capture.rar)
от компании Recogniform. После
скачивания архива и его распаковки
первым делом стоит запустить
имеющийся .reg файл, дабы в
дальнейшем избежать неожиданных
действий со стороны программы.
Затем просто запускаем PaperCapture.exe. В
меню File > Scanner Settings создаём новый
профиль с любым названием и
активируем радио-кнопку рядом со
строкой «This Scanner», где в
выпадающем меню выбираем
установленные на ПК устройства
(если их у вас, конечно, несколько).
Окно «Parameter» позволяет
настроить параметры, с которыми
будет сканироваться каждая новая
страница. Я выставил минимальное
количество наиболее необходимых:

Auto Rotate=Yes;
Auto Deskew=Yes; 

чтобы получаемая картинка
сначала разворачивалась (для
двухстраничного скана), а потом
выравнивалась (всё остальное можно
качественно оформить на этапе
«ретуширования» чернового
материала). Жмём ОК и Ctrl+A. Остаётся
только наблюдать за процессом
сканирования и контролировать
качество по отображаемым в окне
программы эскизам. Кстати,
результат пакетного сканирования
можно сохранить не только в
графический формат, но сразу и в
PDF-файл (это на случай сканирования,
к примеру, конспекта лекций).

Для любителей «глубокого
копания» могу посоветовать
использование пакета FastScan, который
вместе с инструкцией по
использованию можно скачать с
«рапидшары» (rs101cg2.rapidshare.com/files/
36486343/11054328/FastScan.rar). За основу там
берется уже нам знакомый IrfanView,
утилита-автоматизатор AutoRecorder 3.3 и
программа для точного определения
положения курсора Pixie 3.1.
Первоначальная настройка ведется с
помощью встроенной в Windows утилиты WIA
(предназначенной специально для
работы с цифровыми фотоаппаратами
и сканерами). Доступна работа с ней
после установки драйверов на
оборудование, в которых имеется
поддержка вышеупомянутой
программы. Так как у меня в наличии
таких драйверов не было, особенно
акцентировать внимание на
настройке этого комплекса программ
и создании скрипта для
сканирования я не стал. Скачав
вышеупомянутый архив, внутри можно
найти очень подробное
иллюстрированное руководство по
работе с комплексом программ. Так
что если предложенные мною способы
вас чем-то не устроят — всегда есть
возможность пошевелить мозгами и
попробовать данный способ (опять
же, при условии, что в наличии у вас
имеется подходящая модель сканера,
а это практически все современные
модели).

Применять для сканирования ABBYY
FineReader всех версий до 9-й я не
советую, ввиду того, что зачастую
текст необратимо перекашивается. В
9-й же желательно в меню Options убрать
галочку рядом со строкой
«Исправлять перекос страниц».
Что касается формата, в котором
будет сохраняться черновой
материал, то лучше всего
использовать TIFF, потому что широко
популярный JPEG размывает картинки,
что в случае копии книги, по-моему,
совершенно неприемлемо. Формат TIFF в
случае сканов оттенков серого и
цветных даёт лучшие результаты со
сжатием по механизму LZW (без потери
качества), для битовых чёрно-белых
лучше всего применять сжатие по
механизму CCIT FAX G4 (если вы сразу
сканируете материал такой
«битности»). Принципиальная их
разница для рядового пользователя
только в том, что каждый
используется для своей
определённой глубины цвета.

Итак, все основные нюансы мы
обсудили. Сканируем выбранную
книгу, а после окончания переходим
ко второму этапу: ретушь и
облагораживание. Впрочем, об этом
уже в следующей части статьи.

(Продолжение следует)

Сергей БЕСАРАБ aka
stean,
helpfaq@tut.by

Оцифровка печатных документов — это перевод их изображения, полученного обычно через сканер или фотоаппарат, в какой-либо электронный формат.

Это руководство осветит все практичные способы оцифровки, доступные широкому кругу пользователей персональных компьютеров.

Об электронных книгах[править]

«Электронные книги» — это хранимый в компьютере текст, оформленный в виде, свойственном печатным книгам. Так, электронные книги обычно дробят содержимый текст на равноразмерные нумерованные страницы; их типографика соответствует уровню печатных изданий. Важно сразу же различать сканированные и вёрстанные электронные книги.

Вёрстанные книги — это либо материал, подготовленный авторами в издательской системе, либо распознанная и вручную вычитанная и отформатированная бумажная книга. Исходником является обычно файл в формате наглядного текстового процессора (OpenOffice.org или Word) или на языке разметки (LaTeX). О подробностях редактирования электронных текстов в текстовых процессорах вы можете почитать в викиучебнике «работа с электронным текстом». Конечным результатом является электронная книга в формате PDF (Adobe Portable Document Format), реже ПостСкрипт (Adobe PostScript) или DVI. Такие файлы обычно содержат векторные шрифты и иллюстрации высокого качества, поэтому они пригодны для печати в любом разрешении, для просмотра на экране, и для поиска по тексту книги (включая возможность выделять и копировать куски текста и иллюстрации). Файлы этого вида кратко будем называть векторными. Типичные векторные PDF-файлы имеют размеры от 3 (редко) до 10—15 килобайт на страницу, в зависимости от числа формул и иллюстраций.

Сканированные книги — это файлы, хранящие целые электронные изображения каждой страницы книги. Такие файлы делаются путём сканирования бумажной книги постранично и дальнейшей обработки с целью улучшения качества и уменьшения размеров файла. Поскольку каждая страница хранится в виде ряда точек (растра), то такие книги можно кратко называть растровыми, чтобы отличить их от векторных. Основные форматы, употребляющиеся для растровых файлов, — это PDF и DJVU. В этих форматах можно добавить также и распознанный текст, закладки и гиперссылки, чтобы были возможны быстрые переходы по книге и автоматический поиск текста. Поэтому качественно сделанные растровые книги не менее удобны в использовании, чем векторные, и несущественно проигрывают им в качестве распечатанного текста. Типичный размер растровой книги — от 5 (редко) до 10—15 килобайт на страницу, в зависимости от разрешения и качества текста или иллюстраций.

Производство векторной электронной книги из бумажной книги путём компьютерного распознавания (OCR) связано с колоссальными затратами труда, особенно если книга содержит много иллюстраций, графиков, диаграмм, таблиц, или формул, ибо нынешнее состояние распознавательных программ заставляет форматировать всё это вручную, и нередко — исправлять ошибки распознавания текста. Поэтому для таких книг гораздо легче делать именно растровые, а не векторные электронные версии. Даже в чисто текстовых книгах — без иллюстраций, таблиц или формул — автоматическое распознавание порой даёт трудновыявимые ошибки. Гораздо быстрее приготовить растровую электронную книгу, тем более что современная технология сжатия изображений позволяет делать файлы вполне приемлемого размера. Например, средний размер растровых книг, включая распознанный текст — 13 КБ на страницу. Это означает, что растровая книга, имеющая 400 страниц, в среднем занимает около 5 МБ (цифры приводятся для формата DJVU). На стандартном ДВД-носителе (4,3 ГБ) может поместиться около 900 таких книг.

Некоторые программы позволяют делать файлы формата PDF, в которых весь плохо распознанный материал содержится в виде отсканированных картинок, а текст является векторным. Такие PDF-файлы однако сильно проигрывают чисто растровым книгам и по внешнему виду (нестыковка векторных шрифтов и фрагментов изображения страницы), и по размеру файлов.

Юридические тонкости оцифровки[править]

По существующим в большинстве стран законам, книги являются объектами одновременно авторского и имущественного права. Имущественное право — это право на распространение и продажу книги, а также право на любое копирование или даже бесплатное распространение через интернет. Автор книги имеет особые права, такие, как требовать признания авторства или заключать контракты с издателями. Если данная книга является объектом имущественного права, это означает, что её нельзя копировать или вообще как-либо распространять (даже бесплатно) без разрешения правообладателя.

На каждой книге среди выходных данных указаны обладатели имущественного права и, соответственно, ограничения на распространение книги. Однако имущественное право на книги имеет конечный срок давности, — это обычно 50 лет (в некоторых странах 75 лет) после смерти автора и 75 лет (в США — 95 лет) со времени публикации книги. В России и других странах бывшего СССР имеет место особая ситуация с книгами, вышедшими до 1971 года, поскольку лишь в 1971 году СССР вступил в международную конвенцию по авторским правам. Поэтому книги, вышедшие в СССР до 1971 года, как правило (есть и исключения), не являются больше объектами имущественного права. Книги, изданные в США до 1924 года включительно, или в Европе до 1932 года включительно, тоже, как правило, уже больше не являются объектами имущественного права.

Законной является оцифровка книг, права на которые истекли, или книг, авторы и издатели которых разрешают их свободное распространение через интернет или другим образом (например, если автор выложил на интернет-странице электронную книгу после того, как издательство вернуло ему все имущественные права). Учтите, что законом запрещается оцифровывать или копировать (в том числе через бесплатные или платные интернет-сайты) электронные книги, являющиеся в настоящее время объектами имущественного права. Хранение таких электронных книг на вашем личном компьютере уже является копированием и также запрещено, за исключением того случая, если вы сами купили эту книгу у издательства в электронном виде. Даже если у вас есть купленный вами бумажный экземпляр какой-либо книги, защищенной имущественным правом, закон запрещает вам изготавливать оцифрованную версию этой книги или хранить на своём компьютере где-либо взятую оцифрованную версию, если только вы сами не купили электронную книгу у издательства, дополнительно к бумажному экземпляру.

Мы призываем вас знать и соблюдать законы той страны, где вы живете, и оцифровывать только материалы, не являющиеся объектами имущественных прав. Данное руководство по оцифровке книг имеет чисто технический характер и не может рассматриваться как инструкция по нарушению закона. Ссылки на интернет-источники предоставляются только в целях ознакомления с техникой оцифровки.

Форматы DJVU и PDF[править]

Формат DJVU позволяет сжимать растровое изображение несколько лучше, чем PDF, просматривается несколько быстрее, а также более удобен в технической обработке. Например, есть простые и бесплатные программные средства для редактирования гиперлинков, закладок и OCR-слоя в DJVU, но таких средств нет для PDF. Также файлы DJVU более устойчивы к сбоям, чем PDF, и менее зависимы от версии просмотрщика, поскольку формат DJVU гораздо проще. Недостаток DJVU: возможность внести искажения при сильном сжатии и большое количество разных режимов сжатия приводят к тому, что сделать некачественный файл начинающему пользователю довольно легко. Также DJVU-файлы (по теперешнему стандарту) позволяют делать гиперлинки на другую страницу того же документа, но не на другой файл, не на сайт интернета, и не на выбранное место на данной странице (это можно делать в PDF). Однако формат DJVU несложен, документирован и содержит гибкий механизм добавления метаинформации: к каждой странице можно добавлять произвольную информацию в виде нескольких пар key=value. Поэтому в принципе можно сделать всё это и многое другое (например проверку md5sum или криптографическую подпись) средствами формата DJVU.

Главное достоинство формата PDF — широкая совместимость (у всех есть бесплатный Acrobat Reader или его аналоги) и тот факт, что большинство людей пока ничего не знают о формате DJVU. Однако, надо заметить, что программы для просмотра DJVU тоже бесплатные и требуют гораздо меньших ресурсов компьютера, чем Acrobat Reader. Недостатки PDF в основном технические, но они существенны. Главный недостаток — невозможность определить разрешение растра, находящегося внутри PDF. Это приводит к сильным потерям в качестве изображения при попытках улучшить качество неоптимально сделанного растрового PDF-файла. Неоптимальные PDF-файлы могут иметь размеры 100—200 КБ на страницу и даже более. Оптимальный растровый PDF тратит от 10 до 20 КБ на страницу, что примерно на 30—50 % больше, чем DJVU. Другие недостатки формата PDF — невозможность эффективно редактировать файлы и чувствительность к сбоям при передаче файлов. Сбойный файл часто невозможно просмотреть даже частично. К техническим недостаткам формата PDF относится и то, что иногда не получается произвести оптимизацию размера файла, которая в принципе была бы возможна, если бы формат PDF был лучше спроектирован.

Проиллюстрируем соотношение размеров PDF- и DJVU-файлов. Перевод в формат DJVU типичной отсканированной издательством статьи из журнала Physical Review (у них высокое разрешение и хорошее качество сканирования) уменьшает размер издательского PDF-файла в 10 раз. Во многих случаях перевод из векторного PDF в DJVU, даже с высоким качеством изображения и сохранением текста и навигации, всё равно даёт файл DJVU меньшего размера, чем исходный PDF. Это очень часто относится к файлам, созданным такими программами, как Quark Express, Acrobat Distiller (но не к файлам, созданным с помощью Latex/Ghostscript). Иногда векторные PDF-файлы содержат много формул в виде вставных растров; такие файлы уменьшаются в 3—4 раза при переводе в DJVU.

Именно технические достоинства формата DJVU и возможность автоматизированно обрабатывать DJVU-файлы привели к широкому использованию формата DJVU среди энтузиастов создания растровых электронных книг, в основном научно-технического характера.

Приспособления для сканирования[править]

Получать изображение документа можно сканером или фотоаппаратом. Качественных различий между ними нет, но и у сканеров, и фотоаппаратов есть свои достоинства и недостатки.

Теперь подробнее обо всех упомянутых особенностях.

Фотоаппарат[править]

Скорость сканирования полностью настроенным фотоаппаратом ограничивается в основном скоростью, с которой пользователь может сменять оригиналы перед объективом и жать на кнопку съёмки. То, что можно пристроиться в тихом уголке библиотеки и там работать сколько душе угодно — экспериментальный факт.
Но проблемы начинаются, если потребовать хотя бы минимального качества получаемых документов. Печать на современных принтерах идёт с разрешением от 300 (отмирает) до 2400 (и даже до 4800 в новейших моделях фотопринтеров) точек на дюйм (dots per inch, далее сокращённо dpi). Чтобы получить качественный отпечаток размера 1:1, необходимо иметь оригинал, оцифрованный с тем же разрешением. Таким образом, мы приходим к размеру оригинала, который может за раз оцифровать фотоаппарат, к примеру в 6 мегапикселей с минимально допустимым качеством:

в ширину

3000 пикселей / 300 точек на дюйм × 2,54 см на дюйм = 25,4 см,

и в высоту

2000 пикселей / 300 точек на дюйм × 2,54 см на дюйм = 16,9 см.

Поэтому удобнее использовать фотоаппараты с большим числом мегапикселей.

Теперь немного стандартов: лист формата А4 имеет размеры 297×210 мм, размер разворотов самых распространённых форматов книг — примерно такой же или чуть меньше: 19,5 см в высоту. В принципе, остаётся ещё один вариант, не предъявляющий столь высоких требований к разрешению — распознавание (OCR), но и тут есть подводные камни: во-первых, распознавание применимо лишь к книгам, содержащим текст безо всяких усложнений: химических и математических формул, иллюстраций или фотографий, во-вторых, нет никаких гарантий отсутствия искажения текста при распознавании на столь низком разрешении. Только тщательная последующая вычитка и проверка текста снижает количество ошибок и помогает избавиться от них полностью (или хотя бы до уровня ГОСТа — 1 опечатка на авторский лист, то есть на 40000 знаков).

Чтобы обеспечить высокое качество изображения, надо фотографировать книги постранично или даже кусками страниц — в случае крупноформатных изданий. Про прочие оригиналы уже и говорить не приходится.

Однако после получения изображений кусками их необходимо склеивать. Это делают программы для сбора панорамных снимков, осуществляющие автоматическую склейку изображений, аналогичные программные продукты существуют также для сканированных изображений. Пользоваться ими легко.

Второй способ сшивки — это знаменитый Фотошоп или его бесплатный аналог GIMP (Гимп). Менее удобно и требует ручной доводки.

Для получения частичных изображений надо двигать оригинал или фотоаппарат, соблюдая одинаковое освещение. Из-за этого, а также возможной у плохих фотоаппаратов бочкообразной дисторсии, склейка изображений не позволяет добиться их равномерности. Поэтому надо брать штатив и выбирать освещение, чтобы избавиться от таких искажений.

Далее — «шевелёнка». Руки с фотоаппаратом дрожат, что приводит к размазыванию изображения, причём известно эмпирическое правило для его устранения: выдержка должна быть меньше обратного фокусного расстояния. При библиотечных условиях съёмки надо увеличить количество снимков и повысить чувствительность, и никакой «шевелёнки» не будет.

Итак, штатив при съёмках очень желателен. Нужно также заботиться об одинаковой подсветке.

Качество съёмки будет наилучшим при специальных настройках фотоаппарата. Желательно, чтобы фотоаппарат имел возможность сохранения данных с матрицы без сжатия, в так называемый RAW-формат, хотя можно снимать в качественный JPEG. Для постоянного характера снимков для их последующей пакетной обработки надо выдерживать одинаковую диафрагму, фокусировку и выдержку. Иными словами, надо знать свой фотоаппарат и уметь им пользоваться.

При этом дополнительные сложности вызывает объём сохраняемых RAW-файлов. Они способны полностью исчерпать память фотоаппарата за какие-нибудь триста-пятьсот снимков. В самом деле, с матрицы 6-мегапиксельного аппарата обычно снимается порядка 6×4=24 МБ данных за раз, а существенного сжатия без потери качества фотоаппараты делать не умеют (да это и не нужно при обычной фотосъёмке). Поэтому надо иметь большую карточку памяти — не менее 1 ГБ.

Основные моменты сканирования[править]

Есть два основных метода сканирования: целым разворотом и по одной странице. При любом методе части страницы, где находится текст, должны быть полностью прижаты к стеклу — иначе возникает характерное затемнение в области корешка из-за наклонного падения света лампы подсветки (в любых сканерах) и размывание текста из-за малой глубины резкости (только в CIS-сканерах). Поэтому практически невозможно хорошо отсканировать книги, которые плохо открываются. (Существует, однако, специальный сканер OpticBook 3600, позволяющий сканировать книгу, открытую на 90 градусов. Этот сканер пока имеет драйверы только под Windows.) При сканировании разворотом, если книга полностью не влезает на стекло, может возникать дополнительное размытие текста на краю страницы из-за того, что текст не прижат к стеклу (только в CIS-сканерах). Всё это необходимо тестировать перед началом сканирования и определить оптимальный метод.

Необходимо также определить оптимальную рамку сканирования и контрастность. Это можно подобрать только методом проб и ошибок, но это необходимо подобрать правильно перед сканированием. Желательно также сразу же установить гамму и точки белого и чёрного, если это позволяет софт Вашего сканера.

Класть книгу абсолютно ровно, без перекосов, у Вас всё равно не получится, но это и не нужно, так как выравнивание можно проделать автоматически специальным софтом на стадии обработки сканов. Разрезание отсканированных разворотов и выравнивание полей тоже делается почти автоматически.

Иногда имеет смысл сделать ксерокс с книги и сканировать этот ксерокс. Дело в том, что в ксерокс-машинах гораздо больше глубина резкости, чем у сканеров, и поэтому удаётся скопировать участки текста, прилегающие к корешку книги, даже если книга плохо раскрывается. Кроме того, ксероксы специально делают повышение контрастности изображения, что позволяет избавиться от серого фона страниц и максимально уменьшить затемнение в середине разворота.

Софт для управления сканером можно использовать любой, например VueScan (есть для Windows / Linux), Irfan View (Windows), XnView (Windows), gimp/sane (Linux). Поддержка сканеров для Linux/Mac гораздо хуже, потому что как правило все производители делают драйверы только для Windows.

НЕ СЛЕДУЕТ пользоваться программой FineReader для сканирования текста при создании электронных книг, потому что FineReader автоматически делает неаккуратное выпрямление косых сканов, из-за которого в изображении появляются «изломы». Эти изломы не мешают при распознавании текстов, но плохо выглядят в растровом варианте отсканированной книги.

Софт для сканирования желательно использовать такой, чтобы получить сырые сканы в формате TIFF (не JPG, так как неизбежна потеря качества!), поименованные автоматически, например, так: page0001.tiff, page0002.tiff и так далее.

При сканировании по одной странице бывает удобнее сканировать сначала все четные страницы, потом все нечетные, и только потом переименовать все файлы автоматически по возрастанию номеров. При сканировании из XnView можно сразу указать, что сканируются только чётные или только нечётные страницы, — номера будут проставляться автоматически.

Разрешение (цифра «dpi» — количество пикселей на дюйм) и глубина цвета (черно-белый — 1 бит, серый — 8 бит, цветной — 24 бит) — самые важные параметры сканирования. Софт для сканера должен давать пользователю возможность выбрать эти параметры непосредственно, а не просто выбирать между непонятными режимами типа «текст» — «рисунок» — «фото для интернета». Сканер должен поддерживать разрешение как минимум 600 dpi; других сканеров сейчас не продают, а больше 600 dpi практически никогда не требуется. Сканировать можно либо в 600 dpi, либо в 300 dpi. Никогда не сканируйте в 150 или 200! Время при этом Вы не сможете сэкономить, а качество будет безвозвратно утеряно.

Здесь автор несколько категоричен. Сканирование в низком разрешении (200, 150, а иногда даже 100 dpi, но в полутонах, естественно — 8 бит серый или 24 бит цветной) может дать весьма приличный результат, пригодный во всех отношениях после соответствующей обработки (см. «обсуждение»). Конечно, это справедливо, если в сканируемом объекте нет большого количества (если мало — можно потом и отредактировать) совсем уж слишком мелких деталей, важных для содержания! Это существенно для пользователей недорогих сканеров, где быстрая скорость сканирования достижима только в режимах с низким разрешением.

Другие разрешения, такие как 360, 400 и т. д., мало смысла использовать — они работают через интерполяцию изображения, то есть реально сканер сканирует в 300 dpi сером и делает интерполяцию до 400 dpi черно-белого. Такую интерполяцию можно и нужно сделать специальным софтом, а не тем софтом, что пришел со сканером.

Здесь автор несколько преувеличил или упростил: фраза «реально сканер сканирует в 300 dpi сером и делает интерполяцию до 400 dpi черно-белого» может относиться только к конкретной модели сканера. Упомянутый автором сканер имеет оптическое (реальное) разрешение 300 dpi (на самом деле скорее всего 600 dpi) но есть сканеры у которых оптическое разрешение 400 dpi и вообще любое другое.

Многие сканеры одинаково быстро делают скан листа в 300 dpi черно-белого режима и в 300 dpi серого режима (greyscale). Поэтому если вы сканируете в 300 dpi (а не в 600 dpi), то лучше сканировать всегда в сером режиме (greyscale), даже если книга не содержит вообще цветного материала. Специальный софт потом может поднять разрешение 300 dpi серых сканов до 600 dpi черно-белого, при сохранении отличного качества текста (как будто сканировали в 600 dpi черно-белом). Проблемы 300 dpi серых сканов вылазят только в литературе с фотографиями, передаваемыми растровым методом: в некоторых местах появляется эффект муара, то есть волн яркости и/или цвета по изображению.

Упомянутый здесь «Специальный софт» который «может поднять разрешение 300 dpi серых сканов до 600 dpi» скорее всего у вас будет отсутствовать, если так то будет лучше сканировать в 300 dpi с однобитной глубиной цвета (черный-белый). При этом размер файлов будет очень маленький а качество предостаточно хорошим. Исключение: мелкий шрифт (газетный) или низкая контрастность (сероватые буквы на желтоватой бумаге).

Для максимального качества рекомендуется книги сканировать в сером режиме при 600 dpi, если же в книге есть информативные цветные иллюстрации, то в цветном 600 dpi. Это разрешение позволяет полностью разбить растровое изображение на отдельные цветные точки, что полностью подавляет муар.

В любом случае, запаситесь свободным пространством на винчестере — несколько гигабайт.

Сканирование цветных материалов[править]

Сканирование и обработка цветных материалов (книги с большим количеством фотографий, важных для содержания) связаны с существенно бо́льшими трудностями, чем сканирование черно-белых книг. Гораздо труднее получить конечный файл разумного размера при сохранении хорошего качества изображения. Исходные отсканированные файлы могут достигать ста мегабайт и больше на страницу, а конечный результат — сотен килобайт на страницу.

Обработка отсканированных изображений[править]

После сканирования необходимо просмотреть все страницы и убедиться, что нет явных огрехов. Например, иногда по недосмотру книга неровно легла на стекло сканера и часть текста на какой-либо странице не отсканировалась, или были вовсе пропущены некоторые страницы. После этого можно архивировать отсканированные изображения и приступать к обработке. Поскольку сканирование — физически самый трудоёмкий этап, рекомендуется держать резервную копию всех исходных сканов (такими, какими они были до обработки) на случай какого-либо сбоя.

Энтузиасты подготовили полные подробные инструкции по обработке отсканированных изображений и созданию электронных книг — смотрите ссылки внизу страницы. Каковы главные задачи обработки? Они зависят от того, ставим ли мы целью создание векторного файла или растрового файла. Для создания векторного файла производится распознавание (OCR) текста и его дальнейшее редактирование вручную в текстовом процессоре (таком, как MS Word или Adobe Pagemaker). Конечным продуктом обычно является сверстанная книга в формате PDF. Для создания растрового файла необходима доводка графических изображений до высокой степени сжатия и качества, а распознавание (OCR) производится лишь начерно, без вычитки и правки текста, в самом конце процесса. Обработка графических изображений производится обычно в пакетном режиме, так что не требуется обрабатывать каждую страницу вручную в Photoshop’e или другом графическом редакторе. Поэтому затраты времени на создание растровой электронной книги гораздо меньше, чем на создание векторной книги.

Графическая обработка сканов состоит из следующих основных шагов:

• преобразование серых сканов в черно-белые (если исходные сканы были серыми в 300 dpi, то после этого получаются черно-белые в 600 dpi)
• разрезание разворотов на два изображения отдельных страниц (если книгу сканировали в развороте)
• поворот изображения каждой страницы, чтобы текст стал по возможности горизонтальным
• отрезание ненужных тёмных полос на краях, создание ровных и одинаковых для всех страниц белых полей
• вычищение «грязи» на страницах (включая помарки от руки, штапмы и прочее)

Эти шаги частично автоматизированы в программе ScanKromsator (Windows) и описаны в инструкции «Scan and Share» (смотрите ссылки внизу страницы). Однако если эта программа показалась для вас слишком сложной, вы можете воспользоваться Scan Tailor (ссылка на неё внизу страницы).

После создания чистовой версии всех страниц книги, которые пока что хранятся в отдельных графических файлах, приступают к сжатию всех страниц в единый файл формата DJVU или PDF.

Файлы PDF и DJVU могут использовать разные степени сжатия. Наибольшее сжатие достигается в формате DJVU (алгоритм JBIG2), если текст черно-белый, отсканирован четко (это сильно зависит от физического состояния исходной книги), шрифт не слишком мелкий, а края букв ровные (не рваные). Формат PDF позволяет сжимать как алгоритмом JBIG2 (при этом размер получается на 20—30 % больше, чем размер DJVU), так и менее эффективными алгоритмами, например TIFF-G4. Размер PDF-файла после сжатия PDF/TIFF-G4 примерно в 4—8 раз больше, чем у PDF/JBIG2.

Имеются программы для создания хорошо сжатых файлов DJVU и PDF/JBIG2. Для формата DJVU это коммерческие программы от LizardTech: DjvuSolo и Djvu Document Editor. Для формата PDF это коммерческая версия Adobe Acrobat (не Reader). Есть и бесплатные программы для создания DJVU и PDF/JBIG2, но они пока не дают настолько хорошего сжатия, как коммерческие версии. Полубесплатная программа CPCtool, используемая как промежуточный этап перед окончательным сжатием, позволяет несколько улучшить сжатие DJVU (10—30 %) и во многих случаях сгладить «лохматые» контуры букв.

После создания окончательной чистовой версии книги делается распознавание текста (OCR). Распознавание текста на большинстве языков можно производить как коммерческой версией Djvu Document Editor (для DJVU), так и широко распространённой программой FineReader (для PDF). Имеется также бесплатный софт (утилита DjvuOCR) для вставки OCR-слоя в DJVU-файлы после распознавания в программе FineReader. По опыту, FineReader дает лучшее качество распознавания, чем Djvu Document Editor (который использует движок IRIS). Ознакомительные или демо-версии этих программ можно получить на официальных сайтах производителей.

Имеется также возможность автоматически добавить гипертекстовые ссылки в оглавление и индекс DJVU-книги. Это делает бесплатная утилита Djvu Hyperlink Editor.

Также в Djvu-книгу можно добавить оглавление в виде иерархического дерева с помощью бесплатной утилиты Djvu Bookmarker.

Доделка электронных книг[править]

Часто бывает необходимо улучшить уже имеющуюся электронную книгу. Доделка бывает по разным причинам необходима как для вёрстанных, так и для сканированных книг. Поскольку сканирование или вёрстка — самый трудоёмкий этап, то целесообразно обработать уже имеющийся файл до максимально хорошего качества (за исключением крайних случаев, когда качество имеющегося файла книги слишком низкое и лучше переделать всё заново).

Доделка PS-файлов[править]

PS-файлы почти всегда являются продуктом вёрстки в системе LaTeX и могут быть автоматически сконвертированы в формат PDF с помощью бесплатного пакета ghostscript (утилита ps2pdf). Однако при этом иногда появляется проблема, состоящая в том, что полученные PDF-файлы не позволяют делать поиск по тексту. Причина этого явления такова. Файлы, созданные ранними версиями LaTeX, часто имеют растровые шрифты (вместо векторных). В таком случае при переводе в PDF текст набран нестандартным (то есть не векторным) шрифтом и поиск по файлу невозможен. При использовании достаточно новых версий LaTeX можно указать, что шрифты должны быть векторные, и эта проблема автоматически отпадает. Однако существует много PS- и PDF-файлов, сделанных по-старому и проявляющих этот дефект.

Исправить этот дефект можно двумя способами:

• Перевести файл в формат DJVU и произвести распознавание (OCR) текста. Перевод из векторного PDF в DJVU производится утилитами gs2djvu или pdftodjvu.
• Если есть исходный PS-файл, созданный утилитой dvips версии 5.58 или старше, то можно воспользоваться утилитой pkfix.

Доделка PDF-файлов[править]

Поскольку формат PDF является сейчас самым распространённым, то часто встречаются отсканированные книги, хранимые в этом формате (вдобавок ко другим возможным дефектам отсканированных книг). Почти всегда бывает целесообразно переделать такие файлы в формат DJVU, так как при этом можно добавить распознанный текст (OCR-слой) и существенно уменьшить размер электронной книги.

Иногда переделке подлежат также и векторные PDF-файлы. Это относится к файлам со следующими дефектами:

• Отсутствие поиска по тексту книги. (Растровые шрифты, или неверная кодировка текста.) Самый простой способ исправить — переделать в DJVU и добавить OCR.
• Размер файла больше 10 КБ на страницу (кроме PDF-файлов, содержащих большое число цветных фотографий). Можно пытаться оптимизировать PDF утилитами Multivalent или Acrobat. Иногда целесообразно перевести в DJVU с сохранением текста (утилита pdftodjvu).
• Неверная навигация или неверный порядок страниц. Исправляется вручную с помощью Acrobat, или Foxit PDF Editor.
• Водяные знаки, не относящиеся к тексту, или другие нежелательные пометки на страницах. Исправляется вручную редактированием PDF-файла после декомпрессии. Или с помощью Acrobat 5.0 (в Acrobat 7.0 почему-то не работает) инструментом TouchUp Object Tool в виде стрелочки-указателя (hotkey: Shift-T). Щелкаем по нежелательному объекту и удаляем.
• Большое количество растровых вставок в векторный текст (формулы, таблицы, ненадежно распознанные слова). Исправляется переводом в DJVU с сохранением текста (утилита pdftodjvu).

Доделка DJVU-файлов[править]

Весьма часты случаи, когда доделка DJVU-файлов возможна и необходима. Эти случаи таковы:

• Файл DJVU содержит цветную информацию, то есть DJVU-элементы типа IW44 (это видно из свойств страницы, или из результата djvudump), в то время как текст на самом деле чисто чёрно-белый. Цветовая информация является лишней и была включена в файл по ошибке. Исправляется переделкой DJVU в черно-белом режиме. Возможно также убрать лишние цветовые слои с помощью DjVu layers remove (на основе djvused), но текущая версия не поддерживает гиперссылки. (Строго говоря, это не совсем так — черное поле буквы основное, но в «цветном» режиме края букв выглядят более сглаженными. Поэтому в ряде случаев, если буквы и так низкого разрешения, стоит оставлять книгу как есть. Обработка должна идти до запаковывания в DjVu. Доделка часто ухудшает качество и читабельность, пусть даже уменьшая размер. Отключить же цвет в DjVu-книге можно просто выбрав другой режим просмотра).
• Страницы в файле DJVU расставлены в неверном порядке. Исправляется вручную с помощью Djvu Editor / Djvu Solo, или с помощью утилит djvm/djvmcvt (разбирая DJVU-файл на отдельные страницы и собирая обратно, без перекодирования).
• Гиперссылки показывают на неправильные страницы или на несуществующие файлы. Исправляется редактированием гиперссылок (утилита djvused и текстовый редактор).
• Отсутствует OCR-слой (распознанный текст). OCR-слой можно создать с помощью программы распознавания текста, например Fine Reader, Ocropus или Djvu Editor.
• Файл DJVU содержит изображения, сосканированные в развороте (2 страницы на лист), с тёмными полосами по краям, и/или невыровненные изображения страниц. Исправляется переделкой файла в программе типа ScanKromsator или ScanTailor.
• Файл DJVU был сжат в неоптимальном режиме (например Lossless или с маленьким размером DJVU-словаря) и поэтому имеет слишком большой размер. Исправляется перекодированием в более оптимальном режиме.

Все эти дефекты можно устранить повторной обработкой DJVU-файла. Это позволит сэкономить время на повторное сканирование и получить файл меньшего размера и лучшего качества.

Поскольку формат DJVU использует эффективное сжатие данных, то явно низкокачественный DJVU-файл (отсканированный в цвете и/или в низком разрешении) часто не удаётся переделать в высококачественный. Доделка бывает неэффективной или невозможной в следующих случаях:

• Файл DJVU содержит цветные изображения низкого разрешения (200 dpi и ниже), закодированные не в фото-режиме, а с разделением текста и фона. Результат — текст практически нечитаем. Исправить нельзя, так как большая часть изображения уже потеряна или не была отсканирована.
• Файл DJVU содержит отсканированные изображения, содержащие большую долю неразделимо слившегося с текстом «шума» из-за пятен на бумаге, помарок, расплывшихся чернил, «волос» и других дефектов печати. Результат — файл очень большого размера. Если сканы были высокого разрешения (400 dpi и выше), то текст с экрана читается неплохо, а если файл в разрешении 300 dpi и ниже, то читается тяжело. Исправить затруднительно, без трудоёмкой чистки изображений вручную.

См. также[править]

• Создание электронной копии книги в формате DjVu в Linux
• Создание электронной копии книги в PDF
• Чистка скана вручную с помощью Adobe Photoshop
• ScanKromsator в Википедии
• Scan Tailor в Википедии

Ссылки[править]

• Базовые понятия DjVu-книгосканирования
• Как сделать из бумажной книги электронную
• DjVu-программы
• Итоги по DjVu-программам
• Документация к Scan Tailor
• СканКромсатор v5.6A Пособие по программе
• Scan and Share v1.07 Инструкция создания электронной версии книги
• Scan Tailor Официальный сайт
• Scan Tailor GitHub
• Scan Tailor SourceForge.net
• Scan Tailor Ru-Board
• ScanKromsator Ru-Board
• Слава Янко, «Как я отсканировал 600 книг». Автор делится своим опытом сканирования, форматирования и вёрстки.
• «Правила сканирования Готье Неимущего». Это для тех, кто хочет распознавать и верстать книги, но есть важные замечания и по собственно технике сканирования.
• FastScan — макрос для автоматического сканирования многих страниц подряд с помощью IrfanView.

Хотите узнать, как оцифровать видеокассету?

Отлично!

Потому что я частенько провожу оцифровку видеокассет в домашних условиях, так как записей из прошлого осталось оочень много (особенно семейных), которые хочется сохранить и для себя и для будущих поколений.

И сегодня я хочу доступно передать весь свой накопившийся опыт, как переписать видео с кассеты на компьютер, ноутбук, жесткий диск, флешку, dvd…вообщем на любой носитель, чтобы по моей инструкции смог справиться любой желающий новичок.

Как оцифровать видеокассету

Если вы родились до начала 2000 годов, то наверняка помните как раньше снимали видео на кассетные камеры 😊

Все записывалось на пленку, а потом кассету можно было просмотреть только через “видак”, ну или через саму камеру с мини-кассетой, подключенную к телеку.

И никак иначе, никаких крутых, как сейчас, телефонов, на которые уже ведутся съемки, порой, лучше и удобнее чем на отдельные видеокамеры и цифровые фотики, тогда не было.

Это были старые добрые 90-е и конец 80-х годов – вспоминаю сейчас, аж как-то ностальгия прошибает, порой хочется окунуться снова в то время…

Именно в этот момент у многих появились кассетные видеокамеры, которые стоили весьма дорого и далеко не всем были по карману, и многие тогда как-то еще даже и не понимали ценность такого приобретения, и считали “прибор” просто элементом роскоши и уделом богатых людей.

Некоторые осознавали это только потом, когда видели различные отснятые материалы спустя много лет у своих родственников, друзей, знакомых и говорили “Ээх, как жаль что у нас тогда не было камеры…“.

Современная молодежь сейчас, возможно, не совсем поймет меня и это нормально 😊 потому что родились в то время, когда уже не было камер, записывающих на кассеты, а появились те, что пишут на DVD-диски (кстати, не прижились они совсем), а также на жесткий диск или специальные карты памяти, флешки, какие применяются по сей день.

Но, действительно, те старые «пленки» из домашнего архива бесценны!

А для тех, у кого они еще остались, то хорошо бы знать, как оцифровать видеокассету в домашних условиях, никуда не бегая и не затрачивая времени и денег, чтобы этот момент не откладывался в долгий ящик и все-таки сохранить фрагменты из прошлого жизни для своих родственников, детей, будущих поколений и самому понастольгировать 😊

Зачем переводить в цифровой формат старые кассеты?

В моей семье камера появилась в 94-м году, когда мне было 4 года. Отец купил, не пожалев тогда денег. Рассказывал мне потом, что чувствовал — это будет очень нужная, полезная вещь и прикидывал заранее, как интересно будет смотреть любой отснятый материал спустя даже несколько лет. И он был прав!

Тогда я мелкий, понятное дело, ничего толком не соображал, зачем снимают всякие застолья, встречи, гулянки, выезды на природу…

Но будучи уже подростком, стал понимать всю ценность той видеокамеры. Когда мой батя включал нам время от времени для семейного просмотра записи, которые снимались в 90-х годах, это было просто офигенное, ни с чем не сравнимое ощущение!!! 😁

Я думаю каждый сейчас понимает что такое видеть себя мелкого, молодых родителей, бабушек, дедушек, каких-то других родственников, других людей, возможно многих из которых уже даже нет в живых…

Смотреть все это не на простых фотографиях (от них совсем не тот эффект, намного слабее), а на видео! Это кайф! Смотришь и наслаждаешься, вспоминаешь все то время, которое уже не вернуть, а так порой хочется. И при просмотре некоторых записей наворачиваются слезы.

Причем когда-то думалось: “Снимаем простое застолье 20 минут, все просто сидят на месте и разговаривают, никакой особой движухи. Смотреть будет не интересно”.

А нееее!! Оказывается даже такие, казалось бы совершенно неинтересные съемки, уже даже через пару-тройку лет становятся для нас очень интересными!

А что говорить о том, когда садишься смотреть спустя 10-15-20 лет? Когда смотрит с тобой бок о бок уже и новое поколение, сыновья, дети, племянники, племянницы, например, которым интересно посмотреть, какой был их прадедушка, какая прабабушка.

Теперь у вас может возникнуть вопрос: «Ну и зачем мне переводить все в цифру, если я итак могу продолжить смотреть старый архив на кассетах при помощи видеомагнитофона?!»

Верно, но есть 2 момента:

1. Магнитофоны не вечные, внезапно могут «сдохнуть» и дальше что? Остается взять для очередного просмотра у кого-нибудь знакомого видик (может завалялся у кого).

   Новый уже не купите, так как подобное старье уже просто не выпускают, а на Б/У устройство в любом случае потратите больше, чем обошлась бы оцифровка видеокассет в домашних условиях своими руками.

2. Видеокассеты со временем портятся, а точнее портится сама пленка в ней. И чем дольше лежит кассета, когда ее при этом регулярно не просматривают, тем хуже будет со временем качество отснятого материала.

   Когда я был подростком (лет 15-16), особо не задумывался обо всех этих стареньких кассетах, которых накопилось уже к тому времени около 20 шт.

   Представляете сколько ценного отснятого материала?!

   Не думал нисколечко о том, чтобы начинать все это добро переносить как-то в цифровой вид, на компьютер, потому что были совсем другие интересы…

   В цифровом виде, конечно же, портиться уже ничего не будет, весь ваш архив будет храниться без потери качества ровно столько, сколько вы сами захотите его хранить, например, пока не решите удалить или не потеряете случайно, ведь всякое бывает

   Но удалять намеренно самим ценный архивный видеоматериал только потому, что он, к примеру, место занимает, считаю, большой глупостью! Проще пространство свободное увеличить — купить жесткий диск, как вариант.

   Ну а чтобы данные не терялись случайно, например, в следствие какого-то сбоя жесткого диска, нужно просто-напросто регулярно делать резервные копии нужной информации на другие носители.

История: как пытался переписать видео с кассет на компьютер

Как раз в том же возрасте 15-16 лет у меня появился первый компьютер, в области компьютерных технологий я был полнейшим чайником, не знал ничего, даже в школе на уроках информатике было стыдно, когда я не мог сделать какие-то элементарные действия на компьютере и порой даже не знал как его включить или выключить.

И потому считал тогда: «Какая мне нафиг оцифровка, тут вроде какое-то оборудование нужно крутое, знать как им пользоваться, плюс какими-то программами владеть хорошо».

В итоге процесс оттягивался все дальше, браться за это дело боялся. Кто ж знал, что оказывается тут все весьма просто и для новичка

Первый раз, когда я задался вопросом как оцифровать видеокассету самому (предпринял попытку примерно лет 7-8 назад), стал разбираться, и мой лучший друган и коллега по работе в Московском приборостроительном техникуме, дал мне на время оборудование для этой задачи — плату, подключаемую к разъему PCI материнской платы компьютера (т.е. для ноутбуков бы не по подошла).

На тот раз у меня получилось переписать все записи с нескольких видеокассет на жесткий диск компьютера, но одна тогда была проблема: я не умел правильно выставлять различные настройки и в итоге полученные видео у меня занимали по 50-100 Гб.

Например, кассета часа на 3 могла занимать более 100 гб.

Ну кто хоть как-то шарит в компьютерах, тот понимает, что это жестяк, и если, скажем так, “кассеток” 30 цифровать (у меня на сегодняшний день «сделано» именно столько), то все добро займет несколько жестких дисков, а это уже не хилый “бабос” и в общем совсем не круто

И в тот момент я еще не знал как все это можно правильно сжать, чтобы при этом и в качестве не потерять, и разбираться желания тогда не возникло, поэтому все это быстренько забросил, так и не доведя это большое дело до конца, отдал плату обратно своему корешу.

Может не дорос еще тогда, чтобы понять, насколько важно все это сделать как можно быстрее, ведь это ценный семейный архив, откуда некоторые записи могут со временем совсем потеряться и сам потом будут об этом сильно жалеть.

Причем помню как Папа обрадовался, что я начал заниматься оцифровкой, ведь большую часть съемок проводил он и ему прямо очень хотелось, чтобы ничего не пропало, сохранялось и передавалось еще по наследству!

Основательно занялся переводом в цифру только в 2017 году. Может возраст подошел, стукнуло что-то в голову: «черт возьми, надо это сделать, иначе потом точно что-то с пленкой случится, и я буду очень жалеть, а родители особенно» и довел в этот раз дело до конца, ура! 😊

А когда я окончательно разобрался, как переписать видео с кассеты на компьютер и проделал это с каждой из тех, что были у нас в семье, мне в скором тетя подогнала еще 2 штуки своих. Она тоже понимает, насколько хорошо иметь старый материал на компьютере.

Мне было не трудно ей помочь, тем более когда есть интерес к делу и желание доставить радость кому-либо.

Одну кассету сделал легко, как и свои, а вот со второй был нежданчик, пленка в ней была порвана. Раньше я таким ремонтом никогда не занимался, потому не особо представлял как правильно заклеивать пленку.

Понятно, что материал на том кусочке уже не вернуть, но остальное то целое. Более того, на кассете были ценные воспоминания с разных времен – это ну просто нельзя было взять и не сделать!

С горем пополам, разобрав кассету, склеил 2 конца пленки тонким скотчем и вуаляя!

Она в итоге без проблем проигрывалась в видаке и что самое крутое — на том оборванном куске был записан просто какой-то фильм, который нафиг никому не нужен.

Вот так. Мой опыт пригодился и еще, по всей видимости, будет полезен и родственникам, а может и еще кому-то 😊

Переводить в цифру самому или отдать спецу?

Чтобы перенести старенькие записи с кассет, у вас есть 2 варианта:

1. Сделать все самому;

2. Отдать специалисту и пусть он делает за ваши деньги.

Так что же лучше выбрать?

Сейчас приведу некоторые аргументы, почему бы я занимался этим самостоятельно:

1. За услугу придётся отвалить порядка 500 рублей за 30 минут записи, поэтому считаю, что хорошо бы самому разобраться (подобные расценки я видел в разных салонах у себя в городе).

2. При этом во время переноса записей на них мастер может еще и поглазеть! А мало ли что там вы записывали, может есть то, что не хотелось бы, чтобы увидел кто-то Смайла А также конечно может что-то испортить, перепутать или потерять. В жизни всяко бывает.

3. Оцифровать видеокассету дома – много времени не займет, если будете делать по инструкции (ниже весь процесс подробно опишу): нужно будет лишь вставить кассету, быстро произвести некоторые настройки оборудования и лишь иногда поглядывать за процессом, ничего ли там у вас не приостановилось.

4. Можно самому зарабатывать, оказывая услугу по переводу в цифровой вид кассет, например, своим знакомым. Ведь кассеты у людей валяются до сих пор. На своем опыте могу сказать у многих и не знают, что с ними делать 😊

Поэтому считаю, хорошо бы самому разобраться, как переписать видео с кассеты на компьютер, а в пользу «отдать мастеру» я могу прикрепить только такой аргумент…

Для самостоятельной работы потребуется оборудование. Например, нужно купить специальную плату, ну или взять у кого-то на время. А ещё должен быть видеомагнитофон или камера (которые конечно тоже можно одолжить).

Поэтому, если материала совсем не много, к примеру, всего минут 30 записи, то вероятно проще будет не возиться самостоятельно.

Подготовка: необходимое оборудование и программы

Для оцифровки потребуется:

1. Сами кассеты с видеоматериалом.

   Думаю, тут без комментариев 😊

2. Компьютер.

   По характеристикам в принципе подойдет любой, но на совсем древнем железе потом нормально не сможете обработать полученное видео.

   Например, что-то удалить, переходы наложить, края дефектные по бокам отрезать…

   Если у вас какой-нибудь древний процессор Intel Pentium, Intel Celeron и прочее старье + оперативной памяти где-нибудь 1 гб., то процесс если и будет идти, то очень проблематично скорее всего.

   Я цифровал на весьма производительном даже на сегодняшний день ноутбуке Asus N76VJ, в котором процессор линейки Core i7 с частотой 2.4 Ггц., 8 Гб. оперативки и видеокарточка NVIDIA GeForce GT635M.

   С такой конфигурацией у меня все прошло тип-топ и весьма быстро. И обрабатывать видео на таком «железе» можно также без проблем фактически в любом видеоредакторе.

3. Видеомагнитофон или видеокамера или видак + VHS-C адаптер.

   Чтобы проводить оцифровку, нужно подключать к компьютеру либо видеомагнитофон, в который вы можете вставить VHS кассеты, либо (если кассета S-VHS, т.е. маленькая) VHS-C адаптер + видеомагнитофон или видеокамера.

   Зависи от того, какие у вас кассеты, ведь они бывают разных форматов. Чтобы вам было понятнее, что именно потребуется в вашем случае, поясню:

   • VHS — стандартная большая видеокассета, которую можно просмотреть через видеомагнитофон, но не через видеокамеру.

     

   • S-VHS — маленький формат кассеты, который использовался в самих камерах (на них собственно и шла запись). Посмотреть такие можно через саму видеокамеру, подключенную к телевизору или через тот же видак.

     Но поскольку видаки воспроизводят в основном только кассеты VHS, то маленькую кассету в него можно затолкать только вставив в специальный переходник (адаптер VHS-C).

     

   Итого: если у вас видеокассеты стандартного типа (VHS как в примере выше), то чтобы их оцифровать в домашних условиях на ПК, вам нужен видеомагнитофон, а если кассеты маленькие (VHS-C), то тогда либо камера, либо адаптер VHS-C с видиком.

   Из своего опыта оцифровки, который я ниже описываю, могу сказать, что проще подключать видак к компу, нежели камеру, потому что с ней возникает больше проблем, программы чаще ее могут не обнаруживать, могут быть перебои с выводом изображения и звуком. По крайней мере с подключением видака я подобных проблем не испытывал.

   Ну а если у вас и те и другие форматы кассет есть (у меня так и есть), то вам и видак нужен и плюс к этому камера или VHS-C адаптер. Вот так 😊

4. Плата для преобразования видео в цифровой формат.

   Именно такая штуковина будет преобразовывать аналоговый сигнал с кассеты в цифровой для компьютера.

   Плат таких имеется на сегодняшний день широкий выбор. Есть те, которые подключаются к материнской плате компьютера (к разъему PCI или PCI-E), а есть те, что подключаются к компьютеру по USB.

   Когда у меня был первый опыт оцифровки, я пользовался платой для материнки. Если память мне не изменяет, фирмы Avermedia. Эх, давненько было дело, подзабыл уже…

   Честно говоря не очень удобно, а это заключается прежде всего в том, что для такого типа плат нужен стационарный компьютер, потому что к ноутбуку физически ее подключить не получится.

   Поэтому, когда решил заняться переносом кассет на комп во второй раз, то купил себе плату для подключения к USB разъему компьютера. Вот это уже куда удобнее!

   Вставить можно в любой компьютер, а чтобы не мешалась при ненадобности, просто вынимается. Да и сами они занимают мало места.

   Плату брал такую: Avermedia DVD EZMaker 7. Подключается к видеомагнитофону или камере через так называемые выходы “тюльпан” (желтый, красный, белый).

   Видео можно отдельно подключить по выходу S-Video, который тоже у этой платы присутствует. Цена, когда я ее покупал, лежала в районе 3000 р., точно уже не помню, но и сейчас стоит примерно столько же (смотря в каком магазине, конечно, покупать).

   

   А в характеристиках я даже и не разбирался тогда и не рассматривал их, так как основная масса этих всех плат могут оцифровать видео в максимальном разрешении, которое может выдать пленка видеокассеты.

5. Компьютерные программы для оцифровки, сжатия и монтажа.

   • Перевод записей из аналогового в цифровой сигнал производится через специальные программы, коих много.

     Есть для этого специализированный софт, а есть и комплексный, например, тот, что предназначен для монтажа, но в тоже время умеет производить захват видео с камеры или видика, цифровать и после делать нужный монтаж.

     Пример таких программ: Pinnacle Studio, Vegas Pro, Adobe Premiere Pro. Все они могут производить оцифровку и монтаж и все они платные 😊

     Но из своего опыта могу сказать, что не всегда такой крутой софт способен сделать задуманное, поскольку не все программы могут работать с определенными платами захвата, а в некоторых нет достаточного функционала именно для преобразования.

     Получается монтаж производится на высоком уровне с тонной возможностей, а вот захват страдает…

     Например, я не смог воспользоваться ни одной из 3-х вышеперечисленных программ.

     В Pinnacle мне не хватило настроек захвата видео, я не мог выставить нужное разрешение. А Vegas Pro и Adobe Premiere Pro отказались работать с моей платой захвата, они ее тупо не распознали.

     Поэтому я сначала попробовал цифровать в довольно известной старенькой и бесплатной, но весьма функциональной программе VirtualDub.

     

     Там вроде все складывалось нормально, но со многими кассетами возникали проблемы с рассинхронизацией звука при оцифровке, и я никак не мог это побороть, хотя очень долго ковырялся со всякими настройками, пробовал что-то вычитывать в интернете.

     И это реальная проблема!!!

     Ладно бы дорожка аудио просто чуть отставала или наоборот была впереди видео, но нет, вся фиговина в том, что аудио отставало неравномерно и недостаточно было взять и сдвинуть всю дорожку, нужно было сидеть и кусочками двигать дорожку, подрезать ее, что просто мучительно и по другому не назовешь 😠

     Ну и программа эта для монтажа уже оцифрованного видео особо не подойдет, в ней весьма сложно и неудобно работать и могут глючить некоторые функции. Но, думаю, кому-то вероятно поможет именно эта программка, скачать ее можно с официального сайта: здесь »

     Зато этой программой удобно сжимать видео, если вы не сжимали его на этапе оцифровки.

     И затем я нашел еще одну программу: iuVCR. Вот она стала для меня финальной, решились с ней все проблемы и именно через нее я перегнал все свои 30 кассет в цифру!

     Тем более и настроек сложных как в виртуалдабе она не имеет. Скачать можно также с оф.сайта вот здесь »

     

     Официально нужно за нее платить, но после окончания триального периода, можно сколько угодно продолжать пользоваться программой.

     По крайней мере уже прошло несколько месяцев, а она у меня до сих пор работает. Но и стоит она не дорого — 652 рубля на весь срок использования.

     Эта софтина предназначена видеозахвата, т.е. в ней нет вообще никаких функций видеоредактора. Минусом я это никак не считаю, потому как для монтажа предназначены специальные программы.

     Работать с ней достаточно просто, и ниже я буду показывать как переписать видеокассету на компьютер именно при помощи неё.

   • Также из программ еще пригодятся видео / аудио кодеки, потому что без них не получится выбрать нормальные способы сжатия видео. Все кодеки есть в известном пакете K-Lite Codec Pack.

Помимо всего перечисленного может что-то еще пригодиться, например, какие-то переходники для подключения платы к компьютеру, шнуры или удлинители для подключения видака / камеры к нему. Все это индивидуально, смотря какое там у вас оборудование.

Инструкция как оцифровать видеокассету в домашних условиях на ноутбуке или ПК

Для работы в моем случае имелось:

1. Кассеты с видеозаписями.

2. Адаптер VHS-C (поскольку были и маленькие кассеты).

3. Старый рабочий видеомагнитофон.

4. Плата для оцифровки Avermedia DVD EZMaker 7.

5. Провода (так называемые “тюльпанчики”) для подключения платы к видаку.

6. Ноутбук.

7. Внешние жесткие диски, куда я перемещал оцифрованное видео. Таких дисков у меня несколько, и поскольку я сначала в ходе оцифровки видео не сжимал, я забил под завязку 3 таких диска емкостью 1-1.5 Тб, т.е. 1000-1500 гигов.

8. Программы:

   • iuVCR для оцифровки;

   • VirtualDub для последующего сжатия огромных по объему видеофайлов;

   • Кодеки для сжатия.

   • Camtasia Stutio для простейшего монтажа оцифрованных видео.

Теперь исходя из этого, перед тем как переписать видео с кассеты на компьютер, нам нужно:

1. Включить видик или камеру и вставить нужную кассету.

2. «Тюльпаны» вставить одним концом в оборудование из пункта 1, а вторым в плату оцифровки.

3. Саму плату вставить в компьютер и дождаться установки драйверов системой.

4. Установить и запустить iuVCR.

   Сейчас я не буду расписывать подробно о том, как скачать программу, затем как ее установить и подобное, потому что это крайне просто. А если вопросы все же возникнут, то спросите в комментариях, помогу с удовольствием!

   Пользоваться прогой тоже просто, тем более она изначально идет на русском языке.

Настройки программы и сам процесс

1. Выбираем папку для получения итоговых оцифрованных видеофайлов.

   Это делается на вкладке “Файл”, там под надписью “Имя” есть путь. Нужно щелкнуть по иконке папки справа от строки с выводом пути и выбрать нужную вам папку, куда будут складываться оцифрованные видео.

   

   Галочку “Добавлять дату-время” рекомендую оставить, потому что в этом случае к именам полученных в итоге видеофайлов будут добавляться еще дата и время, чтобы вы точно не запутались в них.

2. Настраиваем сегментацию.

   Сегментация в нашем случае — это разбиение одного большого видео (например, всей кассеты) на несколько видеофайлов либо по их продолжительности, либо по размеру в мегабайтах.

   Если не настраивать сегментацию, то на выходе будете получать просто огроменные по размеру файлы, например, по 200-300 Гб. (если не будете их сжимать, следуя именно моему примеру). А представьте если кассета на 3 часа записи, это ж капец какой объем 😊

   Поэтому лучше сегментировать, делается это на вкладке “Файл” в блоке “Сегментация”.

   

   Я выставлял сегментацию по времени, т.е. ставил галочку “Макс.время” и указывал там обычно 30 мин.

   Работает это так: идет оцифровка кассеты и в файл пишется итоговое видео, когда длина записи достигает 30 мин., последующая оцифровка идет уже в новый файл и т.д.

3. Настройка видеосигнала.

   Нужно выбрать в программе ваше устройство захвата (плату, которую вы подключили к компьютеру) и настроить видео. Это делается на вкладке “Видео” под заголовком “Настройки устройства”. Там выбираем плату оцифровки.

   А внизу, под надписью “Кодеки” лучше выбрать “Нет (без программного сжатия”).

   

   В этом случае видео вообще никак не будет сжиматься и конечно это будет прилично забивать ваш жесткий диск. К примеру, запись минут 30 может весить порядка 20-30 Гб. Но! Почему я говорю, что лучше не сжимать…

   А потому что при включенном сжатии очень часто оцифровка идет с рассинхронизацией звука и видео (звук идет вперед видео или наоборот) и это большая проблема.

   Я пробовал разные способы сжатия и она не исчезала, пока я это самое сжатие вообще не вырубил!

   Может мощностей компьютера не хватает, что очень вряд ли, а может еще в чем-то дело, но я так и не разобрался, в итоге цифровал без проблем без сжатия, получал огромные видео файлы и потом их просто отдельно пережимал 😊

   Затем нажимаем “Формат записи”, чтобы выставить максимальное разрешение получаемых видео файлов, которое способна выдать ваша плата оцифровки. В моем случае это 720х576. Формат и частоту кадров менять не нужно.

   

   Если вы видите, что в этом окне у вас стоит изначально маленькое расширение и, увеличив его, вы не можете сохранить изменения (из-за ошибки), то нужно закрыть и заново открыть программу, а затем на вкладке «Видео» еще раз выбрать плату оцифровки и попробовать снова изменить формат записи.

4. Настройка аудиосигнала.

   На вкладке “Аудио” выбирается та же плата, чтобы цифровалось не только видео, но и звук конечно же. Проверьте, что выбрано нужное устройство под строкой “Параметры”.

   

   Обычно нужная плата выбирается автоматом, но мало ли… Больше здесь ничего не требуется настраивать.

   Единственное, что может пригодиться еще — опция “Всегда подкл.”

   Если там поставить галочку, то во время предпросмотра и оцифровки, звук с кассеты будет проигрываться вместе с видео, а если не включать, то звук проигрываться не будет (но его оцифровка все равно будет производиться, так как вы выбрали нужную плату!).

5. Дополнительные настройки.

   Во вкладке “Опции” лучше дополнительно оставить такие же настройки как у меня.

   Вот они:

   

6. Предварительный просмотр кассеты.

   Перед тем как оцифровать видеокассеты, можно включить ее предварительный просмотр. Для этого на видаке запускаем проигрывание кассеты, а в программе нажимаем “Просмотр Вкл”.

   В результате в отдельном окне откроется окно, где будет идти проигрывание кассеты. И если на вкладке “Аудио” ставили галочку “Всегда подкл.”, то видео будет идти со звуком.

   

7. Оцифровка.

   Если все выше настроили, то можно значит уже запускать процесс. Все что осталось для этого сделать — это нажать кнопку “Начать запись”.

   

   Через пару-тройку секунд начнется оцифровка в первый файл, в ту папку, которую вы указывали во вкладке “Файл”.

   Но в том то и проблема, что через пару-тройку секунд 😊 Это чаще всего создает потом рассинхрон видео и звука, потому как видео начинается писаться чуть позже звука.

   Если задержка более 700 мс., то это плохо, будете ощущать реально задержку видео при последующем просмотре!

   Чтобы такого не было, делаем следующее: нажав “Начать запись” тут же останавливаем, кликнув на том же месте “Stop record” и быстро снова жмем “Начать запись”.

   В итоге задержка должна быть минимальной, порядка, 400-700 мс., что вполне хорошо и никакой рассинхронизации звука и видео вы просто не заметите!

   После запуска оцифровки видео, автоматически откроется вкладка “Инфо” и внизу как раз будет указано, какая задержка:

   

   На этой же вкладке будете видеть, сколько уже прошло по времени оцифровки, сколько места осталось и другую информацию.

   Для остановки оцифровки, если требуется, просто нажмите “Stop Record”.

   Если на вкладке “Файл” вы выставляли максимальное время записи файла или максимальный его объем, то программа будет автоматически создавать новые файлы, когда указанный предел одного будет достигнут.

   Если же ограничения на файл не ставили, то пока кассета не закончится будет идти оцифровка дальше.

Вот, собственно и все! Нуу, почти все, еще потом монтаж, если хотите улучшить видео 😊

Не забудьте, что если вы как и я не включали сжатие, то оцифрованные файлы будут о-о-очень много места съедать на вашем диске!

Это я к тому, чтобы не забывали в то время как программа будет переписывать видео с кассеты на компьютер, следить за оставшимся местом и, в случае если его будет уже мало, оперативненько могли перенести готовые файлы на другой диск, чтобы могли дальше сохраняться оставшиеся кусочки с видеокассеты.

Если же у вас места физически не хватает и нет других внешних дисков, то ничего не остается как включать сжатие видео и что-то химичить, если также как и я в этом случае столкнетесь с рассинхронизацией звука и видео.

Сжатие полученного видео

После того как нужные кассеты будут оцифрованы, можно приступить к сжатию. Если, конечно, вы не решили сжимать сразу на этапе оцифровки.

Для этого я пользовался программой VirtualDub, а так есть и другие варианты.Также нужны кодеки, чтобы был расширенный выбор вариантов сжатия (я пользовался, упомянутым пакетом K-lite Codec Pack).

Со сжатием все просто!

Если выбрали VirtualDub, то:

1. просто перетаскиваем нужное оцифрованное видео в окно для начала работы с ним и «идем» затем в Video — Compression.

   

2. Теперь нужно выбрать кодек для сжатия. Вариантов может быть очень много, я сжимал через Xvid MPEG-4 Codec и остался очень доволен. Ниже я покажу настройку сжатия на примере именно этого кодека.

3. Выбрав кодек в окне слева, нужно нажать “Configure”. Там нажмите кнопку Target quality, чтобы ее название стало Target Bitrate (kbps) и выставьте значение 8000.

   

   Соответственно, если изначально изначально кнопка называлась так как нужно, то и менять ничего не требуется. Все остальное (Profile @ Level, Encoding type, Quality preset) выставьте так на изображении выше. На мой взгляд, это оптимально.

4. Затем кликните “more” напротив Profile @ Level.

   

   Я оставил вот такие параметры на вкладках Profile, Level и Aspect Ratio. Если у вас не так, поменяйте.

   

   На счет последней вкладки (Aspect Ratio): там выставляется соотношение сторон видео.

   Изначально я хотел, чтобы видео было широкоформатным, например, 16:9, и что я только не творил, но видео растягивалось, т.е. картинка искажалась.

   Потом до меня наконец дошло, что ну никак не сделать легко видео 16:9, если оно изначально 4:3. Это также как старые фильмы крутят по телеку в формате 4:3, потому что раньше не было 16:9.

   Поэтому на той вкладке, под параметром Pixel Aspect Ratio стоит значение “Square (default)”, что означает “Квадратное”.

5. Если пережимать видео прямо так, то в итоге будет сильно заметны некоторые дефекты, например, «гребенка» в виде неровностей по краям объектов (хорошо видно на изображении внизу), которая прямо режет глаз:

   

   Чтобы исправить это, наложим в программе 2 фильтра. Для этого перейдите в раздел «Video» — «Filters».

   

   В открывшемся окне нажимаем «Add», в следующем выбираем фильтр «deinterlace» и нажимаем «ОК». В открывшихся параметрах оставляем все так как есть (см. изображение ниже) и снова «ОК».

   

   Затем точно также добавляем еще один фильтр «blur» и сохраняем затем выбранные фильтры, нажав «ОК» в основном окне.

   

   Разница будет заметна сразу, ее вы можете наблюдать прямо в окне препросмотра VirtualDub (слева исходная картинка, а справа с применением фильтров).

   

6. Теперь можно сохранять настройки, нажав “ОК” в каждом из окон.

7. Осталось дело за малым — запустить процесс пережатия. Для этого переходим в меню File и выбираем там Save as AVI.

   

   Выбираем папку, куда будет сохранено сжатое видео и начнется процесс. Осталось только дождаться его окончания. По времени все зависит от длительности видео и от мощности компьютера.

Данный способ сжатия позволяет уменьшить размер оцифрованного видео в десятки раз! Например, из исходного видео размеро в 30 Гб. вы можете получить 2 Гб. И при этом не страдает качество. Потому битрейт видео, который как раз можно, грубо говоря, назвать качеством видео, был выставлен равным 8000 и этого более чем достаточно для пережатия без потерь.

Основные выводы

Проделав все по данной инструкции, учитывая все мои советы о том, как оцифровать видеокассету, у вас должно получиться без проблем переписать видео с кассеты на жесткий диск стационарного компьютера или ноутбука в домашних условиях, не прибегая к помощи специалиста за отдельную плату, потому что я таким образом уже обработал несколько десятков своих и не только видеокассет.

Понятно, что выглядит может все и сложновато, но на самом деле главное иметь нужное оборудование и просто следовать моим шагам, чтобы получить аналогичный результат.

Я в свое время убил на эти эксперименты с оцифровкой, ну, просто уйму времени, и думаю, если хотите оцифровать свои кассеты, изобретать велосипед заново, пробуя как и я всевозможные программы и настройки, нет смысла.

После проделанной работы остается лишь монтаж, если это вам нужно. Его видит каждый по своему: для кого-то достаточно склеить все куски видео, добавить переходы и нормально. Кому-то нужно сделать еще какие-то текстовые врезки, добавить фотографий, музыки. Это уже на вкус и цвет…

Монтаж можно проделать в разных программах и, что называется, “хренова гора”!

Я делал Camtasia Studio, потому что хотелось побыстрее получить результат, а эта программа для меня очень привычная и сама по себе предельно простая в использовании.

А если устраивает то, что было в исходном варианте, как говорится «без выпендрежа», то этап монтажа сам по себе отваливается 😊

На этом все. Как вам статья? Напишите, пожалуйста, свое мнение в комментариях!

Поскольку это моя первая заметка по обучающему тренингу в рубрику «Компьютерная грамотность» и важно знать, насколько всё понятно, ясно, вообщем, как в целом Помог Вам или нет?!

А, если реально по моей инструкции поработаете со своим видеоархивом, то обязательно дайте знать, потому что меня такие вещи очень сильно мотивируют, поэтому получу толчок описывать больше подобных технических инструкций на своем дневнике.