[Armin]

Тема-побратим.
ScanKromsator Программа для обработки сканов книг. Вопросы, советы, хитрости, обсуждение.

Сетевой каталог отсканированной литературы от Wer666 (пока без ссылки, ищем сетевой ресурс).

Чтобы посмотреть выложенную в данной теме литературу (все вложения в данной теме) заходим в раздел "Поиск литературы, чертежей, моделей и прочих материалов". Возле названия темы "Ваши сканы, наша обработка и перевод в DJVU" жмём на изображение скрепки (см. рис).




КРЫЛОВ СМ - Экспериментальное исследование работы железобетонных перекрытий каркасных зданий (статья).
Руководство по проектированию свайных фундаментов 1980
Клейн ГК = Расчет подпорных стен_1964 OCR HypLink (версия от Armin)
ДПМ-Пульс-01_60 (серия по противопожарным дверям)
Пособия по проектированию ЖБК без предварительного напряжения
СНиП 3.02.01-87 Земляные сооружения, основания и фундаменты (2007)
СНиП 2.02.01-83* Основания зданий и сооружений (не окончательная версия)
Макаров ЕВ Светлаков НД = Справочные таблицы весов строительных материалов (версия от Armin)
Строительные работы в зимних условиях Справочное пособие 1953
Пешковский ОИ "Технология изготовления металлических конструкций"
Мурашев ВИ "Трещиноустойчивость, жесткость и прочность железобетона" 1950 (версия от Armin)
Слицкоухов Ю.В. Индустриальные деревянные конструкции 1991 (версия от Armin)
Филиппов Н.А. Константинов И.А. Примеры расчёта и проектирования деревянных конструкций. 1965 (версия от ЛАО)
Арленинов Д.К. и др. Конструкции из дерева и пластмасс. 2002 (версия от ЛАО)
Арленинов Д.К. и др. Конструкции из дерева и пластмасс. 2002 (версия от Armin)
пока до #160

Старое название темы.
Умеeшь сканировать, но не умеешь обрабатывать сканы и переводить в DJVU? Постараемся помочь.

Про ценность отсканированной литературы, выкладываемой в общий доступ, понятно всем.

У многих есть возможность отсканировать и выложить необработанные сканы в инете (на файлообменниках и т.п.).
Но вот умения/возможности/времени обработать сканы (удалить мусор, на страницы порезать, перевести всё это в формат DJVU и т.д.) нет.

У меня есть предложение для таких людей.
Выкладывайте свои сканы, а я (и другие заинтересованные формучане) поможем вам обработать данные растровые файлы и поможем привести в божеский вид.

Естественно всё один я не потяну и интересны мне в основном книги связанные с проектированием (расчет/конструирование) железобетонных и прочих конструкций, зданий и сооружений (особенно старые, годов с 30-ых).

Предлагаю выкладывать в данной теме название книги, которую Вы имеете возможность отсканировать + один отсканированный лист, чтоб была возможность подсказать, как лучше сделать (в каком лучше разрешении и формате сканировать, чтоб получился хороший результат).

Статьи по поводу сканирования с http://djvu-soft.narod.ru

Сканирование бумажной книги. В результате получаются т.н. "сырые сканы"- серые или цветные необработанные изображения страниц книги. Смысл - получение "сырья" для будущей электронной книги. Рекомендуемая программа - Irfan View.

1. Не используйте программу ABBYY FineReader версий 7, 8 или ниже для сканирования книг. Она корёжит получаемые скан-изображения страниц книги. Можно использовать программу ABBYY FineReader 9 для этого - но перед сканированием сбросьте там в опциях галку "Исправлять перекос страниц".

2. Не сканируйте книги в чёрно-белом режиме (Black-White или Line Art или 1-bit), а ТОЛЬКО в режиме серого (Greyscale, или 8-bit) или цветного (Color, или 32-bit) - если книга содержит цветные рисунки. Сканирование в чёрно-белом режиме приводит в итоге к необратимому ухудшению качества получаемой DjVu-эл.книги. Данный режим сканирования задаётся в интерфейсе сканера - т.е. в том окне, которое появляется после нажатия в программе кнопки "Сканировать".

3. Не сканируйте в формат JPG. Формат JPG "размывает" скан-изображения страниц книги.

4. Не используйте опцию "Заменять неуверенно-распознанные символы их изображениями" - когда создаёте Pdf-эл.книгу в ABBYY FineReader - такие эл. книги выглядят ужасно.

5. Сканируйте книги в формат TIF и с разрешением не менее 300 DPI. Для наиболее высокого качества сканируйте с разрешением 600 DPI.

Эта мини-инструкция в картинках, описывающая полный цикл создания электронной версии научно-технической книги, и предназначена для человека, искренне захотевшего сделать приемлемого качества е-книгу, но не знающего с чего начать. Важно понимать, что существует немало апробированных методов создания достаточно качественных e-книг, все они характеризуются тем, что на выходе книга, как правило, научно-техническая, имеет разрешения 600 dpi ч/б (все книги в 300 dpi ч/б, несмотря на все старания создателей, явно проигрывают в качестве).

Рассматриваемая здесь метода, основана на сканировании в 300 dpi, в градациях серого (600 dpi ч/б будет после обработки). По этому поводу следует заметить, что уменьшение геометрического размера сырого скана в 4 раза, по сравнению со сканированием в 600 dpi, практически компенсируется увеличением глубины цвета в 8 раз (зато скорость сканирования возрастает в 2 раза ), а также уменьшением количества паразитного мусора (чистить практически не надо будет).

Беря в руки увесистую книгу, многие думают, что отсканировать ее может только маньяк. Совершенно верно, именно так. Без применения научно-организованного подхода, любая работа превращается в мучение, но, сделав работу незаметной, хоть большого удовольствия и не получишь, но дело сделаешь.

Для сканирования сгодится любая программа, способная взаимодействовать с TWAIN-драйвером сканера и сохранять отсканированные изображения на диск, нумеруя их удобным способом. Сойдет любой просмотровщик графических файлов: ACDSee, IrfanView, XnView… Если ваш сканер поддерживается программой сканирования VueScan, можете использовать и ее.

Например, в IrfanView (скачайте свежую версию этой бесплатной программы) это выглядит примерно так:
- В меню Файл жмем пункт Выбрать TWAIN-источник…
- Далее, там же, выбираем пункт меню Получить изображение/пакетное сканирование…

здесь выбираем, как будут нумероваться файлы сканов, где они будут складироваться и тип графического формата. Не забудем проверить Опции графического формата:

можно выбрать или Без сжатия или LZW (внимание, не все программы корректно с ним работают), в последнем случае размер файла на выходе будет примерно в два раза меньше. Можно, наверное, и ZIP, но это проверьте самостоятельно.
- жмем на кнопку OK и переходим в окно TWAIN Вашего сканера.

Сама техника сканирования незатейлива:
Берется книга, кладется разворотом (т.е. двумя страницами) на стекло, прижимается если надо сверху рукой (это быстрее, чем использовать груз).
Делается предварительное сканирование.
Картинка, если это возможно, в окне сканирования, разворачивается на 90 градусов (в нормальное положение).
Выбирается область сканирования с некоторым запасом, как правило по горизонтали (по вертикали трудно промахнутся).
Мышкой жмется кнопка основного сканирования.
После того, как данный разворот отсканирован, во время обратного движения каретки сканера, переворачиваем страницу книги, кладем на то же место и жмем опять на левую кнопку мыши (курсор ведь остался на кнопке сканирования), и так пока книга не кончится.

Т.е. идея проста, сканируем развороты вслепую. Этим достигаем максимальной скорости сканирования, которая ограничена только техническими характеристиками сканера, и полной свободы головы. Таким образом, во время сканирования, Вы можете заниматься многими другими вещами, да хоть кино посмотреть.

Небольших перекосов, отсканированных страниц, бояться не стоит, это будет исправлено при последующей обработке, но все же надо соблюдать аккуратность. Желательно всё ж таки серединку прижимать посильнее, исправление геометрических искажений строк здесь не будет рассмотрено.

Не забываем, что сканируем с разрешением 300 дпи и в градациях серого (greyscale), если будете сканировать в черно-белом режиме при 300 дпи, то просто потеряете время (хорошая книжка уже не получится).

На выходе этого этапа получаем так называемый сырой материал – файлы в формате tiff с разрешением 300 dpi в градациях серого, обычно размер каждого файла, без использования сжатия, составляет примерно 8 мегабайт (4 при LZW).

Скорость сканирования может достигать до 200 и даже более разворотов (400 страниц) в час, на сканере со скоростью 16 секунд на сканирование А4, т.е. сканирование среднестатистической книги, займет не более 2 часов времени! Ну, а если у Вас Plustek OpticBook 3600, то за час можно отсканировать более 500 страниц (250 разворотов).

Обычно первый и последний разворот книги содержат по одной странице. Ну, так и сканируем их по одной, т.е. все-таки придется сделать 3 предварительных сканирования на книгу .

Лично я раньше сканировал книги в формате tiff (CCITT Fax 4) 600 dpi ч/б. Приемлимо только для новых книг (белая бумага и чёткий текст и картинки).
У нас на работе инженерная машина (принтер/копир/сканер) только этот формат поддерживала. На данный момент аппаратуру обновили и сканирую только в tiff 600 dpi с оттенками серого или в цвете.
Повторюсь, что не надо сканировать в jpeg.
Самое лучшее - несжатый tiff в оттенках серого 600 dpi (чтоб по менее файлы весили можно использовать сжатие ZIP или LZW - потерь не будет).
В большинстве случаев хватит и разрешения 300 dpi при сканировании в формате tiff в оттенках серого.

Пересохранять файлы tiff с разным сжатием можно с помощью бесплатной программы Irfan View.

Многое зависит от качества бумажного оригинала.
По этому я и предлагаю для начала отсканировать из книги один лист/разворот и выложить в теме. Посмотрим на качество и сформулируем рекомендации для конкретного данного случая.

Жутко простая и жутко удобная программка на русском языке для обработки сканов Scan Tailor.
С хорошо сделанными сканами справляется на ура. Саму программу см. вложение scantailor-0.9.10-install.zip

Ссылка на программу СканКромсатор версии 5.91
Описание работы с программой СканКромсатор (ScanAndShare1.07, пдф-ка)
Полезныя ссылка на статью по поводу создания книг DJVU
Как сделать DJVU-книгу

Добавлено (февраль 2012).
По поводу внедрения текстового слоя (ссылку на статью убрал, ибо стала не рабочей).
Советую программу ABBYY FineReader 11.0. Открываем в ней книгу в формате DJVU, распознаём, сохраняем в DJVU (уже с текстовым слоем).
Раньше для внедрения текстового слоя приходилось использовать несколько программ, сейчас всё намного проще.
Ссылка на пост с программкой и инструкцией по её использованию для автоматического внедрения текстового слоя с помощью ABBYY FineReader 11.0 сразу в несколько книг (пакетная обработка). Благодарствие DEM
Сделать оглавление в книге можно легко с помощью Pdf & DjVu Bookmarker Просто попробуйте
Просьба. Если у кого есть в бумажном виде:
1) М.Я. Штаерман, А.М. Ивянский "Безбалочные перекрытия" 1953.
2) Голышев А. Б. и др. "Железобетонные конструкции" (часть I и часть 2) 2001
3) Железобетонные стены сейсмостойких зданий: Исследования и основы проектирования / под редакцией Г.Н. Ашкинадзе и М.Е. Соколова
Москва, Стройиздат, 1988
отсканируйте пожалуйста в хорошем разрешении (не менее 300 dpi) в tiff в оттенках серого.
На сайте уже есть эти книги, но не в очень хорошем качестве.
PPS: Самое основное и главное требование к сканам книг, которые вы делаете или будете делать и в дальнейшем выкладывать в общий доступ.
...
Делайте, как для себя.

http://djvu-spec.narod.ru
О том как правильно делать OCR в DJVU (FineReader 11)
Последний релиз Scantailor

[Stierlitz]

Сообщение от Сергей Ружинский Конвертировал этот файл из многостраничного tif в djvu + OCR при помощи FR-11 Загрузка – 71 сек Распознавания – 51 сек Выгонка в djvu – 75 сек Итого: - 197 сек (i7-2600, ОЗУ – 4 Гб, + eBoostr – 8 Гб, W7)

спасибо
некоторые замечания:
- файл получился тяжеловат, не только в смысле хранения на диске, но и в случае просмотра
какието 100 страниц и более 8мб получилось
- товарищи в скантейлоре выравнивают текст на страницах

безусловно OCR это очень удобно

[Сергей Козовник]

Довольно простенький текст, но ФР справился хорошо. Вот только перенос на следующую строку производит как попало. Не на всех узлах распознан текст, как таковой. Формул нет в примере(хотя, может, это и не критично).
Т.е. все равно, без вычитывания не обойтись => как с этим бороться? Вычитывать, и потом, по месту, вручную корректировать (исправлять ошибки и выделять не распознанные как текст фрагменты)?
Ну и да, тяжеловато для 103 стр.
Думаю, дежавю по скорости сопоставим в плане распознавания? Если не сложно, проведите на своем железе те же операции, только в дежавю.

[Сергей Ружинский]

Сообщение от Сергей Козовник Если не сложно, проведите на своем железе те же операции, только в дежавю.

Сергей уточните о какой программе идет речь конкретно – я установлю её и проверим. Действительно будет интересно

Сообщение от Сергей Козовник Т.е. все равно, без вычитывания не обойтись => как с этим бороться? Вычитывать, и потом, по месту, вручную корректировать (исправлять ошибки и выделять не распознанные как текст фрагменты)?

100% верного распознавания на технических текстах не обеспечивает ни одна программа OCR. И по большому счету этого и не нужно – ведь не станете Вы осуществлять поиск по фрагменту формулы, латиницы и т.д. Но если стоит задача 100% верного распознавания например для векторизации растрового текста тогда без очень кропотливой работы не обойтись. Но опять же зачем? Из моей практики «нужность» такой операции (векторизации – «текст+картинка» в pdf) нужна или для кардинального уменьшения размера файла или, что чаще, - в качестве дани уважения автору за замечательную книгу. У меня было несколько таких книг, когда я по несколько дней сидел над вычиткой.

- файл получился тяжеловат, не только в смысле хранения на диске, но и в случае просмотра какието 100 страниц и более 8мб получилось

Исходный файл (многостраничный tif 720 dpi ч/б) весил 38.935 Мб
Обработка (без какой либо предобработки) в FR-11 и выгонка в формат djvu + OCR заняла 197 сек. Из них загрузка – 71 сек, выгон – 75 сек. Размер итогового файла - 8.296 МБ (с OCR)

Уменьшаю разрешение до 300 dpi и сохраняю постранично в bmp ч/б

Загружаю все получившиеся файлы в DjVu Solo 3.1 – 93 сек
Кодирую в djvu – 545 сек !!!! и получаю итоговый файл 7.514 Мб (без OCR)

Вывод: по сравнению с Solo Файнридер очень шустрый. Большой размер итогового файла зависит, скорее, не от используемой программы, а от свойств самого исходника – много графики. Или еще что, не знаю.
Для «старичка» Solo пока вижу, что особых преимуществ специализированный кодировщик не имеет, скорее наоборот.

[Кочетков Андрей]

Сообщение от Сергей Ружинский Итого: - 197 сек

Надо только учесть, что данный файл изначально высокого качества и его не надо предварительно обрабатывать.
В противном случае +2 часа )))

[Tyhig]

Не забудьте, что дежавю - временный формат на период около ещё 10 лет. Потом разработают программы для распознавания и все ваши дежавю сделают в ворде или ПДФе со всеми формулами и картинками автоматически правильно.

Сам считаю, что файнридер пока несовершенен. Вот лет через 10 может быть.

А про дежавю + текстовый слой забудьте. Это вы сейчас порвёте себе все места исправляя текст, а через 5-10 лет ваши труды окажутся напрасными.
Делайте обычный дежавю. Хорошо если хоть оглавление со ссылками будет, думаю больше и не надо...

[Armin]

Сообщение от guliaevskij как то достаточно давно попалось Руководство по проектированию и устройству кровель из битумно-полимерных материалов кровельной компании ТехноНИКОЛЬ

Моя версия )) Редакция №6 за 2011-ый год

[Stierlitz]

Сообщение от Armin Моя версия

спасибо
это другое руководство, более позднее

[Armin]

Пощупал ABBYY FineReader 11.0
И в правду удобно. Открыл DJVU, распознал, сохранил в DJVU с текстовым слоем. Всё в одной программе.
+ сейчас FR можно пользовать для сборки (допустим *.tiff) в DJVU.
Т.е. исключается несколько программ-посредников.
Для создания качественной книги в DJVU, для примера, понадобится:
Offtop: Естсественно при надлежащем качестве сканов.
Scan Tailor (или ScanKromsator) + FineReader 11 + DjVu HyperLinks Editor.
Исключается пара программ в цепочке: кодировщик в DJVU и "внедритель" текстового слоя.
Нанесение дополнительного текста и различного рода штампиков с помощью графического редактора не рассматриваю (тут на любителя).

С DjvuOCR, как посредником, было работать не очень удобно.
Разбивка на отдельные tiff -> распознание FR -> обратная сборка в DJVU с текстовым слоем.
К тому же у меня проблемы были с внедрением текстового слоя распознанного 10-ой версией FR (не стал глубоко копать, может решаемо).
С текстом, распознанным 8-ой версией FR проблем не было.

Касаемо технической литературы.
Рчная корректировка текстового слоя (вычитка) - не имеет смысла в связи с огромными затратами по времени + греческие буквы, формулы, таблицы и пр.
Особое внимание содержанию/оглавлению (и то в плане цифр - номеров страниц), дабы автоматом потом гиперссылки сделать.
+ много источников ненадлежащего качества.

При грамотном распознании, тогда лучше формат PDF (с изначальном компьютерным качеством (распознанный текст, формулы, таблицы + картинки) на выходе), без вариантов. В DJVU смысл пропадает.

Сергей Ружинский
У тебя "глубокое" или "поверхностное" распознавание стоит в настройках FR?
Что-то время как-то мало ушло на это дело.

[Сергей Ружинский]

Сообщение от Armin Сергей Ружинский У тебя "глубокое" или "поверхностное" распознавание стоит в настройках FR? Что-то время как-то мало ушло на это дело.

Глубокое – «Thorough reading» (Тщательное распознавание)

Я специально указал конфигурацию компа.
Дело в том, что FR-11 оптимизирован под многоядерные многопотоковые процессоры, поэтому загрузка у меня идет в 8 потоков (12-18% загрузки ЦП), распознавание – 8 потоков (95-100% загрузки ЦП) сохранение в djvu – почему-то идет только в 4 потока с 12% загрузкой. Поэтому у меня лимитирующим по времени процессом является именно этап сохранения. На Форуме ABBYY этот вопрос поднимал, понял, что они в курсе, понимают где тормозит на сохранении в djvu и, наверное, в следующих версиях будут улучшать.
Кроме того, вместо штатной ReadyBoostr в W7 установлен eBoostr и 8 Гб ОЗУ к нему – тоже сильно ускоряет все, но цифирь точно не мерил. Винт тоже шустрый.

Комп в указанной конфигурации был специально куплен под узкую задачу – перегона всей Библиотеки в «djvu + OCR» поэтому Вы сильно на мои цифры не ориентируйтесь. Вывод из всего этого – чем больше потоков (не ядер!!!) у проца – тем лучше для FR.
i7 (4 ядра, 8 потоков) однозначно лучше чем i5 (4 ядра, 4 потока)
переход с i3 (2 ядра, 4 потока) на i5 не несет никаких особых выгод в плане быстродействия. Так думаю, но не уверен.

Еще, FR всех версий выжимает из проца все соки, поэтому он сильно греется, куллер идет на взлет. Короче будьте внимательны к охлаждению.

Уже несколько лет изначально качественное сканирование при помощи «OpticBook 3600» исключило у меня потребность в крайне трудоемкой предобработке (Scan Tailor, ScanKromsator) а оставшийся минимум предобработки выполняю в самом FR.

Качество распознавания FR наилучшее при 300 dpi серое. При большем/меньшем dpi качество распознавания ухудшается!

У ранних версий (FR-8) была очень замечательна функция «нераспознанное сохранять как картинку». Я с помощью этой функции очень быстро делал идеального качества книги без всякой предобработки. Единственный недостаток был – все равно требовалась вычитка т.к. FR уж слишком умничал, а нужно было всего-то немножко «загрубить» его оценку «распознанное/неуверенно распознанное». Просьбы к ABBYY в этом вопросе успехом не увенчались, ответы были уклончивые. Я так понимаю они просто опасаются обрушить рынок программ предобработки. Scan Tailor, ScanKromsator а также их зарубежные платные аналоги становятся не нужными т.к. при помощи FR становится возможным в полностью автоматическом режиме векторизировать 95-98% даже технического текста.

[Сергей Козовник]

Сообщение от Сергей Ружинский При большем/меньшем dpi качество распознавания ухудшается!

вот уж неожиданно!

[Armin]

Обработал, выложенную в Dоwnload книгу.
Бондаренко В.М., Римшин В.И.
Примеры расчета железобетонных и каменных конструкций
Москва, 2006
Порезал на страницы, выровнял, привёл к одному формату, немного подправил качество. Короче пропустил через Scan Tailor.
Формат DJVU ч/б 400 dpi.
Добавил текстовый слой.

[Stierlitz]

СП 23-102-2003 Естественное освещение жилых и общественных зданий

можно с ним что нибудь сделать?
в смысле сконвертить в дежавю без полей

[Сергей Козовник]

Сварные строительные конструкции в трех томах. Под ред. чл.-кор. НАН Украины Л.М. Лобанова. Киев ИЭС им. Е.О. Патона 1997. Том 2. Типы конструкций.

[tankist]

Сообщение от guliaevskij можно с ним что нибудь сделать?

Конечно. Напечатать на виртуальном принтере например Microsoft Office Document Image Writer Driver . В свойствах печати принтера выбрать нестандартную бумагу (Letter) и высоту на 1 см меньше сделать чем страница, и перед печатью убрать масштабирование и разместить в центе. Далее переводите в дежавю.

[Солидворкер]

Сообщение от tankist Конечно. Напечатать на виртуальном принтере например Microsoft Office Document Image Writer Driver . В свойствах печати принтера выбрать нестандартную бумагу (Letter) и высоту на 1 см меньше сделать чем страница, и перед печатью убрать масштабирование и разместить в центе. Далее переводите в дежавю.

Месье знает толк в извращениях

[tankist]

Сообщение от Солидворкер Месье знает толк в извращениях

Это как бы подсказка, как первоначальный документ без полей получился при печати из программы, и такие документы с полями не выкладывали.

[Stierlitz]

Сообщение от tankist Это как бы подсказка, как первоначальный документ без полей получился при печати из программы, и такие документы с полями не выкладывали.

спасибо, хотя в данном случае я не сам печатал))

[Сергей Козовник]

Сообщение от Сергей Козовник Сварные строительные конструкции в трех томах. Под ред. чл.-кор. НАН Украины Л.М. Лобанова. Киев ИЭС им. Е.О. Патона 1997. Том 2. Типы конструкций.

вторая часть

[Солидворкер]

Armin, а можно обратную задачу решить, из Djvu сомнительного качества сделать Tiff хорошего качества?
http://www.avral.ru/6a7161651bcc585d920053d167862ce3

[Armin]

Сообщение от Солидворкер Armin, а можно обратную задачу решить, из Djvu сомнительного качества сделать Tiff хорошего качества?

Хорошего качества в данном случае не добьёшься.
Файл попорчен сжатием в DJVU.
Изначально был в оттенках серого и сжатием, как сканированного (с уменьшением кол-ва цветов, размытием и пр.), его попортило.
Если бы было сжатие foto, то менее бы попортило (размерчик, правда, у DJVU был бы намного больше).
Тоже самое, что ч/б сканы 300 dpi обрабатывать, либо теже 300 dpi многоцветные в оттенках серого без сжатия (с плавынм переходом от чёрного к белому).