| Правила | Регистрация | Пользователи | Поиск | Сообщения за день | Все разделы прочитаны |  Справка по форуму | Файлообменник |

Вернуться   Форум DWG.RU > Поиск литературы, чертежей, моделей и прочих материалов > Ваши сканы, наша обработка и перевод в DJVU.

Ваши сканы, наша обработка и перевод в DJVU.

Ответ
Поиск в этой теме
Непрочитано 29.07.2009, 10:34 16 |
Ваши сканы, наша обработка и перевод в DJVU.
Armin
 
Проектирование зданий и частей зданий
 
Екатеринбург
Регистрация: 12.06.2007
Сообщений: 3,042

Тема-побратим.
ScanKromsator Программа для обработки сканов книг. Вопросы, советы, хитрости, обсуждение.

Сетевой каталог отсканированной литературы от Wer666 (пока без ссылки, ищем сетевой ресурс).

Чтобы посмотреть выложенную в данной теме литературу (все вложения в данной теме) заходим в раздел "Поиск литературы, чертежей, моделей и прочих материалов". Возле названия темы "Ваши сканы, наша обработка и перевод в DJVU" жмём на изображение скрепки (см. рис).




КРЫЛОВ СМ - Экспериментальное исследование работы железобетонных перекрытий каркасных зданий (статья).
Руководство по проектированию свайных фундаментов 1980
Клейн ГК = Расчет подпорных стен_1964 OCR HypLink (версия от Armin)
ДПМ-Пульс-01_60 (серия по противопожарным дверям)
Пособия по проектированию ЖБК без предварительного напряжения
СНиП 3.02.01-87 Земляные сооружения, основания и фундаменты (2007)
СНиП 2.02.01-83* Основания зданий и сооружений (не окончательная версия)
Макаров ЕВ Светлаков НД = Справочные таблицы весов строительных материалов (версия от Armin)
Строительные работы в зимних условиях Справочное пособие 1953
Пешковский ОИ "Технология изготовления металлических конструкций"
Мурашев ВИ "Трещиноустойчивость, жесткость и прочность железобетона" 1950 (версия от Armin)
Слицкоухов Ю.В. Индустриальные деревянные конструкции 1991 (версия от Armin)
Филиппов Н.А. Константинов И.А. Примеры расчёта и проектирования деревянных конструкций. 1965 (версия от ЛАО)
Арленинов Д.К. и др. Конструкции из дерева и пластмасс. 2002 (версия от ЛАО)
Арленинов Д.К. и др. Конструкции из дерева и пластмасс. 2002 (версия от Armin)
пока до #160

Старое название темы.
Умеeшь сканировать, но не умеешь обрабатывать сканы и переводить в DJVU? Постараемся помочь.

Про ценность отсканированной литературы, выкладываемой в общий доступ, понятно всем.

У многих есть возможность отсканировать и выложить необработанные сканы в инете (на файлообменниках и т.п.).
Но вот умения/возможности/времени обработать сканы (удалить мусор, на страницы порезать, перевести всё это в формат DJVU и т.д.) нет.

У меня есть предложение для таких людей.
Выкладывайте свои сканы, а я (и другие заинтересованные формучане) поможем вам обработать данные растровые файлы и поможем привести в божеский вид.

Естественно всё один я не потяну и интересны мне в основном книги связанные с проектированием (расчет/конструирование) железобетонных и прочих конструкций, зданий и сооружений (особенно старые, годов с 30-ых).

Предлагаю выкладывать в данной теме название книги, которую Вы имеете возможность отсканировать + один отсканированный лист, чтоб была возможность подсказать, как лучше сделать (в каком лучше разрешении и формате сканировать, чтоб получился хороший результат).

Статьи по поводу сканирования с http://djvu-soft.narod.ru

Сканирование бумажной книги. В результате получаются т.н. "сырые сканы"- серые или цветные необработанные изображения страниц книги. Смысл - получение "сырья" для будущей электронной книги. Рекомендуемая программа - Irfan View.

1. Не используйте программу ABBYY FineReader версий 7, 8 или ниже для сканирования книг. Она корёжит получаемые скан-изображения страниц книги. Можно использовать программу ABBYY FineReader 9 для этого - но перед сканированием сбросьте там в опциях галку "Исправлять перекос страниц".

2. Не сканируйте книги в чёрно-белом режиме (Black-White или Line Art или 1-bit), а ТОЛЬКО в режиме серого (Greyscale, или 8-bit) или цветного (Color, или 32-bit) - если книга содержит цветные рисунки. Сканирование в чёрно-белом режиме приводит в итоге к необратимому ухудшению качества получаемой DjVu-эл.книги. Данный режим сканирования задаётся в интерфейсе сканера - т.е. в том окне, которое появляется после нажатия в программе кнопки "Сканировать".

3. Не сканируйте в формат JPG. Формат JPG "размывает" скан-изображения страниц книги.

4. Не используйте опцию "Заменять неуверенно-распознанные символы их изображениями" - когда создаёте Pdf-эл.книгу в ABBYY FineReader - такие эл. книги выглядят ужасно.

5. Сканируйте книги в формат TIF и с разрешением не менее 300 DPI. Для наиболее высокого качества сканируйте с разрешением 600 DPI.

Эта мини-инструкция в картинках, описывающая полный цикл создания электронной версии научно-технической книги, и предназначена для человека, искренне захотевшего сделать приемлемого качества е-книгу, но не знающего с чего начать. Важно понимать, что существует немало апробированных методов создания достаточно качественных e-книг, все они характеризуются тем, что на выходе книга, как правило, научно-техническая, имеет разрешения 600 dpi ч/б (все книги в 300 dpi ч/б, несмотря на все старания создателей, явно проигрывают в качестве).

Рассматриваемая здесь метода, основана на сканировании в 300 dpi, в градациях серого (600 dpi ч/б будет после обработки). По этому поводу следует заметить, что уменьшение геометрического размера сырого скана в 4 раза, по сравнению со сканированием в 600 dpi, практически компенсируется увеличением глубины цвета в 8 раз (зато скорость сканирования возрастает в 2 раза ), а также уменьшением количества паразитного мусора (чистить практически не надо будет).

Беря в руки увесистую книгу, многие думают, что отсканировать ее может только маньяк. Совершенно верно, именно так. Без применения научно-организованного подхода, любая работа превращается в мучение, но, сделав работу незаметной, хоть большого удовольствия и не получишь, но дело сделаешь.

Для сканирования сгодится любая программа, способная взаимодействовать с TWAIN-драйвером сканера и сохранять отсканированные изображения на диск, нумеруя их удобным способом. Сойдет любой просмотровщик графических файлов: ACDSee, IrfanView, XnView… Если ваш сканер поддерживается программой сканирования VueScan, можете использовать и ее.

Например, в IrfanView (скачайте свежую версию этой бесплатной программы) это выглядит примерно так:
- В меню Файл жмем пункт Выбрать TWAIN-источник…
- Далее, там же, выбираем пункт меню Получить изображение/пакетное сканирование…

здесь выбираем, как будут нумероваться файлы сканов, где они будут складироваться и тип графического формата. Не забудем проверить Опции графического формата:

можно выбрать или Без сжатия или LZW (внимание, не все программы корректно с ним работают), в последнем случае размер файла на выходе будет примерно в два раза меньше. Можно, наверное, и ZIP, но это проверьте самостоятельно.
- жмем на кнопку OK и переходим в окно TWAIN Вашего сканера.

Сама техника сканирования незатейлива:
Берется книга, кладется разворотом (т.е. двумя страницами) на стекло, прижимается если надо сверху рукой (это быстрее, чем использовать груз).
Делается предварительное сканирование.
Картинка, если это возможно, в окне сканирования, разворачивается на 90 градусов (в нормальное положение).
Выбирается область сканирования с некоторым запасом, как правило по горизонтали (по вертикали трудно промахнутся).
Мышкой жмется кнопка основного сканирования.
После того, как данный разворот отсканирован, во время обратного движения каретки сканера, переворачиваем страницу книги, кладем на то же место и жмем опять на левую кнопку мыши (курсор ведь остался на кнопке сканирования), и так пока книга не кончится.

Т.е. идея проста, сканируем развороты вслепую. Этим достигаем максимальной скорости сканирования, которая ограничена только техническими характеристиками сканера, и полной свободы головы. Таким образом, во время сканирования, Вы можете заниматься многими другими вещами, да хоть кино посмотреть.

Небольших перекосов, отсканированных страниц, бояться не стоит, это будет исправлено при последующей обработке, но все же надо соблюдать аккуратность. Желательно всё ж таки серединку прижимать посильнее, исправление геометрических искажений строк здесь не будет рассмотрено.

Не забываем, что сканируем с разрешением 300 дпи и в градациях серого (greyscale), если будете сканировать в черно-белом режиме при 300 дпи, то просто потеряете время (хорошая книжка уже не получится).

На выходе этого этапа получаем так называемый сырой материал – файлы в формате tiff с разрешением 300 dpi в градациях серого, обычно размер каждого файла, без использования сжатия, составляет примерно 8 мегабайт (4 при LZW).

Скорость сканирования может достигать до 200 и даже более разворотов (400 страниц) в час, на сканере со скоростью 16 секунд на сканирование А4, т.е. сканирование среднестатистической книги, займет не более 2 часов времени! Ну, а если у Вас Plustek OpticBook 3600, то за час можно отсканировать более 500 страниц (250 разворотов).

Обычно первый и последний разворот книги содержат по одной странице. Ну, так и сканируем их по одной, т.е. все-таки придется сделать 3 предварительных сканирования на книгу .


Лично я раньше сканировал книги в формате tiff (CCITT Fax 4) 600 dpi ч/б. Приемлимо только для новых книг (белая бумага и чёткий текст и картинки).
У нас на работе инженерная машина (принтер/копир/сканер) только этот формат поддерживала. На данный момент аппаратуру обновили и сканирую только в tiff 600 dpi с оттенками серого или в цвете.
Повторюсь, что не надо сканировать в jpeg.
Самое лучшее - несжатый tiff в оттенках серого 600 dpi (чтоб по менее файлы весили можно использовать сжатие ZIP или LZW - потерь не будет).
В большинстве случаев хватит и разрешения 300 dpi при сканировании в формате tiff в оттенках серого.

Пересохранять файлы tiff с разным сжатием можно с помощью бесплатной программы Irfan View.

Многое зависит от качества бумажного оригинала.
По этому я и предлагаю для начала отсканировать из книги один лист/разворот и выложить в теме. Посмотрим на качество и сформулируем рекомендации для конкретного данного случая.

Жутко простая и жутко удобная программка на русском языке для обработки сканов Scan Tailor.
С хорошо сделанными сканами справляется на ура. Саму программу см. вложение scantailor-0.9.10-install.zip


Ссылка на программу СканКромсатор версии 5.91
Описание работы с программой СканКромсатор (ScanAndShare1.07, пдф-ка)
Полезныя ссылка на статью по поводу создания книг DJVU
Как сделать DJVU-книгу

Добавлено (февраль 2012).
По поводу внедрения текстового слоя (ссылку на статью убрал, ибо стала не рабочей).
Советую программу ABBYY FineReader 11.0. Открываем в ней книгу в формате DJVU, распознаём, сохраняем в DJVU (уже с текстовым слоем).
Раньше для внедрения текстового слоя приходилось использовать несколько программ, сейчас всё намного проще.

Ссылка на пост с программкой и инструкцией по её использованию для автоматического внедрения текстового слоя с помощью ABBYY FineReader 11.0 сразу в несколько книг (пакетная обработка). Благодарствие DEM
Сделать оглавление в книге можно легко с помощью Pdf & DjVu Bookmarker Просто попробуйте
Просьба. Если у кого есть в бумажном виде:
1) М.Я. Штаерман, А.М. Ивянский "Безбалочные перекрытия" 1953.
2) Голышев А. Б. и др. "Железобетонные конструкции" (часть I и часть 2) 2001
3) Железобетонные стены сейсмостойких зданий: Исследования и основы проектирования / под редакцией Г.Н. Ашкинадзе и М.Е. Соколова
Москва, Стройиздат, 1988

отсканируйте пожалуйста в хорошем разрешении (не менее 300 dpi) в tiff в оттенках серого.
На сайте уже есть эти книги, но не в очень хорошем качестве.

PPS: Самое основное и главное требование к сканам книг, которые вы делаете или будете делать и в дальнейшем выкладывать в общий доступ.
...
Делайте, как для себя.


http://djvu-spec.narod.ru
О том как правильно делать OCR в DJVU (FineReader 11)
Последний релиз Scantailor

Миниатюры
Нажмите на изображение для увеличения
Название: загрузка_1.jpg
Просмотров: 115573
Размер:	91.6 Кб
ID:	86765  Нажмите на изображение для увеличения
Название: загрузка_2.jpg
Просмотров: 114374
Размер:	95.5 Кб
ID:	86766  

Вложения
Тип файла: zip scantailor-0.9.11-32bit-install.zip (5.07 Мб, 1430 просмотров)

__________________
«Точно знают, только когда мало знают. Вместе со знанием растет сомнение». Иоганн Вольфганг Гете

Последний раз редактировалось Armin, 25.12.2019 в 06:25.
Просмотров: 1961772
 
Непрочитано 25.04.2018, 12:56
2 | #3021
eilukha


 
Регистрация: 10.09.2007
Сообщений: 10,592


Цитата:
Сообщение от Armin Посмотреть сообщение
Для данного случая лучше PDF, из-за рисунков.
- поэксперементировал, получилось в три раза легче, с лучшим качеством шрифта, качество картинок одинаковое. За исходный материал принят источник.
Для информации доли в весе файла:
  • Текстовый слой - 12 %
  • Тоновые изображения - 31 %
  • Черно-белые изображения - 57 %
Вложения
Тип файла: djvu Джонс Методы проектирования_Адоб.djvu (9.58 Мб, 279 просмотров)

Последний раз редактировалось eilukha, 25.04.2018 в 14:59.
eilukha вне форума  
 
Непрочитано 25.04.2018, 13:58
#3022
yarrus77

у-Строитель
 
Регистрация: 15.09.2007
град Воронеж
Сообщений: 4,582


Цитата:
Сообщение от eilukha Посмотреть сообщение
поэксперементировал, получилось в три раза легче, с лучшим качеством шрифта
отлично вышло, ручные рисунки и газетные вырезки очень даже читабельны, при большом увеличении тоже все хорошо. Спасибо.
__________________
С уважением,
yarrus77
yarrus77 вне форума  
 
Автор темы   Непрочитано 30.04.2018, 15:39
#3023
Armin

Проектирование зданий и частей зданий
 
Регистрация: 12.06.2007
Екатеринбург
Сообщений: 3,042


Попробовал привести в человеческий вид
https://dwg.ru/lib/1609
В.М. Ройтман "Инженерные решения по оценке огнестойкости проектируемых и реконструируемых зданий" 2001
__________________
«Точно знают, только когда мало знают. Вместе со знанием растет сомнение». Иоганн Вольфганг Гете
Armin вне форума  
 
Непрочитано 16.05.2018, 10:39
#3024
poobschatso


 
Регистрация: 28.04.2018
Беларусь
Сообщений: 169


На некоторые справочники по металлоконструкциям в *pdf сам делал закладки оглавления. В каких интернетах скачал источники уже не помню. Их можно тут выкладывать, для перевода в дежавю, если кому надо?
poobschatso вне форума  
 
Непрочитано 16.05.2018, 10:48
#3025
ФАХВЕРК

Специальный Институт Строительных Конструкций Изделий ветеран проектирования
 
Регистрация: 03.04.2007
СССР версия 2.0
Сообщений: 11,056


Цитата:
Сообщение от poobschatso Посмотреть сообщение
некоторые справочники по металлоконструкциям
А что за справочники? Кто автор?
__________________
Горев В.В., том 1, стр.109, 1 абзац, 4-ое предложение. Не пугайтесь этого произвола....
ФАХВЕРК вне форума  
 
Непрочитано 16.05.2018, 10:50
#3026
eilukha


 
Регистрация: 10.09.2007
Сообщений: 10,592


Цитата:
Сообщение от poobschatso Посмотреть сообщение
можно
- нужно.
eilukha вне форума  
 
Непрочитано 16.05.2018, 11:04
#3027
selega

строительная наука и практика
 
Регистрация: 12.09.2008
Минск, Беларусь
Сообщений: 868


Цитата:
Сообщение от eilukha Посмотреть сообщение
- нужно.
+1
selega вне форума  
 
Непрочитано 16.05.2018, 11:36
#3028
ILIYA

Проектант или Вечный ученик
 
Регистрация: 06.05.2011
Сообщений: 802


Уже спрашивал, спрошу еще, есть сканы страниц старого справочника по гидравлике Н.Н. Павловского, кто сможет его перевести в djvu и к кому можно обратиться, у самого руки не заточены, а разбираться долго возможно придется.
ILIYA вне форума  
 
Непрочитано 16.05.2018, 12:24
#3029
selega

строительная наука и практика
 
Регистрация: 12.09.2008
Минск, Беларусь
Сообщений: 868


Цитата:
Сообщение от ILIYA Посмотреть сообщение
Уже спрашивал, спрошу еще, есть сканы страниц старого справочника по гидравлике Н.Н. Павловского, кто сможет его перевести в djvu и к кому можно обратиться, у самого руки не заточены, а разбираться долго возможно придется.
Выкладывайте в облако, а там посмотрим.
selega вне форума  
 
Непрочитано 16.05.2018, 12:35
#3030
ILIYA

Проектант или Вечный ученик
 
Регистрация: 06.05.2011
Сообщений: 802


https://yadi.sk/d/HbocIHbb3Vz7e2
ILIYA вне форума  
 
Непрочитано 16.05.2018, 12:40
1 | #3031
poobschatso


 
Регистрация: 28.04.2018
Беларусь
Сообщений: 169


Цитата:
Сообщение от ФАХВЕРК Посмотреть сообщение
А что за справочники? Кто автор?
бегло из последних по строительству:

Металлические конструкции в примерах и задачах 2010 - Нехаев (не помню, сам ли закладки делал)
Примеры расчета металлических конструкций 2012 - Мандриков (13,8Мб - по идее сжать можно в архив)
Справочник конструктора металлических конструкций 1990 - Васильченко (10,8Мб)

если надо, то мог бы выложить в этой теме вечером к концу недели - времени мало просто, просьба не ругаться, если уже есть такие на сайте.
искал сам в инете в хорошем качестве для закладок, по машиностроению больше делал, конечно
poobschatso вне форума  
 
Непрочитано 17.05.2018, 09:59
#3032
selega

строительная наука и практика
 
Регистрация: 12.09.2008
Минск, Беларусь
Сообщений: 868


Цитата:
Сообщение от ILIYA Посмотреть сообщение
Пока обнаружил, что отсутствуют страницы 152, 153 на стыке глав 4 и 5.
selega вне форума  
 
Непрочитано 17.05.2018, 10:48
#3033
ILIYA

Проектант или Вечный ученик
 
Регистрация: 06.05.2011
Сообщений: 802


Цитата:
Сообщение от selega Посмотреть сообщение
Пока обнаружил, что отсутствуют страницы 152, 153 на стыке глав 4 и 5.
Есть папка в архиве под номером 14 с пропущенными страницами они там есть , первые два скана это эти страницы.
ILIYA вне форума  
 
Непрочитано 17.05.2018, 14:18
#3034
andriadi

геолог
 
Регистрация: 30.01.2016
КМВ
Сообщений: 147


Цитата:
Сообщение от eilukha Посмотреть сообщение
Справочник Кузнецова: сшито три тома, ссылочное оглавление, полнотекстовый поиск, ДЖВЮ.
Формулы превращены в мусор в файле ocr
Распознать формулы без ошибок нереально, но можно, наоборот, оставить эти области не распознанными совсем.
andriadi вне форума  
 
Непрочитано 17.05.2018, 14:33
#3035
eilukha


 
Регистрация: 10.09.2007
Сообщений: 10,592


Цитата:
Сообщение от andriadi Посмотреть сообщение
Формулы превращены в мусор в файле ocr
- ocr для текста, а не для формул.
Цитата:
Сообщение от andriadi Посмотреть сообщение
Распознать формулы без ошибок нереально
- да в этом и нет необходимости.
Цитата:
Сообщение от andriadi Посмотреть сообщение
оставить эти области не распознанными совсем
- как это сделать автоматически? Вручную это сделать нереально.
eilukha вне форума  
 
Непрочитано 17.05.2018, 14:47
#3036
prorabpro


 
Регистрация: 17.02.2014
Сообщений: 1


Цитата:
Сообщение от румата Посмотреть сообщение
Николаевич, есть только СТО 97217441-001-2014 "КОНСТРУКЦИИ СТАЛЬНЫЕ ИЗ ТОНКОСТЕННЫХ ХОЛОДНОГНУТЫХ ПРОФИЛЕЙ ДЛЯ БЕСКАРКАСНЫХ АРОЧНЫХ ЗДАНИЙ РАЗЛИЧНОГО НАЗНАЧЕНИЯ"
а СТО 97217441-002-2017 КОНСТРУКЦИИ СТАЛЬНЫЕ ИЗ ТОНКОСТЕННЫХ ХОЛОДНОГНУТЫХ ПРОФИЛЕЙ ПОВЫШЕННОЙ НЕСУЩЕЙ СПОСОБНОСТИ ДЛЯ БЕСКАРКАСНЫХ АРОЧНЫХ ОДНОПРОЛЕТНЫХ ЗДАНИЙ - ЕСТЬ !!!!! или правильно сказать, все что вышло по Бескаркасным аркам после выхода СП16 и СП240

Последний раз редактировалось prorabpro, 17.05.2018 в 15:15.
prorabpro вне форума  
 
Непрочитано 17.05.2018, 15:45
#3037
andriadi

геолог
 
Регистрация: 30.01.2016
КМВ
Сообщений: 147


Цитата:
Сообщение от eilukha Посмотреть сообщение
- ocr для текста, а не для формул.

- да в этом и нет необходимости.

- как это сделать автоматически? Вручную это сделать нереально.
Онлайн сервис вроде рулит:
NewOCR система оптического распознавания текстов NewOCR.
andriadi вне форума  
 
Непрочитано 17.05.2018, 16:24
#3038
eilukha


 
Регистрация: 10.09.2007
Сообщений: 10,592


Цитата:
Сообщение от andriadi Посмотреть сообщение
NewOCR
- фигня:
Цитата:
Форматы входных файлов
JPEG, JFIF, PNG, GIF, BMP, PBM, PGM, PPM, PCX
Сжатые файлы: Unix compress, bzip2, bzip, gzip
Многостраничные документы: TIFF, PDF, DjVu
DOCX, файлы ODT с изображениями
Несколько изображений в ZIP-архиве
Форматы выходных файлов
Обычный текст (TXT)
Microsoft Word (DOC)
Adobe Acrobat (PDF)
- т. е. DjVu не конвертирует. А тем более отключить распознавание формул и думать нечего.

----- добавлено через ~9 мин. -----
Цитата:
Сообщение от andriadi Посмотреть сообщение
Онлайн сервис вроде рулит
- FineReader точно рулит.
eilukha вне форума  
 
Непрочитано 17.05.2018, 17:14
#3039
andriadi

геолог
 
Регистрация: 30.01.2016
КМВ
Сообщений: 147


Цитата:
Сообщение от eilukha Посмотреть сообщение
- FineReader точно рулит.
Нет, прогнал ваш файл в FineReader 12 - формулы не распознает
d _5d

Vi(KP) ~ 7;sh " Tt ’
это пример стр. 288

Последний раз редактировалось andriadi, 17.05.2018 в 17:18. Причина: добавление
andriadi вне форума  
 
Непрочитано 17.05.2018, 21:00
#3040
eilukha


 
Регистрация: 10.09.2007
Сообщений: 10,592


andriadi, не бывает распознанных формул в принципе. Приведите пример обратного, если не согласны. Для того джвю и нужен, чтобы картинки и формулы отображать.
eilukha вне форума  
Ответ
Вернуться   Форум DWG.RU > Поиск литературы, чертежей, моделей и прочих материалов > Ваши сканы, наша обработка и перевод в DJVU.

Размещение рекламы
Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск