Программно-информационный комплекс Архивариус. Обсуждение программы и предложения по улучшению
| Правила | Регистрация | Пользователи | Сообщения за день |  Справка по форуму | Файлообменник |

Вернуться   Форум DWG.RU > Программное обеспечение > Прочее. Программное обеспечение > Программно-информационный комплекс Архивариус. Обсуждение программы и предложения по улучшению

Программно-информационный комплекс Архивариус. Обсуждение программы и предложения по улучшению

Закрытая тема
Поиск в этой теме
Непрочитано 25.09.2013, 10:26 #1
Программно-информационный комплекс Архивариус. Обсуждение программы и предложения по улучшению
leprecon
 
Регистрация: 03.02.2009
Сообщений: 42

Программно-информационный комплекс «Архивариус» представляет собой решение для эффективной структуризации электронной литературы и организации полнотекстового поиска внутри электронной библиотеки.

Программа позволяет структурировать электронную литературу, добавить описание к каждой единице в созданной базе данных, по которому впоследствии легко можно найти необходимую книгу (серию, ГОСТ, расчет) поисковыми инструментами программы.

В программе предусмотрена возможность добавлять наиболее часто используемые документы в избранное, что делает доступ к документам более быстрым и удобным.

На данный момент база данных насчитывает порядка 5000 ед. документов (типовые серии, строительная литература, нормативные документы и т.д.)

Файлы документов в архив программного комплекса не входят, но в программу встроена возможность скачать отсутствующий файл онлайн и связать его с локальной базой комплекса буквально в два клика мыши. Как правило первый найденный документ соответствует документу в локальной базе комплекса.

Более подробное описание можно посмотреть по ссылке

Скачать программу можно по этой ссылке

Так как программа находится в стадии тестирования предлагаю в этой ветке высказывать свои пожелания, замечания и т.д.
Нужен вектор дальнейшего развития и конкретные предложения по улучшению программы

Последний раз редактировалось leprecon, 25.09.2013 в 10:33.
Просмотров: 17554
 
Непрочитано 25.09.2013, 11:37
#2
Кочетков Андрей

Java/Kotlin/Go
 
Регистрация: 03.02.2006
Сообщений: 5,786


Для начала благодарю за интересную программу.
Теперь по предложениям:
предлагаю не ограничиваться загрузкой литературы только с сайта Зодчий.
Например к программе можно будет подключать дополнительные модули для поиска и скачивания с других библиотек.
Модули будут писаться другими пользователями в зависимости от движка конкретного сайта и в соответствии с синтаксисом, установленным вами.
Кочетков Андрей вне форума  
 
Автор темы   Непрочитано 25.09.2013, 11:59
#3
leprecon


 
Регистрация: 03.02.2009
Сообщений: 42


Цитата:
Сообщение от Кочетков Андрей Посмотреть сообщение
Для начала благодарю за интересную программу.
Теперь по предложениям:
предлагаю не ограничиваться загрузкой литературы только с сайта Зодчий.
Например к программе можно будет подключать дополнительные модули для поиска и скачивания с других библиотек.
Модули будут писаться другими пользователями в зависимости от движка конкретного сайта и в соответствии с синтаксисом, установленным вами.
Вопрос интересный - нужно прорабатывать. На данный момент реализована возможность пополнения базы с сайта Зодчий и вручную. Если программа видит, что конкретной единице в базе соответствует конкретный документ (например добавленный вручную) программа этот документ откроет. Если файл отсутствует - посылается поисковый запрос на сайт и программа выдаст в результатах поиска контент с сайта, наиболее соответствующий поисковому запросу. Пока этот сайт только один. Как привязать другие ресурсы - нужно думать...
leprecon вне форума  
 
Непрочитано 25.09.2013, 12:22
#4
Pavel_V

Заказчик
 
Блог
 
Регистрация: 22.10.2010
Челябинск
Сообщений: 8,431


dnl.dwg.ru
Сайт минрегионразвития.
еще надо добавить что-нибудь полезное.
Pavel_V вне форума  
 
Автор темы   Непрочитано 25.09.2013, 12:39
#5
leprecon


 
Регистрация: 03.02.2009
Сообщений: 42


Цитата:
Сообщение от Pavel_V Посмотреть сообщение
dnl.dwg.ru
Сайт минрегионразвития.
еще надо добавить что-нибудь полезное.
Основная особенность программы состоит в возможности полнотекстового поиска по всей базе данных. Дистрибутив недаром весит почти 300 мб - в базу зашит текст всех документов, которые в ней хранятся (кроме типовых серий). Т.е. в программе есть возможность поиска конкретной фразы по 3000+ документов. Например по поисковому запросу "трехшарнирная арка" с функцией поиска "в тексте документа" программа выдаст 12 книг, в тексте которых эта фраза точно присутствует. Далее открываем нужный документ и ищем эту же фразу только в тексте документа (в каждой книге формата djvu есть текстовая подложка - OCR-слой). Таким образом поиск нужной фразы занимает 1-2 минуты. Для этого программа и создавалась.
Привязать другие ресурсы, конечно, возможно, но поиск на других ресурсах будет только по названию, а это существенно ограничивает функционал.
leprecon вне форума  
 
Непрочитано 25.09.2013, 12:48
#6
Engineer SV

инженер-конструктор
 
Регистрация: 16.10.2007
С-Пб
Сообщений: 673


Цитата:
Сообщение от leprecon Посмотреть сообщение
Так как программа находится в стадии тестирования предлагаю в этой ветке высказывать свои пожелания, замечания и т.д.
Добрый день! Может я не совсем разобрался.Но в архивариусе в базе нет файлов. Предлагаемая возможность в два клика скачать с Зодчего.ru непосредственно из Архивариуса не увенчалась успехом.
Скачивать получается только обычным путем,зайдя на сайт,как и раньше.Проясните,пожалуйста,в каком случае появляется список документов в Архивариусе,которые можно напрямую из проги скачать и пополнить базу. Или Архивариус, это просто перечень имеющихся документов?
Но 256 Мб в заархивированном виде только для перечня-многовато).

Последний раз редактировалось Engineer SV, 25.09.2013 в 13:10.
Engineer SV вне форума  
 
Непрочитано 25.09.2013, 12:58
#7
Pavel_V

Заказчик
 
Блог
 
Регистрация: 22.10.2010
Челябинск
Сообщений: 8,431


Я тоже не смог загрузить найденный снип. Скачивать программа отказалась. Вин 7/64.
Pavel_V вне форума  
 
Автор темы   Непрочитано 25.09.2013, 13:04
#8
leprecon


 
Регистрация: 03.02.2009
Сообщений: 42


Цитата:
Сообщение от Pavel_V Посмотреть сообщение
Я тоже не смог загрузить найденный снип. Скачивать программа отказалась. Вин 7/64.
Напишите наименование документов - буду проверять.

Цитата:
Но 256 Мб в заархивированном виде только для перечня-многовато).
В том то и дело, что не просто список файлов, а полные тексты всех нормативных документов и книг

Последний раз редактировалось leprecon, 25.09.2013 в 13:17.
leprecon вне форума  
 
Непрочитано 25.09.2013, 14:24
#9
Pavel_V

Заказчик
 
Блог
 
Регистрация: 22.10.2010
Челябинск
Сообщений: 8,431


Цитата:
Сообщение от leprecon Посмотреть сообщение
Напишите наименование документов - буду проверять.
Ни один документ не загружается. СНиП общественные здания и сооружения например от 89 года.
Выскакивает табличка с пустым полем, видимо там должно быть имя документа. И все.
Pavel_V вне форума  
 
Непрочитано 25.09.2013, 14:47
#10
zodchiiws

программист
 
Регистрация: 25.09.2013
Сообщений: 10


Цитата:
Сообщение от Pavel_V Посмотреть сообщение
Ни один документ не загружается. СНиП общественные здания и сооружения например от 89 года.
Выскакивает табличка с пустым полем, видимо там должно быть имя документа. И все.
Возможно на машине установлен антивирус либо файрвол, который рубит запрос к сайту zodchii.ws на поиск документов.
zodchiiws вне форума  
 
Непрочитано 25.09.2013, 15:12
#11
Engineer SV

инженер-конструктор
 
Регистрация: 16.10.2007
С-Пб
Сообщений: 673


Цитата:
Сообщение от Pavel_V Посмотреть сообщение
Ни один документ не загружается. СНиП общественные здания и сооружения например от 89 года.
Выскакивает табличка с пустым полем, видимо там должно быть имя документа. И все.
Та же ситуация. Интересно так у всех?

Цитата:
Сообщение от zodchiiws Посмотреть сообщение
Возможно на машине установлен антивирус либо файрвол, который рубит запрос к сайту zodchii.ws на поиск документов.
Если простым путем,без Архивариуса,попасть на сайт, то без проблем. Антивирус-Касперского. Стандартный.
Engineer SV вне форума  
 
Автор темы   Непрочитано 25.09.2013, 15:20
#12
leprecon


 
Регистрация: 03.02.2009
Сообщений: 42


Странно, вроде проверяли на 4 машинах (xp, win7-32bit, win7-64bit) - все работало. Может действительно попробовать отключить антивирь/фаервол и проверить?
leprecon вне форума  
 
Непрочитано 25.09.2013, 15:28
#13
LynxM


 
Регистрация: 17.08.2010
Kyiv
Сообщений: 688
<phrase 1= Отправить сообщение для LynxM с помощью Skype™


Жаль ДБН'ов нету
__________________
Лучше не обещать, чем обещать и не исполнять.
LynxM вне форума  
 
Непрочитано 25.09.2013, 15:31
#14
Engineer SV

инженер-конструктор
 
Регистрация: 16.10.2007
С-Пб
Сообщений: 673


Цитата:
Сообщение от leprecon Посмотреть сообщение
все работало. Может действительно попробовать отключить антивирь/фаервол и проверить?
Отключал антивирусник,результат тот же. Документы Архивариус не открывает.Окно там пустое. Все-таки интересно, чем заполнены 256 мб в закаченном файле?
Engineer SV вне форума  
 
Непрочитано 25.09.2013, 15:43
#15
zodchiiws

программист
 
Регистрация: 25.09.2013
Сообщений: 10


Цитата:
Сообщение от Engineer SV Посмотреть сообщение
Все-таки интересно, чем заполнены 256 мб в закаченном файле
256 мб - это сжатый индекс mysql для полнотекстового поиска, то есть в дистрибутиве находятся тексты примерно 3000 книг для индекса, с помощью которого возможно производить поиск по тексту djvu документа с ocr-слоем

Попробую объяснить как это и зачем сделана такая сложная схема со скачиванием документа с сайта. Как я уже сказал выше, для полнотекстового поиска необходим индекс, грубо говоря ключевые слова, по которым происходит поиск внутри текста. Для 3000 документов - это порядка 1.5 Гб занимает только индекс, сами же документы в общем весят около 15 Гб. Распространять дистрибутив в 16Гб накладно, да и мало кому нужны вот прямо все документы из базы. Поэтому было принято решение отделить собственно программу от файлов документов и распространять их по-отдельности. Вот в сжатом виде дистрибутив и получился около 280 Мб со всей базой, но без файлов.

Встроенный даунлоадер написан для удобства, чтобы не нужно было постоянно прыгать на сайт для скачивания отсутствующего файла документа. В программе формируется поисковый запрос и отправляется по специальному адресу на сервер zodchii.ws. Фразой для поиска является заголовок документа. В ответ приходят результаты поиска в специальном формате, они и отображаются в форме. Таким образом, если форма показывается пустая, то либо ничего не нашлось, либо ответ не получен, либо запрос просто не был отправлен. Отсюда и рекомендации посмотреть в сторону антивирусов/файрволов, которые очень любят перехватывать трафик и анализировать на предмет зловредности.

Последний раз редактировалось zodchiiws, 25.09.2013 в 16:09.
zodchiiws вне форума  
 
Непрочитано 25.09.2013, 16:44
#16
Кочетков Андрей

Java/Kotlin/Go
 
Регистрация: 03.02.2006
Сообщений: 5,786


А обновление базы как планируется?
Кочетков Андрей вне форума  
 
Непрочитано 25.09.2013, 17:01
#17
zodchiiws

программист
 
Регистрация: 25.09.2013
Сообщений: 10


Цитата:
Сообщение от Кочетков Андрей Посмотреть сообщение
А обновление базы как планируется?
Обновления планируются. Нужно будет обновить исполняемый файл комплекса. Обновление будет реализовано прямо через интерфейс программы. Схема придумана, нужно немного времени на реализацию, но такой функционал точно будет.
zodchiiws вне форума  
 
Непрочитано 25.09.2013, 17:27
#18
Кочетков Андрей

Java/Kotlin/Go
 
Регистрация: 03.02.2006
Сообщений: 5,786


Цитата:
Сообщение от leprecon Посмотреть сообщение
Пока этот сайт только один. Как привязать другие ресурсы - нужно думать...
Как направление для поиска могу предложить познакомиться с проектом JDownloader.
Кочетков Андрей вне форума  
 
Непрочитано 25.09.2013, 17:53
#19
tankist

ЭПБ, обследование стр. конструкций
 
Регистрация: 09.10.2009
Сибирь
Сообщений: 2,656


Цитата:
Сообщение от Engineer SV Посмотреть сообщение
Отключал антивирусник,результат тот же. Документы Архивариус не открывает.Окно там пустое
При работающем KIS 2012 документов 10 загрузил, посмотрел. Проблем нет. (ХР).
tankist вне форума  
 
Непрочитано 25.09.2013, 18:19
#20
forzik

Инженер-конструктор
 
Регистрация: 13.10.2012
КК
Сообщений: 16
Отправить сообщение для forzik с помощью Skype™


Получается, при поисковом запросе выдается несколько книг - чтобы их поочередно посмотреть надо поочередно скачать, так? На работе далеко не идеальный интернет да и ограничение по трафику - отсюда вопрос нет ли возможности скачать книги не по одной (на сайте не нашел), а по разделам, например, как они представлены в навигаторе(например дома скачать нужные разделы, а потом на работе скопировать)?
__________________
Не усматривайте злого умысла в том, что вполне объяснимо глупостью.
forzik вне форума  
 
Непрочитано 25.09.2013, 18:53
#21
Солидворкер
Moderator

Конструктор (машиностроение)
 
Регистрация: 23.10.2006
Россия
Сообщений: 23,258
<phrase 1=


Вопрос:
Если просто скачать все книжки на винчестер, а потом встроенным поисковиком Винды искать, не проще ли так будет? Без всяких Архивариусов?
Солидворкер вне форума  
 
Непрочитано 25.09.2013, 19:50
#22
tankist

ЭПБ, обследование стр. конструкций
 
Регистрация: 09.10.2009
Сибирь
Сообщений: 2,656


Цитата:
Сообщение от Солидворкер Посмотреть сообщение
Если просто скачать все книжки на винчестер, а потом встроенным поисковиком Винды искать, не проще ли так будет?
Есть лучше средство. Архивариус3000.
tankist вне форума  
 
Непрочитано 25.09.2013, 20:56
#23
DEM

YngIngKllr
 
Регистрация: 29.03.2005
СПб
Сообщений: 12,968


Солидворкер
Медленно как минимум.
__________________
Работаю за еду.
Working for food.
Für Essen arbeiten.
العمل من أجل الغذاء
Працую за їжу.
DEM вне форума  
 
Непрочитано 26.09.2013, 01:23
#24
gomer

строю, ломаю
 
Регистрация: 03.04.2008
Украина
Сообщений: 5,515


Цитата:
Сообщение от DEM Посмотреть сообщение
Медленно как минимум.
Хрень полная, Everything индексирует несколько секунд, а весит полмегабайта весь дистр. Работает на порядок быстрее, чем винда, а то и на два, может искать на FTP. А это... я даж качать не стану...
gomer вне форума  
 
Автор темы   Непрочитано 26.09.2013, 04:52
#25
leprecon


 
Регистрация: 03.02.2009
Сообщений: 42


Цитата:
Сообщение от Солидворкер Посмотреть сообщение
Вопрос:
Если просто скачать все книжки на винчестер, а потом встроенным поисковиком Винды искать, не проще ли так будет? Без всяких Архивариусов?
Отличительная особенность практически всей электронной строительной литературы в том, что она имеет не изначально электронное происхождение Это сканированная литература в формате pdf или djvu. Как организовать поиск конкретной фразы в большом объеме сканированной литературы. Т.е. цепочка была следующая: каждая страница книги распознается в программе типа finereader, затем текст загоняется в исходный файл в виде OCR-слоя и параллельно добавляется в индекс программы. Встроенными же средствами Винды можно организовать поиск в тексте файлов типа .doc, например, т.е. имеющих изначально электронное происхождение.

Цитата:
Сообщение от tankist Посмотреть сообщение
Есть лучше средство. Архивариус3000.
Архивариус 3000 использует для поиска встроенные средства операционной системы, т.е. смотри выше.

Цитата:
Сообщение от gomer Посмотреть сообщение
Хрень полная
спасибо

Цитата:
Сообщение от gomer Посмотреть сообщение
Everything индексирует несколько секунд, а весит полмегабайта весь дистр
Everything индексирует только названия документов, вот для этого как раз существуют поисковые инструменты операционной системы

Цитата:
Сообщение от forzik Посмотреть сообщение
Получается, при поисковом запросе выдается несколько книг - чтобы их поочередно посмотреть надо поочередно скачать, так? На работе далеко не идеальный интернет да и ограничение по трафику - отсюда вопрос нет ли возможности скачать книги не по одной (на сайте не нашел), а по разделам, например, как они представлены в навигаторе(например дома скачать нужные разделы, а потом на работе скопировать)?
Да можно скачать с сайта, категории там расположены примерно в том же порядке, что и в программе, а потом вручную добавить в программу. Качать разделами не предусмотрено. Лучше просто запустить программу дома и скачать все, что нужно, а потом всю папку перетащить на работу.
leprecon вне форума  
 
Непрочитано 26.09.2013, 07:28
#26
BoT


 
Регистрация: 15.08.2008
Сообщений: 752


Увидев краткое описание данной программы в даунлоаде я был настолько рад... "Наконец-то я нашел то, что мне надо" - поумал я
Прочитав 2 страницы данной ветки понял, что это не совсем то, о чём я мечтаю))))
Пдобную программу я представляю несколько иначе: вот то, что уже есть сейчас плюс возможность добавлять теги к своей библиотеке. Ведь у каждого здесь есть своя библиотека документов, и мне вот, например, проще добавить теги (по которым я сам точно смогу что-то найти) и пользоваться поиском хотя бы на основе тегирования пускай на "зодчем" есть вся та литература, которая лежит у меня на винте, но второпях порой скачивать не насткоьлко удобно а я готов потратить неделю своего личного времени, чтобы затегировать если не всю, то хотя бы основную литературу
А может уже есть что-то подобное, а я не знаю?
BoT вне форума  
 
Автор темы   Непрочитано 26.09.2013, 07:55
#27
leprecon


 
Регистрация: 03.02.2009
Сообщений: 42


Цитата:
Сообщение от BoT Посмотреть сообщение
Увидев краткое описание данной программы в даунлоаде я был настолько рад... "Наконец-то я нашел то, что мне надо" - поумал я
Прочитав 2 страницы данной ветки понял, что это не совсем то, о чём я мечтаю))))
Пдобную программу я представляю несколько иначе: вот то, что уже есть сейчас плюс возможность добавлять теги к своей библиотеке. Ведь у каждого здесь есть своя библиотека документов, и мне вот, например, проще добавить теги (по которым я сам точно смогу что-то найти) и пользоваться поиском хотя бы на основе тегирования пускай на "зодчем" есть вся та литература, которая лежит у меня на винте, но второпях порой скачивать не насткоьлко удобно а я готов потратить неделю своего личного времени, чтобы затегировать если не всю, то хотя бы основную литературу
А может уже есть что-то подобное, а я не знаю?
А что мешает добавить всю Вашу библиотеку в программу, а теги добавить в поле с описанием. При этом при поиске с функцией "искать в тексте" добавленные теги будут сопоставлены конкретным единицам в базе данных. Таким же образом можно организовать, например, электронный архив проектной документации. Имеющуюся базу, если она не нужна, можно удалить, чтобы ускорить поиск.
leprecon вне форума  
 
Непрочитано 26.09.2013, 09:03
#28
dabunbek


 
Регистрация: 13.04.2010
Сообщений: 23


Путь к базе менять можно? Например на сетевой диск. Добавьте возможность добавления описания с включенным слоем OCR.
dabunbek вне форума  
 
Непрочитано 26.09.2013, 09:15
#29
zodchiiws

программист
 
Регистрация: 25.09.2013
Сообщений: 10


Цитата:
Сообщение от dabunbek Посмотреть сообщение
Путь к базе менять можно?
Путь к базе менять нельзя, но что мешает разместить всю папку с программой на сетевой диск и запускать с него?

Цитата:
Сообщение от dabunbek Посмотреть сообщение
Добавьте возможность добавления описания с включенным слоем OCR.
Не совсем понятен вопрос. Описание к документу добавлять уже можно. С включенным слоем OCR у чего или где?
zodchiiws вне форума  
 
Непрочитано 26.09.2013, 09:18
#30
dabunbek


 
Регистрация: 13.04.2010
Сообщений: 23



Я хочу например добавить к описанию файла слой OCR и свои собственные теги (как вы рекомендовали ранее), но программа дает возможность добавить или ocr или описание.
dabunbek вне форума  
 
Автор темы   Непрочитано 26.09.2013, 09:20
#31
leprecon


 
Регистрация: 03.02.2009
Сообщений: 42


Цитата:
Сообщение от dabunbek Посмотреть сообщение
Путь к базе менять можно? Например на сетевой диск. Добавьте возможность добавления описания с включенным слоем OCR.
Для того, чтобы подправить описания документов, уже содержащих OCR-слой, нужно в окне редактирования документа поставить галочку "Перезаписать OCR-слой" и снять галочку "взять OCR-слой из файла", после этого окно описания будет доступно для редактирования. Туда можно забить теги, по которым потом будет производиться поиск
leprecon вне форума  
 
Непрочитано 26.09.2013, 09:28
#32
dabunbek


 
Регистрация: 13.04.2010
Сообщений: 23


Добавьте пожалуйста возможность редактирования документа в контекстном меню результатов поиска. и желательно чтобы в результатах поиска было видно в какой категории лежит книга. Еще возможно не помешала-бы какаянить иконка которая говорила бы о том что файл локальный или на сервере. на случай отсутствия инета.
dabunbek вне форума  
 
Автор темы   Непрочитано 26.09.2013, 09:58
1 | #33
leprecon


 
Регистрация: 03.02.2009
Сообщений: 42


Цитата:
Сообщение от dabunbek Посмотреть сообщение
Добавьте пожалуйста возможность редактирования документа в контекстном меню результатов поиска. и желательно чтобы в результатах поиска было видно в какой категории лежит книга. Еще возможно не помешала-бы какаянить иконка которая говорила бы о том что файл локальный или на сервере. на случай отсутствия инета.
Ценные замечания, нужно будет доработать
leprecon вне форума  
 
Непрочитано 26.09.2013, 10:05
#34
dabunbek


 
Регистрация: 13.04.2010
Сообщений: 23


Извините что веду себя как придирчивый заказчик ) но вот еще че хочу ))) Хотелось бы что бы название документа можно было бы брать из названия файла, т.е. ставлю галочку "брать название документа из имени файла" и оно автоматом прописывалось в поле название документа только без расширения. у меня документы просто уже содержат то название которое мне нужно. Эта галочка значительно бы упростила добавление моих книг.
А на счет возможности одновременного использования OCR и собственных тегов будет возможность сделать?
dabunbek вне форума  
 
Непрочитано 26.09.2013, 10:30
#35
zodchiiws

программист
 
Регистрация: 25.09.2013
Сообщений: 10


Цитата:
Сообщение от dabunbek Посмотреть сообщение
Хотелось бы что бы название документа можно было бы брать из названия файла
Полезная фишка, сделаем.

Цитата:
Сообщение от dabunbek Посмотреть сообщение
А на счет возможности одновременного использования OCR и собственных тегов будет возможность сделать?
Я понял в чем проблема. Проблема в терминологии. Попробую объяснить. Поле, которое в окне редактирования называется "Описание(OCR-слой)" - это тоже самое, что галочка "взять OCR-слой из файла". То есть ocr-слой - это текст, который можно либо забить тут же руками, либо создать текстовый файл и указать к нему путь.
Теперь, что в программе называется OCR-слой и как используется. OCR-слой - это просто некий текст, по которому строится индекс для поиска по тексту. Никакой другой роли он не играет. Таким образом, в одно и то же поле "Описание(OCR-слой)", либо в текстовый файл, из которого будет браться OCR-слой, вы вносите ключевые слова, текст, теги, все что угодно. Можете забить туда текст OCR-слоя документа и туда же со следующей строки добавить свои теги. По всему этому тексту будет построен индекс и по вашим ключевым словам (тегам) будет происходить поиск по тексту.
Возможно я не правильно понял ваш вопрос, тогда вам придется сформулировать его более четко.
zodchiiws вне форума  
 
Непрочитано 26.09.2013, 10:57
#36
dabunbek


 
Регистрация: 13.04.2010
Сообщений: 23


Цитата:
Сообщение от zodchiiws Посмотреть сообщение
Я понял в чем проблема.
Я понял в чем проблема. Проблема в том, что я просил то что еще не попробовал как делается. Оказывается программа берет OCR слой из отдельного текстового файла. Я грешным делом думал, что если есть например даже doc-овский файл, в котором есть текст, прога его сама оттуда берет. А вот нет оказывается.
Так вот хотелось бы чтобы была возможность выдерать текстовый слой из doc(x), pdf, djvu автоматом, без манипуляций копировать вставить. А потом еще дополнительно было поле в котором я мог бы добавить "Надо почитать", "взято с сайта zodchii.ws"...
dabunbek вне форума  
 
Непрочитано 26.09.2013, 11:10
#37
DEM

YngIngKllr
 
Регистрация: 29.03.2005
СПб
Сообщений: 12,968


gomer
Обрати внимание Солидвокер писал о встроенном поисковике Винды...
Так что не надо тут путать палец с ...
Ну ты и сам догадываешься о чем я...
__________________
Работаю за еду.
Working for food.
Für Essen arbeiten.
العمل من أجل الغذاء
Працую за їжу.
DEM вне форума  
 
Непрочитано 26.09.2013, 11:10
#38
zodchiiws

программист
 
Регистрация: 25.09.2013
Сообщений: 10


Цитата:
Сообщение от dabunbek Посмотреть сообщение
Так вот хотелось бы чтобы была возможность выдерать текстовый слой из doc(x), pdf, djvu автоматом, без манипуляций копировать вставить. А потом еще дополнительно было поле в котором я мог бы добавить "Надо почитать", "взято с сайта zodchii.ws"
Такой функционал сейчас отсутствует, но примем к сведению и, возможно, реализуем.
zodchiiws вне форума  
 
Непрочитано 26.09.2013, 11:12
#39
dabunbek


 
Регистрация: 13.04.2010
Сообщений: 23


И последнее на сегодня) вот я сейчас добавляю свою библиотеку, после обновления программы, моя база не полетит?
dabunbek вне форума  
 
Непрочитано 26.09.2013, 11:13
#40
Juffin

инженер-конструктор
 
Регистрация: 14.09.2010
Сообщений: 64
Отправить сообщение для Juffin с помощью Skype™


Доброго времени суток. Спасибо за программу. Очень неплохо было бы добавить функцию для перепривязки документа, если случайно не тот файл был назначен для документа. Например пункт меню при ПКМ на документе. Еще хотелось бы видеть полный путь выбранного документа при поиске (то к какой категории он относится), а то неудобно в дальнейшем искать где этот документ находится, если вдруг привязал не тот файл.
Juffin вне форума  
 
Непрочитано 26.09.2013, 11:31
#41
zodchiiws

программист
 
Регистрация: 25.09.2013
Сообщений: 10


Цитата:
Сообщение от dabunbek Посмотреть сообщение
после обновления программы, моя база не полетит?
Не полетит.
Да и еще для тех, кто заполняет базу своими документами. Тут выяснился один баг: если документы находятся не в папке с программой, то в базу записывается неправильный путь к файлу. Так что сейчас все документы должны лежать в папке с программой, структура папок внутри и вложенность может быть любая. Пофиксим в ближайшее время.

Цитата:
Сообщение от Juffin Посмотреть сообщение
Очень неплохо было бы добавить функцию для перепривязки документа, если случайно не тот файл был назначен для документа. Например пункт меню при ПКМ на документе.
Такой функционал есть в меню редактирования документа.
zodchiiws вне форума  
 
Непрочитано 26.09.2013, 11:36
#42
dabunbek


 
Регистрация: 13.04.2010
Сообщений: 23


Цитата:
Сообщение от zodchiiws Посмотреть сообщение
Не полетит.
Да и еще для тех, кто заполняет базу своими документами. Тут выяснился один баг: если документы находятся не в папке с программой, то в базу записывается неправильный путь к файлу. Так что сейчас все документы должны лежать в папке с программой, структура папок внутри и вложенность может быть любая. Пофиксим в ближайшее время.


Такой функционал есть в меню редактирования документа.
Я кстати это уже заметил. Но Вы ранее писали что файлы должны лежать в папке с программой, я поэтому не стал про это сообщать.
Есть еще одно предложение не совсем обязательное, не помешало бы видеть превью первой страницы (обложки) документа. иногда так проще разобраться какую книгу ты хочешь открыть.
dabunbek вне форума  
 
Непрочитано 26.09.2013, 11:47
#43
AiD.


 
Регистрация: 05.09.2011
Сообщений: 5


Цитата:
Сообщение от leprecon Посмотреть сообщение
Таким же образом можно организовать, например, электронный архив проектной документации. Имеющуюся базу, если она не нужна, можно удалить, чтобы ускорить поиск.
Вся база программы мне не нужна, хочу оставить только оболочку, потом в нее закидывать свою библиотеку книг и проектную документацию и прописать теги для поиска. Вопрос как удалить всё из программы чтобы она не занимала 1Гб?

А вообще программка нужная, спасибо разработчикам
AiD. вне форума  
 
Непрочитано 26.09.2013, 12:03
#44
zodchiiws

программист
 
Регистрация: 25.09.2013
Сообщений: 10


Цитата:
Сообщение от AiD. Посмотреть сообщение
Вопрос как удалить всё из программы чтобы она не занимала 1Гб?
Удалить каждую корневую директорию средствами программы (все вложенные директории и документы также будут удалены), затем в меню сервис -> оптимизировать базу данных
zodchiiws вне форума  
 
Непрочитано 26.09.2013, 12:03
#45
ShaggyDoc

Thượng Tá Quân Đội Nhân Dân Việt Nam
 
Регистрация: 14.03.2005
44d32'44"С, 33d26'51"В
Сообщений: 13,372


Цитата:
Рубик-джан! Ты только не обижайся, но я тебе один умный вещь скажу
Я подобных программ для каталогизации чего угодно наделал уже множество. И для локальных машин, и для Интернет, и с разными базами данных и вообще без них. Безусловно, программы такого назначения очень нужны. Другое дело - как их делать, и надо ли вообще делать - особенно если программа не делает чего-то "эдакого", а только ведет каталог.

1. Вообще-то такая программа уже есть у всех. Называется explorer.exe (Проводник) и позволяет делать очень многое, особенно если использовать ключи командной строки.

2. Вообще-то на каждом компьютере есть и база данных документов. Называется файловая система. А для файловой системы имеется пространство имен (namespace) в котором о каждом объекте (папке, файле) хранится несметное количество сведений, большинство из которых обычный пользователь не видит.

Для создания "навигатора" (по терминологии ПИК Архивариус) достаточно просто иметь как угодно упорядоченный каталог, на который можно "науськать" explorer.exe. У каждого наверняка есть такой каталог со свалкой накачанных книг и прочего. Свалка - потому что редко у кого доходят руки привести все в порядок.

В этой "базе данных" (в отличие от ПИК Архивариус) пользователь может всё - создавать сколько угодно "разделов", "рубрик", перетаскивать и копировать файлы, переименовывать их и видеть результаты сразу. Причем, если правильно использовать Свойства файла и не лениться их заполнять, то можно получать множество параметров для поиска штатными средствами.

Но в этой "базе данных" могут быть не только сами "книги". Книга может лежать в Сети, хоть на каком сайте, а в папке может быть только lnk-файл, который позволит перейти по указанному адресу (хоть в Интернет, хоть в локальной сети) и посмотреть или скачать.

3. Примененная в ПИК Архивариус база данных MySQL в таком виде (через libmysqld.dll) весьма ненадежна. Собственно она сразу и грохнулась. Лечение штатными методами (весьма медленное) результатов не дало. Да и не должен обычный пользователь этим заниматься!

А сколько вообще возни пользователю ненужной. Он же свои сокровища должен будет занести в БД - а это тыщи файлов. Альтернатива - положить на них.

Ну, допустим, использовать explorer.exe кому-то кажется "некошерно". Ну, там вид у него не такой, значки папок и т.п. Вот тогда можно делать и свою программу. Но с умом. Как я их делаю:

1. Для навигации по файловой системе используются специальные компоненты. Тут и дерево с "плюсиками" будет, и ограничение каталогов, и скрытие ненужных типов файлов. И обязательно с контексным меню Windows.

2. Для файлов с "непонятными" (английскими, например) именами можно делать или lnk-файлы (с понятным видимым именем) или свой формат (хоть ini, хоть xml). В таком файле может быть и ссылка в удаленное место.

3. Обязательно какой-то предпросмотр, лучше штатными средствами
4. Простые средства для создания lnk-файлов - скопировал адрес, вставил и получил документ в библиотеке.

Средств для разработки таких программ больше чем достаточно.

Для примера - скриншот диалогового окна, в котором выбирается документ для базы данных оборудования. Хоть это только модальный диалог, в нем реализовано все описанное. В дереве отображаются (и просматриваются) файлы pdf, doc, html, mht. Любой другой файл может быть просмотрен штатными средствами.
Изображения
Тип файла: jpg select_doc.jpg (214.4 Кб, 471 просмотров)
ShaggyDoc вне форума  
 
Непрочитано 26.09.2013, 12:28
#46
zodchiiws

программист
 
Регистрация: 25.09.2013
Сообщений: 10


Цитата:
Сообщение от ShaggyDoc Посмотреть сообщение
Цитата:
Рубик-джан! Ты только не обижайся, но я тебе один умный вещь скажу
Да кто ж спорит. У всех программ такого рода есть свои плюсы и минусы. Все правда, все можно делать штатными средствами ОС, но все упирается в полнотекстовый поиск. Explorer это делает медленно, поэтому mysql. Да это не идеальное решение, sphinx, например, круче. А по поводу всякого рода плюшек, типа предпросмотра - все решаемо, все можно дописать. Программа делалась максимально простой, и ее функционал как каталогизатора собственной библиотеки гораздо меньше того же Архивариуса 3000, о котором тут уже упоминалось. Ценность нашей программы в уже готовой базе, которую можно просто взять и использовать. Остальной функционал будет дописываться по мере возможности.
zodchiiws вне форума  
 
Непрочитано 26.09.2013, 12:58
#47
Солидворкер
Moderator

Конструктор (машиностроение)
 
Регистрация: 23.10.2006
Россия
Сообщений: 23,258
<phrase 1=


Цитата:
Сообщение от zodchiiws Посмотреть сообщение
но все упирается в полнотекстовый поиск.
Рекомендую скопировать текстовый слой DJVU в любой текстовый редактор с проверкой орфографии, и наслаждаться тоннами ереси, которую файнридер туда напихал. Все ведь без вычитки делается.
Солидворкер вне форума  
 
Автор темы   Непрочитано 26.09.2013, 13:23
#48
leprecon


 
Регистрация: 03.02.2009
Сообщений: 42


Цитата:
Сообщение от Солидворкер Посмотреть сообщение
Рекомендую скопировать текстовый слой DJVU в любой текстовый редактор с проверкой орфографии, и наслаждаться тоннами ереси, которую файнридер туда напихал. Все ведь без вычитки делается.
Да, OCR-слои не почищены - ереси там много. Очистка текстов и приведение их в нормальный вид заняло бы очень много времени. Тем не менее в индекс попало основное содержание литературы, по которому можно найти искомую поисковую фразу (за исключением книг, собранных из сканов ооочень плохого качества)
leprecon вне форума  
 
Непрочитано 27.09.2013, 11:10
#49
DEM

YngIngKllr
 
Регистрация: 29.03.2005
СПб
Сообщений: 12,968


leprecon
Может подумать о обновлении базы данных кусками....
Т.е. не тянуть сразу весь файл а подгружать обновление.
Вариант с добавлением файлов, определенными пользователями тоже был бы интересен.
Ну и конечно самое главное возможность поиска в других свободных библиотеках.
Так же стоит подумать о том как подгружать свои книги в данную библиотеку и возможности добавления в bd OCR слоя...
Кстати по OCR как мне кажется не стоит поностью копировать его в базу данных, достаточно будет оглавления.
__________________
Работаю за еду.
Working for food.
Für Essen arbeiten.
العمل من أجل الغذاء
Працую за їжу.
DEM вне форума  
 
Автор темы   Непрочитано 27.09.2013, 14:23
#50
leprecon


 
Регистрация: 03.02.2009
Сообщений: 42


Цитата:
Сообщение от DEM Посмотреть сообщение
leprecon
Может подумать о обновлении базы данных кусками....
Т.е. не тянуть сразу весь файл а подгружать обновление.
Ну вобщем-то, так и планировалось. Как появится время будем реализовывать.

Цитата:
Вариант с добавлением файлов, определенными пользователями тоже был бы интересен.
Ну и конечно самое главное возможность поиска в других свободных библиотеках.
Так же стоит подумать о том как подгружать свои книги в данную библиотеку и возможности добавления в bd OCR слоя...
Кстати по OCR как мне кажется не стоит поностью копировать его в базу данных, достаточно будет оглавления.
Поиск по другим библиотекам... я вот если честно не понимаю как это должно быть реализовано. Сейчас есть возможность добавления документов вручную, т.е. что мешает скачать нужные документы с нужных ресурсов и добавить в базу вручную.
По поводу добавления OCR-слоя автоматически - идея хорошая, надо думать как ее реализовать, особенно если речь идет о djvu-документах, например. А вот по поводу оглавления, наверное не соглашусь. Опыт использования программы, именно ее поисковых инструментов, показал, что, в основном, поисковая фраза присутствует в тексте документа, но не в оглавлении... Или у меня просто такие извращенные запросы
leprecon вне форума  
 
Непрочитано 27.09.2013, 16:01
#51
DEM

YngIngKllr
 
Регистрация: 29.03.2005
СПб
Сообщений: 12,968


leprecon
Поиск по другим библиотекам можно сделать с помошью google API
Либо через запросы к поисковикам в этих библиотеках....
Полученная страница может быть распарсена и отчет можно представить в виде таблицы.
Причем могу сказать что если просто страницу скачивать с сылками, то отображаться эта информация будет очень быстро по сравнению с обычным поиском через интернет эксплорер...
__________________
Работаю за еду.
Working for food.
Für Essen arbeiten.
العمل من أجل الغذاء
Працую за їжу.
DEM вне форума  
 
Непрочитано 30.09.2013, 11:21
#52
dabunbek


 
Регистрация: 13.04.2010
Сообщений: 23


Добрый день. Рассмотрите пожалуйста возможность добавления книги одновременно в несколько категорий.
Например есть книга "строительные конструкции" пусть она и лежит в категории строительные конструкции. Но в одной из них есть например хороший раздел по эстакадам, поэтому мне бы хотелось сразу добавить ее и в раздел эстакады. Понятно что можно просто еще раз добавить книгу, но так было бы быстрее. Как вариант можно добавить в контекстное меню создать "копию документа" со всеми реквизитами, а там я бы уже просто менял категории у дубликата.
dabunbek вне форума  
 
Непрочитано 01.10.2013, 12:54
#53
DEM

YngIngKllr
 
Регистрация: 29.03.2005
СПб
Сообщений: 12,968


АК шо автор программы то надумал????
__________________
Работаю за еду.
Working for food.
Für Essen arbeiten.
العمل من أجل الغذاء
Працую за їжу.
DEM вне форума  
 
Автор темы   Непрочитано 08.10.2013, 09:08
#54
leprecon


 
Регистрация: 03.02.2009
Сообщений: 42


Цитата:
Сообщение от DEM Посмотреть сообщение
АК шо автор программы то надумал????
Прошу прощения - полный цейтнот. Все замечания справедливы, как появится время будем пытаться реализовать. По поводу приложения для мобильных ОС - они есть в проекте, пока не хватает времени. Все обновления программы будут выкладываться в этой теме и на сайте. В ближайшее время постараюсь выложить экзешник с вылеченными "детскими" болячками (типа относительного пути к файлу и т.д.)
leprecon вне форума  
 
Непрочитано 05.11.2013, 12:57
#55
zodchiiws

программист
 
Регистрация: 25.09.2013
Сообщений: 10


Вышло небольшое обновление Архивариуса
zodchiiws вне форума  
 
Непрочитано 05.11.2013, 15:21
#56
dabunbek


 
Регистрация: 13.04.2010
Сообщений: 23


Здорово ща заценим )
dabunbek вне форума  
 
Непрочитано 08.11.2013, 02:25
#57
Сергей Ружинский


 
Регистрация: 29.07.2004
Сообщений: 48


Цитата:
Сообщение от leprecon Посмотреть сообщение
Архивариус 3000 использует для поиска встроенные средства операционной системы, т.е. смотри выше.
"Архивариус 3000" создает свой индексный файл. Для этого он должен предварительно проиндексировать библиотеку, повыдергивать текстовые слои везде где найдет и на этой основе создать индексный файл. У меня на 60 Гб создался индексный файл в 8 Гб.
В дальнейшем поиск ведется по индексному файлу и очень быстро.
Пользуюсь "Архивариус 3000" около 5 лет. Лучший локальный поисковик на сегодняшний день. Хотели его даже на сайт поставить, но он работает только под Виндой.

Цитата:
Сообщение от BoT Посмотреть сообщение
я готов потратить неделю своего личного времени, чтобы затегировать если не всю, то хотя бы основную литературу
Затегировать – это создать нечно на подобие систематического каталога. Вручную это долго будет. Мы делали, долго, муторно. И потом любая систематическая каталогизация хоть и ущербна по своей природе в принципе, была приемлема в "бумажную" эру. Для оцифрованных источников с текстовым слоем такой принцип каталогизации – это микроскопом забивать гвозди.
Есть идея каталогизировать облаком тегов и реализовать в такой способ принципиально новую функциональность "найти похожее".
http://forum.dwg.ru/showthread.php?t=105585


Цитата:
Сообщение от leprecon Посмотреть сообщение
Нужен вектор дальнейшего развития и конкретные предложения по улучшению программы
Если я правильно понял, вы предлагаете индексный файл и оболочку позволяющую подкачать нужный файл с сервера. Решение оригинальное, но у него есть как положительные, так и отрицательные стороны.

Еще – дискуссионен принцип именования файлов (сначала фамилия). В этом был смысл для бумажных изданий, которые сопровождал код систематического каталога еще с типографии и которые каталогизировались как в систематическом так и в алфавитном каталоге. Для электронного способа хранения такой принцип, считаю, не рационален. Мы у себя фамилию в конце ставим. Так удобней искать в большом массиве из нескольких тысяч файлов.

Вектор движения – это WEB 2.0. Или хотя бы его элементы.
Сергей Ружинский вне форума  
 
Непрочитано 08.11.2013, 10:47
#58
Кочетков Андрей

Java/Kotlin/Go
 
Регистрация: 03.02.2006
Сообщений: 5,786


Цитата:
Сообщение от Сергей Ружинский Посмотреть сообщение
Пользуюсь "Архивариус 3000" около 5 лет. Лучший локальный поисковик на сегодняшний день. Хотели его даже на сайт поставить, но он работает только под Виндой.
Arch3000 к сожалению уже давно не развивается.
Изредка добавляются никому не нужные форматы файлов, однако самые нужные, как например XLSX, отсутствуют.
Тем не менее соглашусь, что в данный момент - это лучшее решение среди локальных поисковиков.
Кочетков Андрей вне форума  
 
Непрочитано 15.05.2014, 14:15
#59
Alexij

проектировщик КМ, КЖ
 
Регистрация: 19.04.2011
Воронеж
Сообщений: 278


Что-то я смотрю тема заглохла: ни пожеланий, ни обновлений.
Мне програмка понравилась, единственно тяжело редактировать базу. Хотелось бы видеть возможность пакетного перемещения/добавления/копирования файлов из категории в категорию.
Alexij вне форума  
Закрытая тема
Вернуться   Форум DWG.RU > Программное обеспечение > Прочее. Программное обеспечение > Программно-информационный комплекс Архивариус. Обсуждение программы и предложения по улучшению