|
||
| Правила | Регистрация | Пользователи | Сообщения за день | | Поиск | | Справка по форуму | Файлообменник | |
|
![]() |
Поиск в этой теме |
![]() |
#1 | |
Программно-информационный комплекс Архивариус. Обсуждение программы и предложения по улучшению
Регистрация: 03.02.2009
Сообщений: 42
|
||
Просмотров: 17554
|
|
||||
Java/Kotlin/Go Регистрация: 03.02.2006
Сообщений: 5,786
|
Для начала благодарю за интересную программу.
Теперь по предложениям: предлагаю не ограничиваться загрузкой литературы только с сайта Зодчий. Например к программе можно будет подключать дополнительные модули для поиска и скачивания с других библиотек. Модули будут писаться другими пользователями в зависимости от движка конкретного сайта и в соответствии с синтаксисом, установленным вами. |
|||
![]() |
|
||||
Регистрация: 03.02.2009
Сообщений: 42
|
Цитата:
|
|||
![]() |
|
||||
dnl.dwg.ru
Сайт минрегионразвития. еще надо добавить что-нибудь полезное. |
||||
![]() |
|
||||
Регистрация: 03.02.2009
Сообщений: 42
|
Цитата:
Привязать другие ресурсы, конечно, возможно, но поиск на других ресурсах будет только по названию, а это существенно ограничивает функционал. |
|||
![]() |
|
||||
инженер-конструктор Регистрация: 16.10.2007
С-Пб
Сообщений: 673
|
Цитата:
Скачивать получается только обычным путем,зайдя на сайт,как и раньше.Проясните,пожалуйста,в каком случае появляется список документов в Архивариусе,которые можно напрямую из проги скачать и пополнить базу. Или Архивариус, это просто перечень имеющихся документов? Но 256 Мб в заархивированном виде только для перечня-многовато). Последний раз редактировалось Engineer SV, 25.09.2013 в 13:10. |
|||
![]() |
|
||||
Я тоже не смог загрузить найденный снип. Скачивать программа отказалась. Вин 7/64.
|
||||
![]() |
|
||||
Регистрация: 03.02.2009
Сообщений: 42
|
Цитата:
Цитата:
Последний раз редактировалось leprecon, 25.09.2013 в 13:17. |
|||
![]() |
|
||||
|
||||
![]() |
|
||||
программист Регистрация: 25.09.2013
Сообщений: 10
|
Возможно на машине установлен антивирус либо файрвол, который рубит запрос к сайту zodchii.ws на поиск документов.
|
|||
![]() |
|
||||
инженер-конструктор Регистрация: 16.10.2007
С-Пб
Сообщений: 673
|
Цитата:
Если простым путем,без Архивариуса,попасть на сайт, то без проблем. Антивирус-Касперского. Стандартный. |
|||
![]() |
|
||||
инженер-конструктор Регистрация: 16.10.2007
С-Пб
Сообщений: 673
|
|
|||
![]() |
|
||||
программист Регистрация: 25.09.2013
Сообщений: 10
|
256 мб - это сжатый индекс mysql для полнотекстового поиска, то есть в дистрибутиве находятся тексты примерно 3000 книг для индекса, с помощью которого возможно производить поиск по тексту djvu документа с ocr-слоем
Попробую объяснить как это и зачем сделана такая сложная схема со скачиванием документа с сайта. Как я уже сказал выше, для полнотекстового поиска необходим индекс, грубо говоря ключевые слова, по которым происходит поиск внутри текста. Для 3000 документов - это порядка 1.5 Гб занимает только индекс, сами же документы в общем весят около 15 Гб. Распространять дистрибутив в 16Гб накладно, да и мало кому нужны вот прямо все документы из базы. Поэтому было принято решение отделить собственно программу от файлов документов и распространять их по-отдельности. Вот в сжатом виде дистрибутив и получился около 280 Мб со всей базой, но без файлов. Встроенный даунлоадер написан для удобства, чтобы не нужно было постоянно прыгать на сайт для скачивания отсутствующего файла документа. В программе формируется поисковый запрос и отправляется по специальному адресу на сервер zodchii.ws. Фразой для поиска является заголовок документа. В ответ приходят результаты поиска в специальном формате, они и отображаются в форме. Таким образом, если форма показывается пустая, то либо ничего не нашлось, либо ответ не получен, либо запрос просто не был отправлен. Отсюда и рекомендации посмотреть в сторону антивирусов/файрволов, которые очень любят перехватывать трафик и анализировать на предмет зловредности. Последний раз редактировалось zodchiiws, 25.09.2013 в 16:09. |
|||
![]() |
|
||||
программист Регистрация: 25.09.2013
Сообщений: 10
|
|
|||
![]() |
|
||||
ЭПБ, обследование стр. конструкций Регистрация: 09.10.2009
Сибирь
Сообщений: 2,656
|
|
|||
![]() |
|
||||
Получается, при поисковом запросе выдается несколько книг - чтобы их поочередно посмотреть надо поочередно скачать, так? На работе далеко не идеальный интернет да и ограничение по трафику - отсюда вопрос нет ли возможности скачать книги не по одной (на сайте не нашел), а по разделам, например, как они представлены в навигаторе(например дома скачать нужные разделы, а потом на работе скопировать)?
__________________
Не усматривайте злого умысла в том, что вполне объяснимо глупостью. |
||||
![]() |
|
||||
Moderator
Конструктор (машиностроение) Регистрация: 23.10.2006
Россия
Сообщений: 23,258
![]() |
Вопрос:
Если просто скачать все книжки на винчестер, а потом встроенным поисковиком Винды искать, не проще ли так будет? ![]() |
|||
![]() |
|
||||
строю, ломаю Регистрация: 03.04.2008
Украина
Сообщений: 5,515
|
|
|||
![]() |
|
||||
Регистрация: 03.02.2009
Сообщений: 42
|
Цитата:
![]() Архивариус 3000 использует для поиска встроенные средства операционной системы, т.е. смотри выше. спасибо ![]() Everything индексирует только названия документов, вот для этого как раз существуют поисковые инструменты операционной системы Цитата:
|
|||
![]() |
|
||||
Регистрация: 15.08.2008
Сообщений: 752
|
Увидев краткое описание данной программы в даунлоаде я был настолько рад... "Наконец-то я нашел то, что мне надо" - поумал я
![]() Прочитав 2 страницы данной ветки понял, что это не совсем то, о чём я мечтаю)))) Пдобную программу я представляю несколько иначе: вот то, что уже есть сейчас плюс возможность добавлять теги к своей библиотеке. Ведь у каждого здесь есть своя библиотека документов, и мне вот, например, проще добавить теги (по которым я сам точно смогу что-то найти) и пользоваться поиском хотя бы на основе тегирования ![]() ![]() А может уже есть что-то подобное, а я не знаю? ![]() |
|||
![]() |
|
||||
Регистрация: 03.02.2009
Сообщений: 42
|
Цитата:
|
|||
![]() |
|
||||
программист Регистрация: 25.09.2013
Сообщений: 10
|
Путь к базе менять нельзя, но что мешает разместить всю папку с программой на сетевой диск и запускать с него?
Не совсем понятен вопрос. Описание к документу добавлять уже можно. С включенным слоем OCR у чего или где? |
|||
![]() |
|
||||
Регистрация: 03.02.2009
Сообщений: 42
|
Для того, чтобы подправить описания документов, уже содержащих OCR-слой, нужно в окне редактирования документа поставить галочку "Перезаписать OCR-слой" и снять галочку "взять OCR-слой из файла", после этого окно описания будет доступно для редактирования. Туда можно забить теги, по которым потом будет производиться поиск
|
|||
![]() |
|
||||
Регистрация: 13.04.2010
Сообщений: 23
|
Добавьте пожалуйста возможность редактирования документа в контекстном меню результатов поиска. и желательно чтобы в результатах поиска было видно в какой категории лежит книга. Еще возможно не помешала-бы какаянить иконка которая говорила бы о том что файл локальный или на сервере. на случай отсутствия инета.
|
|||
![]() |
|
||||
Регистрация: 03.02.2009
Сообщений: 42
|
Цитата:
|
|||
![]() |
|
||||
Регистрация: 13.04.2010
Сообщений: 23
|
Извините что веду себя как придирчивый заказчик ) но вот еще че хочу ))) Хотелось бы что бы название документа можно было бы брать из названия файла, т.е. ставлю галочку "брать название документа из имени файла" и оно автоматом прописывалось в поле название документа только без расширения. у меня документы просто уже содержат то название которое мне нужно. Эта галочка значительно бы упростила добавление моих книг.
А на счет возможности одновременного использования OCR и собственных тегов будет возможность сделать? |
|||
![]() |
|
||||
программист Регистрация: 25.09.2013
Сообщений: 10
|
Цитата:
Цитата:
Теперь, что в программе называется OCR-слой и как используется. OCR-слой - это просто некий текст, по которому строится индекс для поиска по тексту. Никакой другой роли он не играет. Таким образом, в одно и то же поле "Описание(OCR-слой)", либо в текстовый файл, из которого будет браться OCR-слой, вы вносите ключевые слова, текст, теги, все что угодно. Можете забить туда текст OCR-слоя документа и туда же со следующей строки добавить свои теги. По всему этому тексту будет построен индекс и по вашим ключевым словам (тегам) будет происходить поиск по тексту. Возможно я не правильно понял ваш вопрос, тогда вам придется сформулировать его более четко.
__________________
Библиотека строительства: типовые серии, нормативные документы |
|||
![]() |
|
||||
Регистрация: 13.04.2010
Сообщений: 23
|
Я понял в чем проблема. Проблема в том, что я просил то что еще не попробовал как делается. Оказывается программа берет OCR слой из отдельного текстового файла. Я грешным делом думал, что если есть например даже doc-овский файл, в котором есть текст, прога его сама оттуда берет. А вот нет оказывается.
Так вот хотелось бы чтобы была возможность выдерать текстовый слой из doc(x), pdf, djvu автоматом, без манипуляций копировать вставить. А потом еще дополнительно было поле в котором я мог бы добавить "Надо почитать", "взято с сайта zodchii.ws"... |
|||
![]() |
|
||||
YngIngKllr Регистрация: 29.03.2005
СПб
Сообщений: 12,968
|
gomer
Обрати внимание Солидвокер писал о встроенном поисковике Винды... Так что не надо тут путать палец с ... Ну ты и сам догадываешься о чем я...
__________________
Работаю за еду. Working for food. Für Essen arbeiten. العمل من أجل الغذاء Працую за їжу. |
|||
![]() |
|
||||
программист Регистрация: 25.09.2013
Сообщений: 10
|
Такой функционал сейчас отсутствует, но примем к сведению и, возможно, реализуем.
__________________
Библиотека строительства: типовые серии, нормативные документы |
|||
![]() |
|
||||
Доброго времени суток. Спасибо за программу. Очень неплохо было бы добавить функцию для перепривязки документа, если случайно не тот файл был назначен для документа. Например пункт меню при ПКМ на документе. Еще хотелось бы видеть полный путь выбранного документа при поиске (то к какой категории он относится), а то неудобно в дальнейшем искать где этот документ находится, если вдруг привязал не тот файл.
|
||||
![]() |
|
||||
программист Регистрация: 25.09.2013
Сообщений: 10
|
Не полетит.
Да и еще для тех, кто заполняет базу своими документами. Тут выяснился один баг: если документы находятся не в папке с программой, то в базу записывается неправильный путь к файлу. Так что сейчас все документы должны лежать в папке с программой, структура папок внутри и вложенность может быть любая. Пофиксим в ближайшее время. Такой функционал есть в меню редактирования документа.
__________________
Библиотека строительства: типовые серии, нормативные документы |
|||
![]() |
|
||||
Регистрация: 13.04.2010
Сообщений: 23
|
Цитата:
Есть еще одно предложение не совсем обязательное, не помешало бы видеть превью первой страницы (обложки) документа. иногда так проще разобраться какую книгу ты хочешь открыть. |
|||
![]() |
|
||||
Регистрация: 05.09.2011
Сообщений: 5
|
Цитата:
А вообще программка нужная, спасибо разработчикам |
|||
![]() |
|
||||
программист Регистрация: 25.09.2013
Сообщений: 10
|
Удалить каждую корневую директорию средствами программы (все вложенные директории и документы также будут удалены), затем в меню сервис -> оптимизировать базу данных
__________________
Библиотека строительства: типовые серии, нормативные документы |
|||
![]() |
|
||||
Thượng Tá Quân Đội Nhân Dân Việt Nam Регистрация: 14.03.2005
44d32'44"С, 33d26'51"В
Сообщений: 13,372
|
Цитата:
1. Вообще-то такая программа уже есть у всех. Называется explorer.exe (Проводник) и позволяет делать очень многое, особенно если использовать ключи командной строки. 2. Вообще-то на каждом компьютере есть и база данных документов. Называется файловая система. А для файловой системы имеется пространство имен (namespace) в котором о каждом объекте (папке, файле) хранится несметное количество сведений, большинство из которых обычный пользователь не видит. Для создания "навигатора" (по терминологии ПИК Архивариус) достаточно просто иметь как угодно упорядоченный каталог, на который можно "науськать" explorer.exe. У каждого наверняка есть такой каталог со свалкой накачанных книг и прочего. Свалка - потому что редко у кого доходят руки привести все в порядок. В этой "базе данных" (в отличие от ПИК Архивариус) пользователь может всё - создавать сколько угодно "разделов", "рубрик", перетаскивать и копировать файлы, переименовывать их и видеть результаты сразу. Причем, если правильно использовать Свойства файла и не лениться их заполнять, то можно получать множество параметров для поиска штатными средствами. Но в этой "базе данных" могут быть не только сами "книги". Книга может лежать в Сети, хоть на каком сайте, а в папке может быть только lnk-файл, который позволит перейти по указанному адресу (хоть в Интернет, хоть в локальной сети) и посмотреть или скачать. 3. Примененная в ПИК Архивариус база данных MySQL в таком виде (через libmysqld.dll) весьма ненадежна. Собственно она сразу и грохнулась. Лечение штатными методами (весьма медленное) результатов не дало. Да и не должен обычный пользователь этим заниматься! А сколько вообще возни пользователю ненужной. Он же свои сокровища должен будет занести в БД - а это тыщи файлов. Альтернатива - положить на них. Ну, допустим, использовать explorer.exe кому-то кажется "некошерно". Ну, там вид у него не такой, значки папок и т.п. Вот тогда можно делать и свою программу. Но с умом. Как я их делаю: 1. Для навигации по файловой системе используются специальные компоненты. Тут и дерево с "плюсиками" будет, и ограничение каталогов, и скрытие ненужных типов файлов. И обязательно с контексным меню Windows. 2. Для файлов с "непонятными" (английскими, например) именами можно делать или lnk-файлы (с понятным видимым именем) или свой формат (хоть ini, хоть xml). В таком файле может быть и ссылка в удаленное место. 3. Обязательно какой-то предпросмотр, лучше штатными средствами 4. Простые средства для создания lnk-файлов - скопировал адрес, вставил и получил документ в библиотеке. Средств для разработки таких программ больше чем достаточно. Для примера - скриншот диалогового окна, в котором выбирается документ для базы данных оборудования. Хоть это только модальный диалог, в нем реализовано все описанное. В дереве отображаются (и просматриваются) файлы pdf, doc, html, mht. Любой другой файл может быть просмотрен штатными средствами. |
|||
![]() |
|
||||
программист Регистрация: 25.09.2013
Сообщений: 10
|
Да кто ж спорит. У всех программ такого рода есть свои плюсы и минусы. Все правда, все можно делать штатными средствами ОС, но все упирается в полнотекстовый поиск. Explorer это делает медленно, поэтому mysql. Да это не идеальное решение, sphinx, например, круче. А по поводу всякого рода плюшек, типа предпросмотра - все решаемо, все можно дописать. Программа делалась максимально простой, и ее функционал как каталогизатора собственной библиотеки гораздо меньше того же Архивариуса 3000, о котором тут уже упоминалось. Ценность нашей программы в уже готовой базе, которую можно просто взять и использовать. Остальной функционал будет дописываться по мере возможности.
__________________
Библиотека строительства: типовые серии, нормативные документы |
|||
![]() |
|
||||
Moderator
Конструктор (машиностроение) Регистрация: 23.10.2006
Россия
Сообщений: 23,258
![]() |
Рекомендую скопировать текстовый слой DJVU в любой текстовый редактор с проверкой орфографии, и наслаждаться тоннами ереси, которую файнридер туда напихал. Все ведь без вычитки делается.
|
|||
![]() |
|
||||
Регистрация: 03.02.2009
Сообщений: 42
|
Да, OCR-слои не почищены - ереси там много. Очистка текстов и приведение их в нормальный вид заняло бы очень много времени. Тем не менее в индекс попало основное содержание литературы, по которому можно найти искомую поисковую фразу (за исключением книг, собранных из сканов ооочень плохого качества)
|
|||
![]() |
|
||||
YngIngKllr Регистрация: 29.03.2005
СПб
Сообщений: 12,968
|
leprecon
Может подумать о обновлении базы данных кусками.... Т.е. не тянуть сразу весь файл а подгружать обновление. Вариант с добавлением файлов, определенными пользователями тоже был бы интересен. Ну и конечно самое главное возможность поиска в других свободных библиотеках. Так же стоит подумать о том как подгружать свои книги в данную библиотеку и возможности добавления в bd OCR слоя... Кстати по OCR как мне кажется не стоит поностью копировать его в базу данных, достаточно будет оглавления.
__________________
Работаю за еду. Working for food. Für Essen arbeiten. العمل من أجل الغذاء Працую за їжу. |
|||
![]() |
|
||||
Регистрация: 03.02.2009
Сообщений: 42
|
Цитата:
Цитата:
По поводу добавления OCR-слоя автоматически - идея хорошая, надо думать как ее реализовать, особенно если речь идет о djvu-документах, например. А вот по поводу оглавления, наверное не соглашусь. Опыт использования программы, именно ее поисковых инструментов, показал, что, в основном, поисковая фраза присутствует в тексте документа, но не в оглавлении... Или у меня просто такие извращенные запросы ![]() |
|||
![]() |
|
||||
YngIngKllr Регистрация: 29.03.2005
СПб
Сообщений: 12,968
|
leprecon
Поиск по другим библиотекам можно сделать с помошью google API Либо через запросы к поисковикам в этих библиотеках.... Полученная страница может быть распарсена и отчет можно представить в виде таблицы. Причем могу сказать что если просто страницу скачивать с сылками, то отображаться эта информация будет очень быстро по сравнению с обычным поиском через интернет эксплорер...
__________________
Работаю за еду. Working for food. Für Essen arbeiten. العمل من أجل الغذاء Працую за їжу. |
|||
![]() |
|
||||
Регистрация: 13.04.2010
Сообщений: 23
|
Добрый день. Рассмотрите пожалуйста возможность добавления книги одновременно в несколько категорий.
Например есть книга "строительные конструкции" пусть она и лежит в категории строительные конструкции. Но в одной из них есть например хороший раздел по эстакадам, поэтому мне бы хотелось сразу добавить ее и в раздел эстакады. Понятно что можно просто еще раз добавить книгу, но так было бы быстрее. Как вариант можно добавить в контекстное меню создать "копию документа" со всеми реквизитами, а там я бы уже просто менял категории у дубликата. |
|||
![]() |
|
||||
Регистрация: 03.02.2009
Сообщений: 42
|
Прошу прощения - полный цейтнот. Все замечания справедливы, как появится время будем пытаться реализовать. По поводу приложения для мобильных ОС - они есть в проекте, пока не хватает времени. Все обновления программы будут выкладываться в этой теме и на сайте. В ближайшее время постараюсь выложить экзешник с вылеченными "детскими" болячками (типа относительного пути к файлу и т.д.)
|
|||
![]() |
|
||||
программист Регистрация: 25.09.2013
Сообщений: 10
|
Вышло небольшое обновление Архивариуса
__________________
Библиотека строительства: типовые серии, нормативные документы |
|||
![]() |
|
||||
Регистрация: 29.07.2004
Сообщений: 48
|
Цитата:
В дальнейшем поиск ведется по индексному файлу и очень быстро. Пользуюсь "Архивариус 3000" около 5 лет. Лучший локальный поисковик на сегодняшний день. Хотели его даже на сайт поставить, но он работает только под Виндой. Цитата:
Есть идея каталогизировать облаком тегов и реализовать в такой способ принципиально новую функциональность "найти похожее". http://forum.dwg.ru/showthread.php?t=105585 Цитата:
Еще – дискуссионен принцип именования файлов (сначала фамилия). В этом был смысл для бумажных изданий, которые сопровождал код систематического каталога еще с типографии и которые каталогизировались как в систематическом так и в алфавитном каталоге. Для электронного способа хранения такой принцип, считаю, не рационален. Мы у себя фамилию в конце ставим. Так удобней искать в большом массиве из нескольких тысяч файлов. Вектор движения – это WEB 2.0. Или хотя бы его элементы. |
|||
![]() |
|
||||
Java/Kotlin/Go Регистрация: 03.02.2006
Сообщений: 5,786
|
Цитата:
Изредка добавляются никому не нужные форматы файлов, однако самые нужные, как например XLSX, отсутствуют. Тем не менее соглашусь, что в данный момент - это лучшее решение среди локальных поисковиков. |
|||
![]() |
|
||||
проектировщик КМ, КЖ Регистрация: 19.04.2011
Воронеж
Сообщений: 278
|
Что-то я смотрю тема заглохла: ни пожеланий, ни обновлений.
Мне програмка понравилась, единственно тяжело редактировать базу. Хотелось бы видеть возможность пакетного перемещения/добавления/копирования файлов из категории в категорию. |
|||
![]() |