manifoldcf-user mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "Victor D'agostino" <victor.d.agost...@fiducial.net>
Subject Does manifoldcf supports sub entities/queries ?
Date Thu, 24 Mar 2016 11:56:08 GMT
Hi guys

I'm testing manifoldcf 1.10 to crawl data from a postgresql database to 
a solr cloud ensemble.
My database is used to store emails. For each email there is a details 
table entry and one or several recipients entry in an other table.

I need help setting the data query in my crawling job.

How can i avoid crawling the details each time there is a recipient ?
In Solr DIH it's called a subentities :

<dataSource type="JdbcDataSource" driver="org.postgresql.Driver" [...]"/>
     <document>
         <entity name="mail"
         query="SELECT email_id, [...] emetteur_budget FROM 
email_details WHERE [ ...]
           <field column="email_id" name="mail_id" />
             [...]
             <field column="emetteur_budget" name="emetteur_budget" />

             <entity name="destinataires"
             query="select utilisateur_id, adresse_email, [...] where 
email_id='${mail.email_id}' and date='${mail.date}'">
                 <field column="utilisateur_id" name="destinataire_ids" />
                 <field column="adresse_email" name="destinataire_mails" />
                 [...]
             </entity>

         </entity>
     </document>


Does manifoldcf supports subentities ?

Regards
Victor



________________
Ce message et les éventuels documents joints peuvent contenir des informations confidentielles.
Au cas où il ne vous serait pas destiné, nous vous remercions de bien vouloir le supprimer
et en aviser immédiatement l'expéditeur. Toute utilisation de ce message non conforme à
sa destination, toute diffusion ou publication, totale ou partielle et quel qu'en soit le
moyen est formellement interdite. Les communications sur internet n'étant pas sécurisées,
l'intégrité de ce message n'est pas assurée et la société émettrice ne peut être tenue
pour responsable de son contenu. 

Mime
View raw message