Return-Path: X-Original-To: apmail-manifoldcf-commits-archive@www.apache.org Delivered-To: apmail-manifoldcf-commits-archive@www.apache.org Received: from mail.apache.org (hermes.apache.org [140.211.11.3]) by minotaur.apache.org (Postfix) with SMTP id 4D57910BB7 for ; Wed, 30 Oct 2013 18:25:13 +0000 (UTC) Received: (qmail 89713 invoked by uid 500); 30 Oct 2013 18:21:24 -0000 Delivered-To: apmail-manifoldcf-commits-archive@manifoldcf.apache.org Received: (qmail 89591 invoked by uid 500); 30 Oct 2013 18:21:11 -0000 Mailing-List: contact commits-help@manifoldcf.apache.org; run by ezmlm Precedence: bulk List-Help: List-Unsubscribe: List-Post: List-Id: Reply-To: dev@manifoldcf.apache.org Delivered-To: mailing list commits@manifoldcf.apache.org Received: (qmail 89566 invoked by uid 99); 30 Oct 2013 18:21:06 -0000 Received: from nike.apache.org (HELO nike.apache.org) (192.87.106.230) by apache.org (qpsmtpd/0.29) with ESMTP; Wed, 30 Oct 2013 18:21:06 +0000 X-ASF-Spam-Status: No, hits=-2000.0 required=5.0 tests=ALL_TRUSTED,T_FRT_CONTACT X-Spam-Check-By: apache.org Received: from [140.211.11.4] (HELO eris.apache.org) (140.211.11.4) by apache.org (qpsmtpd/0.29) with ESMTP; Wed, 30 Oct 2013 18:20:59 +0000 Received: from eris.apache.org (localhost [127.0.0.1]) by eris.apache.org (Postfix) with ESMTP id C5D8323888E4; Wed, 30 Oct 2013 18:20:37 +0000 (UTC) Content-Type: text/plain; charset="utf-8" MIME-Version: 1.0 Content-Transfer-Encoding: 8bit Subject: svn commit: r1537226 - in /manifoldcf/trunk/framework: build.xml core/src/test/java/org/apache/manifoldcf/core/fuzzyml/ core/src/test/java/org/apache/manifoldcf/core/fuzzyml/TestFuzzyML.java Date: Wed, 30 Oct 2013 18:20:37 -0000 To: commits@manifoldcf.apache.org From: kwright@apache.org X-Mailer: svnmailer-1.0.9 Message-Id: <20131030182037.C5D8323888E4@eris.apache.org> X-Virus-Checked: Checked by ClamAV on apache.org Author: kwright Date: Wed Oct 30 18:20:37 2013 New Revision: 1537226 URL: http://svn.apache.org/r1537226 Log: Add fuzzyml parsing test. Added: manifoldcf/trunk/framework/core/src/test/java/org/apache/manifoldcf/core/fuzzyml/ manifoldcf/trunk/framework/core/src/test/java/org/apache/manifoldcf/core/fuzzyml/TestFuzzyML.java (with props) Modified: manifoldcf/trunk/framework/build.xml Modified: manifoldcf/trunk/framework/build.xml URL: http://svn.apache.org/viewvc/manifoldcf/trunk/framework/build.xml?rev=1537226&r1=1537225&r2=1537226&view=diff ============================================================================== --- manifoldcf/trunk/framework/build.xml (original) +++ manifoldcf/trunk/framework/build.xml Wed Oct 30 18:20:37 2013 @@ -88,7 +88,7 @@ - + @@ -97,7 +97,7 @@ - + @@ -108,7 +108,7 @@ - + @@ -118,7 +118,7 @@ - + @@ -129,7 +129,7 @@ - + @@ -141,7 +141,7 @@ - + @@ -151,7 +151,7 @@ - + @@ -163,7 +163,7 @@ - + @@ -176,7 +176,7 @@ - + @@ -189,7 +189,7 @@ - + @@ -203,7 +203,7 @@ - + @@ -218,7 +218,7 @@ - + @@ -244,7 +244,7 @@ - + @@ -1191,7 +1191,7 @@ - + @@ -1201,7 +1201,7 @@ - + @@ -1213,7 +1213,7 @@ - + @@ -1227,7 +1227,7 @@ - + @@ -1276,6 +1276,7 @@ + Added: manifoldcf/trunk/framework/core/src/test/java/org/apache/manifoldcf/core/fuzzyml/TestFuzzyML.java URL: http://svn.apache.org/viewvc/manifoldcf/trunk/framework/core/src/test/java/org/apache/manifoldcf/core/fuzzyml/TestFuzzyML.java?rev=1537226&view=auto ============================================================================== --- manifoldcf/trunk/framework/core/src/test/java/org/apache/manifoldcf/core/fuzzyml/TestFuzzyML.java (added) +++ manifoldcf/trunk/framework/core/src/test/java/org/apache/manifoldcf/core/fuzzyml/TestFuzzyML.java Wed Oct 30 18:20:37 2013 @@ -0,0 +1,194 @@ +/* $Id$ */ + +/** +* Licensed to the Apache Software Foundation (ASF) under one or more +* contributor license agreements. See the NOTICE file distributed with +* this work for additional information regarding copyright ownership. +* The ASF licenses this file to You under the Apache License, Version 2.0 +* (the "License"); you may not use this file except in compliance with +* the License. You may obtain a copy of the License at +* +* http://www.apache.org/licenses/LICENSE-2.0 +* +* Unless required by applicable law or agreed to in writing, software +* distributed under the License is distributed on an "AS IS" BASIS, +* WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. +* See the License for the specific language governing permissions and +* limitations under the License. +*/ +package org.apache.manifoldcf.core.fuzzyml; + +import org.apache.manifoldcf.core.interfaces.*; +import org.apache.manifoldcf.core.system.ManifoldCF; + +import java.io.*; +import java.util.*; +import org.junit.*; + +/** Test fuzzyml parser */ +public class TestFuzzyML +{ + + protected final static String fuzzyTestString = +" \n"+ +" fme File Exchange Plattform – Austausch mit Externen leichtgemacht\n"+ +" http://blog.fme.de/allgemein/2013-07/fme-file-exchange-plattform-austausch-mit-externen-leichtgemacht\n"+ +" http://blog.fme.de/allgemein/2013-07/fme-file-exchange-plattform-austausch-mit-externen-leichtgemacht#comments\n"+ +" Thu, 18 Jul 2013 07:39:03 +0000\n"+ +" Jan Pfitzner\n"+ +" \n"+ +" \n"+ +" \n"+ +" \n"+ +" \n"+ +" \n"+ +" \n"+ +"\n"+ +" http://blog.fme.de/?p=1806\n"+ +" \n"+ +" Der Austausch von Dokumenten mit Partnern, Agenturen oder auch Kunden ist aus Sicht der Unternehmens-IT immer noch ein oft problematisches Feld. Der Austausch von großen Dateimengen per Mail “bläht” die Postfächer unnötig auf und führt zu ineffizienten Prozessen (“welche Version ist noch aktuell?”). Die von den Endanwendern in Eigenverantwortung oft gewählte Cloud-Alternative – die Nutzung von Cloud-basierten File-Sharing-Diensten wie Dropbox, Google Drive & Co – ist und bleibt nicht erst seit #Prism ein “Schreckgespenst” für viele CIOs. Die fme file Exchange Plattform bietet eine compliance- und integrationsfähige Alternative.

\n"+ +"

Die typischen Anforderungen an eine Dateiaustauschplattform lassen sich in der folgenden Form zusammenfassen:

\n"+ +"

Als Mitarbeiter des Unternehmens möchte ich…

\n"+ +"
    \n"+ +"
  • mich mit meinem Standard-Unternehmens-Account anmelden können, am besten per SSO,
    • \n"+ +"
  • Sammlungen von Dateien mit externen Benutzern austauschen,
    • \n"+ +"
  • angeben können, welche Benutzer lesend oder schreibend auf die Dateien zugreifen können,
    • \n"+ +"
  • Dokumente vom lokalen PC oder dem internen Dokumenten-Management-System hochladen/auswählen können,
    • \n"+ +"
  • weitere Dateien zu einer Dateisammlung hinzufügen und vorhandene aktualisieren oder löschen können und
    • \n"+ +"
  • die Benutzer automatisch benachrichtigen, wenn neue oder geänderte Dateien vorhanden sind.
    • \n"+ +"
\n"+ +"

\n"+ +"

Als externer Benutzer möchte ich…

\n"+ +"
    \n"+ +"
  • mich einfach im System registrieren können,
    • \n"+ +"
  • vom System benachrichtigt werden, wenn ein anderer Benutzer neue Dateien für mich bereitgestellt hat und
    • \n"+ +"
  • auf die für mich freigegeben Dateisammlungen einfach zugreifen können.
    • \n"+ +"
\n"+ +"

Als IT-Verantwortlicher möchte ich …

\n"+ +"
    \n"+ +"
  • dass das System in der eigenen DMZ betrieben werden kann,
    • \n"+ +"
  • dass jede Registrierung von einem Mitarbeiter meines Unternehmens – der Kontaktperson des Externen – freigeschaltet werden muss,
    • \n"+ +"
  • eine Übersicht über alle registrierten Benutzer und deren Dateisammlungen haben und dort jederzeit einzelne Dateien oder ganze Sammlungen löschen können,
    • \n"+ +"
  • dass freigebende Dateisammlungen nach einer konfigurierbaren Zeitspanne gelöscht werden und
    • \n"+ +"
  • verhindern, dass registrierte externe Benutzer das System missbrauchen, indem sie Dateien ohne Beteiligung eines Mitarbeiters austauschen.
    • \n"+ +"
\n"+ +"

Anhand dieser primären Anforderungen eines unserer Kunden haben wir auf Basis von Alfresco und einiger modernen Webtechnologien wie Bootstrap & AngularJS die fme File Exchange Plattform entwickelt:

\n"+ +"

\"\"

\n"+ +"

 

\n"+ +"

Alfresco dient in dieser Lösung vor allem als Content Repository inkl. der benötigten Basis -Funktionen wie Berechtigungen, Versionierung, Mailbenachrichtigungen, Dokumentenvorschau sowie Gruppen- & Benutzerverwaltung. Außerdem wird der Registrierungsmechanismus für die externen Benutzer über die in Alfresco integrierte Workflow-Engine Activiti umgesetzt.

\n"+ +"

Die Benutzungsoberfläche der Applikation ist in Form einer Single Page Webapplikation auf Basis der beiden Frameworks AngularJS (http://angularjs.org/) & Bootstrap (http://twitter.github.io/bootstrap/) implementiert.

\n"+ +"

Die Kommunikation zwischen diesem JavaScript-Frontend und dem Alfresco-Backend ist mittels sog. Alfresco WebScripts umgesetzt. Das Alfresco WebScript-Framework ist eines der größten Vorteile von Alfresco und ermöglicht die Implementierung einer eigenen auf Anwendungsfall angepassten REST API.

\n"+ +"

Aus der Sicht des Anwenders teilt sich die Applikation in die folgenden, beiden Komponenten:

\n"+ +"

New File Collection

\n"+ +"

Hier haben die Mitarbeiter des Unternehmens die Möglichkeit, eine neue Dateisammlung zum Austausch zu erstellen. Zur Erstellung einer neuen Dateisammlung sind lediglich die folgenden Informationen notwendig:

\n"+ +"
    \n"+ +"
  1. Name der Dateisammlung.
    2. \n"+ +"
  2. Berechtigte Benutzer – lesend oder schreibend
    3. \n"+ +"
  3. Die Dateien, die hochgeladen werden sollen
    4. \n"+ +"
\n"+ +"

Um diesen Erstellungsprozess so intuitiv & komfortabel wie möglich zu halten, wurde zur Benutzerauswahl ein Eingabefeld inkl. einer Autovervollständigung anhand der vorhandenen Benutzerkonten eingesetzt.

\n"+ +"

Zum einfachen Hinzufügen von Dateien vom PC des Benutzers wird neben der üblichen Dateiauswahl auch ein direktes Drag&Drop unterstützt.

\n"+ +"

Während des Hochladevorgangs der Dateien ist der Benutzer durch den Einsatz von Fortschrittsbalken jederzeit über den aktuellen Fortschritt des Uploads informiert.

\n"+ +"

Mit Abschluss des Hochladevorgangs werden die berechtigten Benutzer vom System per Mail über die neue Dateisammlung informiert.

\n"+ +"

\"\"

\n"+ +"

 

\n"+ +"

My File Collections

\n"+ +"

Im Bereich „My File Collection” hat der angemeldete Benutzer einen direkten und einfachen Zugriff auf die Dateisammlungen, für die er berechtigt ist. Je nach vergebener Berechtigung kann der Benutzer die enthaltenen Dateien herunterladen, aktualisieren & löschen oder aber auch neue Dokumente hochladen und Ordner erstellen.

\n"+ +"

Zudem kann der Ersteller einer Dateisammlung oder ein Administrator die Sammlung für weitere Benutzer freigeben bzw. Freigaben zurücknehmen und die automatische Ablauffrist einer Dateisammlung aktivieren bzw. deaktivieren.

\n"+ +"

 

\n"+ +"

\"\"

\n"+ +"

 

\n"+ +"

Fazit

\n"+ +"

Die Kombination von Alfresco, AngularJS & Bootstrap hat sich während der Lösungsentwicklung als wunderbar harmonierende und sehr produktive Kombination zur Entwicklung von eigenen dokumentenorientieren Webapplikationen erwiesen.

\n"+ +"

Die Nutzung dieser erprobten Werkzeuge bringt zudem die Unterstützung von Webbrowsers mobiler Geräte nahezu zum Nulltarif mit. So ist die Bedienung der Anwendung mit einem iPad oder iPhone problemlos möglich und bspw. das einfache Bereitstellen der Fotografien vom Flipchart aus dem gerade beendeten Workshop schnell & einfach erledigt.

\n"+ +"

Die Lösung zeigt einmal mehr, dass es neben der Konfiguration & Anpassung eines Standard-Clients immer auch eine zweite zu betrachtende Variante gibt:

\n"+ +"

Die Implementierung eines eigenen Clients anhand von best-of-breed Technologien, wie in diesem Beispiel zur vollsten Kundenzufriedenheit gezeigt.

\n"+ +"

 

\n"+ +"]]>\n"+ +" http://blog.fme.de/allgemein/2013-07/fme-file-exchange-plattform-austausch-mit-externen-leichtgemacht/feed\n"+ +" 0\n"+ +" \n"+ +" \n"+ +" migration-center vs. EMC’s EMA – the main differences\n"+ +" http://blog.fme.de/allgemein/2013-07/migration-center-vs-emcs-ema-the-main-differences\n"+ +" http://blog.fme.de/allgemein/2013-07/migration-center-vs-emcs-ema-the-main-differences#comments\n"+ +" Thu, 04 Jul 2013 09:30:09 +0000\n"+ +" fpiaszyk\n"+ +" \n"+ +" \n"+ +" \n"+ +" \n"+ +" \n"+ +" \n"+ +" \n"+ +" \n"+ +" \n"+ +" \n"+ +"\n"+ +" http://blog.fme.de/?p=1793\n"+ +" \n"+ +" \"\"

\n"+ +"

EMA is NOT an out-of-the-box product, it’s a tool set (framework) that ONLY the Documentum Professional Services Team uses. This tool is exclusively available through EMC IIG Services. Once the engagement is over, EMA leaves with the team and cannot be used for additional migrations. Partners and customers are not able to use EMA without IIG Consulting in a project because EMA bypasses the API (DFC).

\n"+ +"

The main use case for EMA is the high speed cloning from Oracle based on-premise Documentum installations to MS SQL Server based off-premise (EMC onDemand) installations. For this approach a simple dump&load is not feasible and a tool for cloning is needed. In addition EMC addressed some other use cases at EMC World 2013 like version upgrades (DCM to D2 life sciences and Webtop to D2 or xCP) and third-party migrations.

\n"+ +"

 

\n"+ +"

Speed vs. Business Requirements and methodology

\n"+ +"

Cloning or a 1:1 migration of all objects located in a repository without reorganization and clean-up has no additional business value, the result is just a new platform and/or version (garbage in, garbage out). With EMA, changes on business requirements can not be applied easily during the migration (e.g. new metadata, new object types, business logic etc.). The results of the actual migration can not be discussed with the business department before the content is imported in the target system. If needed, duplicates can not be dictated and managed. And furthermore it is not possible to apply changes during the project with just a few clicks of the mouse as you could with migration-center.

\n"+ +"

\n"+ +"

migration-center is designed for administrators to support them in all phases of a migration project and not just during the import. Over the last eight years migration-center has been developed together with our partners and customers into a product which integrates a full project methodology and all essential capabilities for the different steps during a project. Today migration-center is not only a product but rather a migration platform which covers numerous migration scenarios.

\n"+ +"

 

\n"+ +"

Summary

\n"+ +"

Unlike EMC’s EMA migration-center is an out-of-the box product and comes with a user-friendly user interface, full maintenance and support as well as regular updates. The product has been EMC certified since 2005 and is a proven migration platform for any type of platform independent content migration. migration-center has proven its quality in more than 130 projects around the world, especially within regulated environments. The product may be either leased or purchased by customers, partners or other preferred system integrators. migration-center is scalable because of the open architecture which is designed for large migrations without interrupting daily business operations. It reaches the maximum performance of the source and target systems without any restrictions. A large variety of algorithms and commands are available to meet all migration requirements without additional programming or scripting effort.

\n"+ +"

migration-center’s abilities will make a positive difference in your business if you are challenged with migrating enterprise content. Convince yourself and let us demonstrate your data working within migration-center in just a couple of days before you lease or buy the whole product.

\n"+ +"

 

\n"+ +"

Benefits of using migration-center instead of EMA

\n"+ +"

• No service engagement with EMC IIG Services required

\n"+ +"

• migration-center is a proven product since 2005 and was used in more than 130 projects around the world

\n"+ +"

• It is a full function, out-of-the-box software, fully documented, easy to deploy, with an excellent graphical user interface

\n"+ +"

• Product and migration project support available

\n"+ +"

• NO DOWNTIME – It works without interrupting any of your normal business operations because of the delta migration capability

\n"+ +"

• The software is designed to efficiently move and classify large volumes of documents into the chosen target repository (up to 1 million documents per day with just a single process)

\n"+ +"

• A large variety of algorithms and commands are available to create a very specific mapping and transformation logic, covering every migration requirement possible and all this without additional programming or scripting effort

\n"+ +"

• migration-center is able to apply the business logic of highly customized applications (e.g. D2, TBOs, server methods etc.)

\n"+ +"

• Complete rule simulation and error handling are provided, allowing in depth testing of transformation rules before committing content to the actual repository import

\n"+ +"

• The migration-center grants more than 55 out-of-the-box connections from various source to various target systems

\n"+ +"

• migration-center supports Documentum versions from 4i to D7

\n"+ +"

• migration-center reflects proven migration methodology in its step-by-step processes

\n"+ +"

• migration-center has been validated and approved by many companies in regulated environments, e.g. international pharmaceutical players

\n"+ +"

• The migration-center pricing model is simple and very flexible

\n"+ +"

• Through its enormous flexibility the migration-center may be deployed for a variety of migration scenarios

\n"+ +"

• With our international partners we offer customer product training as well as complete implementation by highly competent professionals

\n"+ +"

• migration-center is much more them a simple ETL tool

\n"+ +"

• migration-center offers a variety of proven pre-confugure services

\n"+ +"

 

\n"+ +"

 

\n"+ +"

 

\n"+ +"

 

\n"+ +"

 

\n"+ +"]]>\n"+ +" http://blog.fme.de/allgemein/2013-07/migration-center-vs-emcs-ema-the-main-differences/feed\n"+ +" 0\n"+ +" \n" +; + + @Test + public void testFailure() + throws IOException, ManifoldCFException + { + InputStream is = new ByteArrayInputStream(fuzzyTestString.getBytes("utf-8")); + Parser p = new Parser(); + // Parse the document. This will cause various things to occur, within the instantiated XMLParsingContext class. + XMLFuzzyHierarchicalParseState x = new XMLFuzzyHierarchicalParseState(); + //OuterContextClass c = new OuterContextClass(x,documentIdentifier,activities,filter); + //x.setContext(c); + try + { + // Believe it or not, there are no parsing errors we can get back now. + p.parseWithCharsetDetection(null,is,x); + } + finally + { + x.cleanup(); + } + } + +} Propchange: manifoldcf/trunk/framework/core/src/test/java/org/apache/manifoldcf/core/fuzzyml/TestFuzzyML.java ------------------------------------------------------------------------------ svn:eol-style = native Propchange: manifoldcf/trunk/framework/core/src/test/java/org/apache/manifoldcf/core/fuzzyml/TestFuzzyML.java ------------------------------------------------------------------------------ svn:keywords = Id