Mailing-List: contact lucene-dev-help@jakarta.apache.org; run by ezmlm
Precedence: bulk
Reply-To: "Lucene Developers List" <lucene-dev@jakarta.apache.org>
Date: 17 Aug 2004 21:34:47 -0000
Message-ID: <20040817213447.77772.qmail@minotaur.apache.org>
From: dnaber@apache.org
To: jakarta-lucene-sandbox-cvs@apache.org
Subject: cvs commit:
 jakarta-lucene-sandbox/contributions/analyzers/src/java/org/apache/lucene/analysis/fr
 FrenchAnalyzer.java FrenchStemmer.java

dnaber      2004/08/17 14:34:47

  Modified:    contributions/analyzers/src/java/org/apache/lucene/analysis/fr
                        FrenchAnalyzer.java FrenchStemmer.java
  Log:
  trying to switch the encoding to utf-8
  
  Revision  Changes    Path
  1.8       +15 -15    jakarta-lucene-sandbox/contributions/analyzers/src/java/org/apache/lucene/analysis/fr/FrenchAnalyzer.java
  
  Index: FrenchAnalyzer.java
  ===================================================================
  RCS file: /home/cvs/jakarta-lucene-sandbox/contributions/analyzers/src/java/org/apache/lucene/analysis/fr/FrenchAnalyzer.java,v
  retrieving revision 1.7
  retrieving revision 1.8
  diff -u -r1.7 -r1.8
  --- FrenchAnalyzer.java	16 Aug 2004 20:42:59 -0000	1.7
  +++ FrenchAnalyzer.java	17 Aug 2004 21:34:47 -0000	1.8
  @@ -85,28 +85,28 @@
      * Extended list of typical french stopwords.
      */
     private String[] FRENCH_STOP_WORDS = {
  -    "a", "afin", "ai", "ainsi", "apr�s", "attendu", "au", "aujourd", "auquel", "aussi",
  +    "a", "afin", "ai", "ainsi", "après", "attendu", "au", "aujourd", "auquel", "aussi",
       "autre", "autres", "aux", "auxquelles", "auxquels", "avait", "avant", "avec", "avoir",
       "c", "car", "ce", "ceci", "cela", "celle", "celles", "celui", "cependant", "certain",
       "certaine", "certaines", "certains", "ces", "cet", "cette", "ceux", "chez", "ci",
       "combien", "comme", "comment", "concernant", "contre", "d", "dans", "de", "debout",
  -    "dedans", "dehors", "del�", "depuis", "derri�re", "des", "d�sormais", "desquelles",
  +    "dedans", "dehors", "delà", "depuis", "derrière", "des", "désormais", "desquelles",
       "desquels", "dessous", "dessus", "devant", "devers", "devra", "divers", "diverse",
  -    "diverses", "doit", "donc", "dont", "du", "duquel", "durant", "d�s", "elle", "elles",
  -    "en", "entre", "environ", "est", "et", "etc", "etre", "eu", "eux", "except�", "hormis",
  -    "hors", "h�las", "hui", "il", "ils", "j", "je", "jusqu", "jusque", "l", "la", "laquelle",
  -    "le", "lequel", "les", "lesquelles", "lesquels", "leur", "leurs", "lorsque", "lui", "l�",
  -    "ma", "mais", "malgr�", "me", "merci", "mes", "mien", "mienne", "miennes", "miens", "moi",
  -    "moins", "mon", "moyennant", "m�me", "m�mes", "n", "ne", "ni", "non", "nos", "notre",
  -    "nous", "n�anmoins", "n�tre", "n�tres", "on", "ont", "ou", "outre", "o�", "par", "parmi",
  -    "partant", "pas", "pass�", "pendant", "plein", "plus", "plusieurs", "pour", "pourquoi",
  -    "proche", "pr�s", "puisque", "qu", "quand", "que", "quel", "quelle", "quelles", "quels",
  -    "qui", "quoi", "quoique", "revoici", "revoil�", "s", "sa", "sans", "sauf", "se", "selon",
  +    "diverses", "doit", "donc", "dont", "du", "duquel", "durant", "dès", "elle", "elles",
  +    "en", "entre", "environ", "est", "et", "etc", "etre", "eu", "eux", "excepté", "hormis",
  +    "hors", "hélas", "hui", "il", "ils", "j", "je", "jusqu", "jusque", "l", "la", "laquelle",
  +    "le", "lequel", "les", "lesquelles", "lesquels", "leur", "leurs", "lorsque", "lui", "là",
  +    "ma", "mais", "malgré", "me", "merci", "mes", "mien", "mienne", "miennes", "miens", "moi",
  +    "moins", "mon", "moyennant", "même", "mêmes", "n", "ne", "ni", "non", "nos", "notre",
  +    "nous", "néanmoins", "nôtre", "nôtres", "on", "ont", "ou", "outre", "où", "par", "parmi",
  +    "partant", "pas", "passé", "pendant", "plein", "plus", "plusieurs", "pour", "pourquoi",
  +    "proche", "près", "puisque", "qu", "quand", "que", "quel", "quelle", "quelles", "quels",
  +    "qui", "quoi", "quoique", "revoici", "revoilà", "s", "sa", "sans", "sauf", "se", "selon",
       "seront", "ses", "si", "sien", "sienne", "siennes", "siens", "sinon", "soi", "soit",
       "son", "sont", "sous", "suivant", "sur", "ta", "te", "tes", "tien", "tienne", "tiennes",
       "tiens", "toi", "ton", "tous", "tout", "toute", "toutes", "tu", "un", "une", "va", "vers",
  -    "voici", "voil�", "vos", "votre", "vous", "vu", "v�tre", "v�tres", "y", "�", "�a", "�s",
  -    "�t�", "�tre", "�"
  +    "voici", "voilà", "vos", "votre", "vous", "vu", "vôtre", "vôtres", "y", "à", "ça", "ès",
  +    "été", "être", "ô"
     };
   
     /**
  
  
  
  1.3       +26 -26    jakarta-lucene-sandbox/contributions/analyzers/src/java/org/apache/lucene/analysis/fr/FrenchStemmer.java
  
  Index: FrenchStemmer.java
  ===================================================================
  RCS file: /home/cvs/jakarta-lucene-sandbox/contributions/analyzers/src/java/org/apache/lucene/analysis/fr/FrenchStemmer.java,v
  retrieving revision 1.2
  retrieving revision 1.3
  diff -u -r1.2 -r1.3
  --- FrenchStemmer.java	22 Jan 2004 20:54:47 -0000	1.2
  +++ FrenchStemmer.java	17 Aug 2004 21:34:47 -0000	1.3
  @@ -207,9 +207,9 @@
   		deleteFromIfTestVowelBeforeIn( R1, new String[] { "issements", "issement" }, false, R0 );
   		deleteFrom( RV, new String[] { "ements", "ement" } );
   
  -		deleteButSuffixFromElseReplace( R2, new String[] { "it�s", "it�" }, "abil", false, R0, "abl" );
  -		deleteButSuffixFromElseReplace( R2, new String[] { "it�s", "it�" }, "ic", false, R0, "iqU" );
  -		deleteButSuffixFrom( R2, new String[] { "it�s", "it�" }, "iv", true );
  +		deleteButSuffixFromElseReplace( R2, new String[] { "ités", "ité" }, "abil", false, R0, "abl" );
  +		deleteButSuffixFromElseReplace( R2, new String[] { "ités", "ité" }, "ic", false, R0, "iqU" );
  +		deleteButSuffixFrom( R2, new String[] { "ités", "ité" }, "iv", true );
   
   		String[] autre = { "ifs", "ives", "if", "ive" };
   		deleteButSuffixFromElseReplace( R2, autre, "icat", false, R0, "iqU" );
  @@ -246,11 +246,11 @@
   	 * @return boolean - true if something changed in the StringBuffer
   	 */
   	private boolean step2a() {
  -		String[] search = { "�mes", "�tes", "iraIent", "irait", "irais", "irai", "iras", "ira",
  +		String[] search = { "îmes", "îtes", "iraIent", "irait", "irais", "irai", "iras", "ira",
   							"irent", "iriez", "irez", "irions", "irons", "iront",
   							"issaIent", "issais", "issantes", "issante", "issants", "issant",
   							"issait", "issais", "issions", "issons", "issiez", "issez", "issent",
  -							"isses", "isse", "ir", "is", "�t", "it", "ies", "ie", "i" };
  +							"isses", "isse", "ir", "is", "ît", "it", "ies", "ie", "i" };
   		return deleteFromIfTestVowelBeforeIn( RV, search, false, RV );
   	}
   
  @@ -261,13 +261,13 @@
   	 */
   	private void step2b() {
   		String[] suffix = { "eraIent", "erais", "erait", "erai", "eras", "erions", "eriez",
  -							"erons", "eront","erez", "�rent", "era", "�es", "iez",
  -							"�e", "�s", "er", "ez", "�" };
  +							"erons", "eront","erez", "èrent", "era", "ées", "iez",
  +							"ée", "és", "er", "ez", "é" };
   		deleteFrom( RV, suffix );
   
   		String[] search = { "assions", "assiez", "assent", "asses", "asse", "aIent",
  -							"antes", "aIent", "Aient", "ante", "�mes", "�tes", "ants", "ant",
  -							"ait", "a�t", "ais", "Ait", "A�t", "Ais", "�t", "as", "ai", "Ai", "a" };
  +							"antes", "aIent", "Aient", "ante", "âmes", "âtes", "ants", "ant",
  +							"ait", "aît", "ais", "Ait", "Aît", "Ais", "ât", "as", "ai", "Ai", "a" };
   		deleteButSuffixFrom( RV, search, "e", true );
   
   		deleteFrom( R2, new String[] { "ions" } );
  @@ -286,7 +286,7 @@
   				sb.setCharAt( sb.length()-1, 'i' );
   				setStrings();
   			}
  -			else if (ch == '�')
  +			else if (ch == 'ç')
   			{
   				sb.setCharAt( sb.length()-1, 'c' );
   				setStrings();
  @@ -305,7 +305,7 @@
   			if (ch == 's')
   			{
   				char b = sb.charAt( sb.length()-2 );
  -				if (b != 'a' && b != 'i' && b != 'o' && b != 'u' && b != '�' && b != 's')
  +				if (b != 'a' && b != 'i' && b != 'o' && b != 'u' && b != 'è' && b != 's')
   				{
   					sb.delete( sb.length() - 1, sb.length());
   					setStrings();
  @@ -316,9 +316,9 @@
   		if (!found)
   		found = deleteFromIfPrecededIn( R2, new String[] { "ion" }, RV, "t" );
   
  -		replaceFrom( RV, new String[] { "I�re", "i�re", "Ier", "ier" }, "i" );
  +		replaceFrom( RV, new String[] { "Ière", "ière", "Ier", "ier" }, "i" );
   		deleteFrom( RV, new String[] { "e" } );
  -		deleteFromIfPrecededIn( RV, new String[] { "�" }, R0, "gu" );
  +		deleteFromIfPrecededIn( RV, new String[] { "ë" }, R0, "gu" );
   	}
   
   	/**
  @@ -353,7 +353,7 @@
   				{
   					if (!seenVowel)
   					{
  -						if (ch == '�' || ch == '�')
  +						if (ch == 'é' || ch == 'è')
   						{
   							pos = i;
   							break;
  @@ -567,18 +567,18 @@
   			case 'o':
   			case 'u':
   			case 'y':
  -			case '�':
  -			case '�':
  -			case '�':
  -			case '�':
  -			case '�':
  -			case '�':
  -			case '�':
  -			case '�':
  -			case '�':
  -			case '�':
  -			case '�':
  -			case '�':
  +			case 'â':
  +			case 'à':
  +			case 'ë':
  +			case 'é':
  +			case 'ê':
  +			case 'è':
  +			case 'ï':
  +			case 'î':
  +			case 'ô':
  +			case 'ü':
  +			case 'ù':
  +			case 'û':
   				return true;
   			default:
   				return false;
  
  
  

---------------------------------------------------------------------
To unsubscribe, e-mail: lucene-dev-unsubscribe@jakarta.apache.org
For additional commands, e-mail: lucene-dev-help@jakarta.apache.org