Line data Source code
1 : /* -*- Mode: C++; tab-width: 4; indent-tabs-mode: nil; c-basic-offset: 4 -*- */
2 : /*
3 : * This file is part of the LibreOffice project.
4 : *
5 : * This Source Code Form is subject to the terms of the Mozilla Public
6 : * License, v. 2.0. If a copy of the MPL was not distributed with this
7 : * file, You can obtain one at http://mozilla.org/MPL/2.0/.
8 : *
9 : * This file incorporates work covered by the following license notice:
10 : *
11 : * Licensed to the Apache Software Foundation (ASF) under one or more
12 : * contributor license agreements. See the NOTICE file distributed
13 : * with this work for additional information regarding copyright
14 : * ownership. The ASF licenses this file to you under the Apache
15 : * License, Version 2.0 (the "License"); you may not use this file
16 : * except in compliance with the License. You may obtain a copy of
17 : * the License at http://www.apache.org/licenses/LICENSE-2.0 .
18 : */
19 :
20 : /*************************************************************************
21 :
22 : Weighted Levenshtein Distance
23 : including wildcards
24 : '*' for any number (0 or more) of arbitrary characters
25 : '?' for exactly one arbitrary character
26 : escapeable with backslash, "\*" or "\?"
27 :
28 : Return:
29 : WLD if WLD <= nLimit, else nLimit+1
30 :
31 : or, if bSplitCount:
32 : WLD if WLD <= nLimit
33 : -WLD if Replace and Insert and Delete <= nLimit
34 : else nLimit+1
35 :
36 : Recursive definition of WLD:
37 :
38 : WLD( X(i), Y(j) ) = min( WLD( X(i-1), Y(j-1) ) + p(i,j) ,
39 : WLD( X(i) , Y(j-1) ) + q ,
40 : WLD( X(i-1), Y(j) ) + r )
41 :
42 : X(i) := the first i characters of the word X
43 : Y(j) := the first j characters of the word Y
44 : p(i,j) := 0 if i-th character of X == j-th character of Y,
45 : p else
46 :
47 : Boundary conditions:
48 : WLD( X(0), Y(j) ) := j*q (Y created by j inserts)
49 : WLD( X(i), Y(0) ) := i*r (Y created by i deletes)
50 : WLD( X(0), Y(0) ) := 0
51 :
52 : Instead of recursions a dynamic algorithm is used.
53 :
54 : See also: German computer magazine
55 : c't 07/89 pages 192-208 and c't 03/94 pages 230-239
56 :
57 : *************************************************************************/
58 :
59 :
60 : #include <string.h> // strlen()
61 :
62 : #if defined( _MSC_VER )
63 : #pragma warning(once: 4068)
64 : #endif
65 :
66 : #include "levdis.hxx"
67 :
68 : #ifdef SOLARIS
69 : #undef min
70 : #endif
71 :
72 : #define LEVDISBIG (nLimit + 1) // Returnwert wenn Distanz > nLimit
73 : #define LEVDISDOUBLEBUF 2048 // dadrueber wird nicht mehr gedoppelt
74 :
75 : // Balance, aus Geschwindigkeitsgruenden ist dieses keine Funktion
76 : // c == cpPattern[jj] == cString[ii]
77 : // erst wird bis Fundstelle gesucht, wenn dort die Balance gleich ist, wird
78 : // auch nach der Fundstelle verglichen
79 : #define LEVDISBALANCE(jj,ii) \
80 : { \
81 : if ( jj != ii ) \
82 : { \
83 : register sal_Int32 k; \
84 : if ( jj > 0 ) \
85 : for ( k=0; k < jj; k++ ) \
86 : if ( cpPattern[k] == c ) \
87 : nBalance++; \
88 : if ( ii > 0 ) \
89 : for ( k=0; k < ii; k++ ) \
90 : if ( cString[k] == c ) \
91 : nBalance--; \
92 : if ( !nBalance ) \
93 : { \
94 : for ( k=jj+1; k < nPatternLen; k++ ) \
95 : if ( cpPattern[k] == c ) \
96 : nBalance++; \
97 : for ( k=ii+1; k < nStringLen; k++ ) \
98 : if ( cString[k] == c ) \
99 : nBalance--; \
100 : } \
101 : } \
102 : }
103 :
104 0 : static sal_Int32 Impl_WLD_StringLen( const sal_Unicode* pStr )
105 : {
106 0 : const sal_Unicode* pTempStr = pStr;
107 0 : while( *pTempStr )
108 0 : pTempStr++;
109 0 : return (sal_Int32)(pTempStr-pStr);
110 : }
111 :
112 : // Distanz von String zu Pattern
113 0 : int WLevDistance::WLD( const sal_Unicode* cString, sal_Int32 nStringLen )
114 : {
115 0 : int nSPMin = 0; // StrafPunkteMinimum
116 0 : int nRepS = 0; // fuer SplitCount
117 :
118 : // Laengendifferenz von Pattern und String
119 0 : int nLenDiff = nPatternLen - nStars - nStringLen;
120 : // mehr Einfuegungen oder Loeschungen noetig als Limit? => raus hier
121 0 : if ( (nLenDiff * nInsQ0 > nLimit)
122 : || ((nStars == 0) && (nLenDiff * nDelR0 < -nLimit)) )
123 0 : return(LEVDISBIG);
124 :
125 : // wenn der zu vergleichende String groesser ist als das bisherige Array
126 : // muss dieses angepasst werden
127 0 : if ( nStringLen >= nArrayLen )
128 : {
129 : // gib ihm moeglichst mehr, damit nicht gleich naechstesmal
130 : // wieder realloziert werden muss
131 0 : if ( nStringLen < LEVDISDOUBLEBUF )
132 0 : nArrayLen = 2 * nStringLen;
133 : else
134 0 : nArrayLen = nStringLen + 1;
135 0 : npDistance = aDisMem.NewMem( nArrayLen );
136 : }
137 :
138 : // Anfangswerte der zweiten Spalte (erstes Pattern-Zeichen) berechnen
139 : // die erste Spalte (0-Len Pattern) ist immer 0 .. nStringLen * nInsQ0,
140 : // deren Minimum also 0
141 0 : if ( nPatternLen == 0 )
142 : {
143 : // Anzahl der Loeschungen, um auf Pattern zu kommen
144 0 : for ( sal_Int32 i=0; i <= nStringLen; i++ )
145 0 : npDistance[i] = i * nDelR0;
146 : }
147 0 : else if ( cpPattern[0] == '*' && bpPatIsWild[0] )
148 : {
149 : // statt einem '*' ist alles einsetzbar
150 0 : for ( sal_Int32 i=0; i <= nStringLen; i++ )
151 0 : npDistance[i] = 0;
152 : }
153 : else
154 : {
155 : sal_Unicode c;
156 : int nP;
157 0 : c = cpPattern[0];
158 0 : if ( c == '?' && bpPatIsWild[0] )
159 0 : nP = 0; // ein '?' kann jedes Zeichen sein
160 : else
161 : // Minimum von Ersetzen und Loeschen+Einfuegen Gewichtung
162 0 : nP = Min3( nRepP0, nRepP0, nDelR0 + nInsQ0 );
163 0 : npDistance[0] = nInsQ0; // mit einfachem Einfuegen geht's los
164 0 : npDistance[1] = nInsQ0;
165 0 : npDistance[2] = nInsQ0;
166 0 : int nReplacePos = -1; // tristate Flag
167 0 : int nDelCnt = 0;
168 0 : for ( sal_Int32 i=1; i <= nStringLen; i++, nDelCnt += nDelR0 )
169 : {
170 0 : if ( cString[i-1] == c )
171 0 : nP = 0; // Replace ab dieser Stelle ist 0
172 : // Loeschungen um auf Pattern zu kommen + Replace
173 0 : npDistance[i] = nDelCnt + nP;
174 0 : if ( bSplitCount )
175 : {
176 0 : if ( nReplacePos < 0 && nP )
177 : { // diese Stelle wird ersetzt
178 0 : nRepS++;
179 0 : nReplacePos = i;
180 : }
181 0 : else if ( nReplacePos > 0 && !nP )
182 : {
183 0 : int nBalance = 0; // gleiche Anzahl c
184 0 : LEVDISBALANCE( 0, i-1 );
185 0 : if ( !nBalance )
186 : { // einer wurde ersetzt, der ein Insert war
187 0 : nRepS--;
188 0 : nReplacePos = 0;
189 : }
190 : }
191 : }
192 : }
193 0 : nSPMin = Min3( npDistance[0], npDistance[1], npDistance[2] );
194 : }
195 :
196 : // Distanzmatrix berechnen
197 0 : sal_Int32 j = 0; // fuer alle Spalten des Pattern, solange nicht Limit
198 0 : while ( (j < nPatternLen-1)
199 : && nSPMin <= (bSplitCount ? 2 * nLimit : nLimit) )
200 : {
201 : sal_Unicode c;
202 : int nP, nQ, nR, nPij, d1, d2;
203 :
204 0 : j++;
205 0 : c = cpPattern[j];
206 0 : if ( bpPatIsWild[j] ) // '*' oder '?' nicht escaped
207 0 : nP = 0; // kann ohne Strafpunkte ersetzt werden
208 : else
209 0 : nP = nRepP0;
210 0 : if ( c == '*' && bpPatIsWild[j] )
211 : {
212 0 : nQ = 0; // Einfuegen und Loeschen ohne Strafpunkte
213 0 : nR = 0;
214 : }
215 : else
216 : {
217 0 : nQ = nInsQ0; // normale Gewichtung
218 0 : nR = nDelR0;
219 : }
220 0 : d2 = npDistance[0];
221 : // Anzahl Einfuegungen um von Null-String auf Pattern zu kommen erhoehen
222 0 : npDistance[0] = npDistance[0] + nQ;
223 0 : nSPMin = npDistance[0];
224 0 : int nReplacePos = -1; // tristate Flag
225 : // fuer jede Patternspalte den String durchgehen
226 0 : for ( register sal_Int32 i=1; i <= nStringLen; i++ )
227 : {
228 0 : d1 = d2; // WLD( X(i-1), Y(j-1) )
229 0 : d2 = npDistance[i]; // WLD( X(i) , Y(j-1) )
230 0 : if ( cString[i-1] == c )
231 : {
232 0 : nPij = 0; // p(i,j)
233 0 : if ( nReplacePos < 0 )
234 : {
235 0 : int nBalance = 0; // gleiche Anzahl c
236 0 : LEVDISBALANCE( j, i-1 );
237 0 : if ( !nBalance )
238 0 : nReplacePos = 0; // keine Ersetzung mehr
239 : }
240 : }
241 : else
242 0 : nPij = nP;
243 : // WLD( X(i), Y(j) ) = min( WLD( X(i-1), Y(j-1) ) + p(i,j) ,
244 : // WLD( X(i) , Y(j-1) ) + q ,
245 : // WLD( X(i-1), Y(j) ) + r )
246 0 : npDistance[i] = Min3( d1 + nPij, d2 + nQ, npDistance[i-1] + nR );
247 0 : if ( npDistance[i] < nSPMin )
248 0 : nSPMin = npDistance[i];
249 0 : if ( bSplitCount )
250 : {
251 0 : if ( nReplacePos < 0 && nPij && npDistance[i] == d1 + nPij )
252 : { // diese Stelle wird ersetzt
253 0 : nRepS++;
254 0 : nReplacePos = i;
255 : }
256 0 : else if ( nReplacePos > 0 && !nPij )
257 : { // Zeichen in String und Pattern gleich.
258 : // wenn ab hier die gleiche Anzahl dieses Zeichens
259 : // sowohl in Pattern als auch in String ist, und vor
260 : // dieser Stelle das Zeichen gleich oft vorkommt, war das
261 : // Replace keins. Buchstabendreher werden hier erfasst
262 : // und der ReplaceS zurueckgenommen, wodurch das doppelte
263 : // Limit zum Tragen kommt.
264 0 : int nBalance = 0; // gleiche Anzahl c
265 0 : LEVDISBALANCE( j, i-1 );
266 0 : if ( !nBalance )
267 : { // einer wurde ersetzt, der ein Insert war
268 0 : nRepS--;
269 0 : nReplacePos = 0;
270 : }
271 : }
272 : }
273 : }
274 : }
275 0 : if ( (nSPMin <= nLimit) && (npDistance[nStringLen] <= nLimit) )
276 0 : return(npDistance[nStringLen]);
277 : else
278 : {
279 0 : if ( bSplitCount )
280 : {
281 0 : if ( nRepS && nLenDiff > 0 )
282 0 : nRepS -= nLenDiff; // Inserts wurden mitgezaehlt
283 0 : if ( (nSPMin <= 2 * nLimit)
284 0 : && (npDistance[nStringLen] <= 2 * nLimit)
285 : && (nRepS * nRepP0 <= nLimit) )
286 0 : return( -npDistance[nStringLen] );
287 0 : return(LEVDISBIG);
288 : }
289 0 : return(LEVDISBIG);
290 : }
291 : }
292 :
293 :
294 :
295 : // Berechnung von nLimit, nReplP0, nInsQ0, nDelR0, bSplitCount
296 : // aus Userwerten nOtherX, nShorterY, nLongerZ, bRelaxed
297 0 : int WLevDistance::CalcLPQR( int nX, int nY, int nZ, bool bRelaxed )
298 : {
299 0 : if ( nX < 0 ) nX = 0; // nur positive Werte
300 0 : if ( nY < 0 ) nY = 0;
301 0 : if ( nZ < 0 ) nZ = 0;
302 0 : if (0 == Min3( nX, nY, nZ )) // mindestens einer 0
303 : {
304 : int nMid, nMax;
305 0 : nMax = Max3( nX, nY, nZ ); // entweder 0 bei drei 0 oder Max
306 0 : if ( 0 == (nMid = Mid3( nX, nY, nZ )) ) // sogar zwei 0
307 0 : nLimit = nMax; // entweder 0 oder einziger >0
308 : else // einer 0
309 0 : nLimit = KGV( nMid, nMax );
310 : }
311 : else // alle drei nicht 0
312 0 : nLimit = KGV( KGV( nX, nY ), nZ );
313 0 : nRepP0 = ( nX ? nLimit / nX : nLimit + 1 );
314 0 : nInsQ0 = ( nY ? nLimit / nY : nLimit + 1 );
315 0 : nDelR0 = ( nZ ? nLimit / nZ : nLimit + 1 );
316 0 : bSplitCount = bRelaxed;
317 0 : return( nLimit );
318 : }
319 :
320 :
321 :
322 : // Groesster Gemeinsamer Teiler nach Euklid (Kettendivision)
323 : // Sonderfall: 0 und irgendwas geben 1
324 0 : int WLevDistance::GGT( int a, int b )
325 : {
326 0 : if ( !a || !b )
327 0 : return 1;
328 0 : if ( a < 0 ) a = -a;
329 0 : if ( b < 0 ) b = -b;
330 0 : do
331 : {
332 0 : if ( a > b )
333 0 : a -= int(a / b) * b;
334 : else
335 0 : b -= int(b / a) * a;
336 : } while ( a && b );
337 0 : return( a ? a : b);
338 : }
339 :
340 :
341 :
342 : // Kleinstes Gemeinsames Vielfaches: a * b / GGT(a,b)
343 0 : int WLevDistance::KGV( int a, int b )
344 : {
345 0 : if ( a > b ) // Ueberlauf unwahrscheinlicher machen
346 0 : return( (a / GGT(a,b)) * b );
347 : else
348 0 : return( (b / GGT(a,b)) * a );
349 : }
350 :
351 :
352 : // Minimum von drei Werten
353 0 : inline int WLevDistance::Min3( int x, int y, int z )
354 : {
355 0 : if ( x < y )
356 0 : return( x < z ? x : z );
357 : else
358 0 : return( y < z ? y : z );
359 : }
360 :
361 :
362 :
363 : // mittlerer von drei Werten
364 0 : int WLevDistance::Mid3( int x, int y, int z )
365 : {
366 0 : int min = Min3(x,y,z);
367 0 : if ( x == min )
368 0 : return( y < z ? y : z);
369 0 : else if ( y == min )
370 0 : return( x < z ? x : z);
371 : else // z == min
372 0 : return( x < y ? x : y);
373 : }
374 :
375 :
376 :
377 : // Maximum von drei Werten
378 0 : int WLevDistance::Max3( int x, int y, int z )
379 : {
380 0 : if ( x > y )
381 0 : return( x > z ? x : z );
382 : else
383 0 : return( y > z ? y : z );
384 : }
385 :
386 :
387 :
388 : // Daten aus CTor initialisieren
389 0 : void WLevDistance::InitData( const sal_Unicode* cPattern )
390 : {
391 0 : cpPattern = aPatMem.GetcPtr();
392 0 : bpPatIsWild = aPatMem.GetbPtr();
393 0 : npDistance = aDisMem.GetPtr();
394 0 : nStars = 0;
395 0 : const sal_Unicode* cp1 = cPattern;
396 0 : sal_Unicode* cp2 = cpPattern;
397 0 : bool* bp = bpPatIsWild;
398 : // Pattern kopieren, Sternchen zaehlen, escaped Jokers
399 0 : while ( *cp1 )
400 : {
401 0 : if ( *cp1 == '\\' ) // maybe escaped
402 : {
403 0 : if ( *(cp1+1) == '*' || *(cp1+1) == '?' ) // naechstes Joker?
404 : {
405 0 : cp1++; // skip '\\'
406 0 : nPatternLen--;
407 : }
408 0 : *bp++ = false;
409 : }
410 0 : else if ( *cp1 == '*' || *cp1 == '?' ) // Joker
411 : {
412 0 : if ( *cp1 == '*' )
413 0 : nStars++; // Sternchenzaehler erhoehen
414 0 : *bp++ = true;
415 : }
416 : else
417 0 : *bp++ = false;
418 0 : *cp2++ = *cp1++;
419 : }
420 0 : *cp2 = '\0';
421 0 : }
422 :
423 :
424 0 : WLevDistance::WLevDistance( const sal_Unicode* cPattern,
425 : int nOtherX, int nShorterY, int nLongerZ,
426 : bool bRelaxed ) :
427 0 : nPatternLen( Impl_WLD_StringLen(cPattern) ),
428 : aPatMem( nPatternLen + 1 ),
429 : nArrayLen( nPatternLen + 1 ),
430 0 : aDisMem( nArrayLen )
431 : {
432 0 : InitData( cPattern );
433 0 : CalcLPQR( nOtherX, nShorterY, nLongerZ, bRelaxed );
434 0 : }
435 :
436 :
437 : // CopyCTor
438 0 : WLevDistance::WLevDistance( const WLevDistance& rWLD ) :
439 : nPatternLen( rWLD.nPatternLen ),
440 : aPatMem( nPatternLen + 1 ),
441 : nArrayLen( nPatternLen + 1 ),
442 : aDisMem( nArrayLen ),
443 : nLimit( rWLD.nLimit ),
444 : nRepP0( rWLD.nRepP0 ),
445 : nInsQ0( rWLD.nInsQ0 ),
446 : nDelR0( rWLD.nDelR0 ),
447 : nStars( rWLD.nStars ),
448 0 : bSplitCount( rWLD.bSplitCount )
449 : {
450 0 : cpPattern = aPatMem.GetcPtr();
451 0 : bpPatIsWild = aPatMem.GetbPtr();
452 0 : npDistance = aDisMem.GetPtr();
453 : sal_Int32 i;
454 0 : for ( i=0; i<nPatternLen; i++ )
455 : {
456 0 : cpPattern[i] = rWLD.cpPattern[i];
457 0 : bpPatIsWild[i] = rWLD.bpPatIsWild[i];
458 : }
459 0 : cpPattern[i] = '\0';
460 0 : }
461 :
462 :
463 : // DTor
464 0 : WLevDistance::~WLevDistance()
465 : {
466 0 : }
467 :
468 : /* vim:set shiftwidth=4 softtabstop=4 expandtab: */
|
