Line data Source code
1 : /* -*- Mode: C++; tab-width: 4; indent-tabs-mode: nil; c-basic-offset: 4 -*- */
2 : /*
3 : * This file is part of the LibreOffice project.
4 : *
5 : * This Source Code Form is subject to the terms of the Mozilla Public
6 : * License, v. 2.0. If a copy of the MPL was not distributed with this
7 : * file, You can obtain one at http://mozilla.org/MPL/2.0/.
8 : *
9 : * This file incorporates work covered by the following license notice:
10 : *
11 : * Licensed to the Apache Software Foundation (ASF) under one or more
12 : * contributor license agreements. See the NOTICE file distributed
13 : * with this work for additional information regarding copyright
14 : * ownership. The ASF licenses this file to you under the Apache
15 : * License, Version 2.0 (the "License"); you may not use this file
16 : * except in compliance with the License. You may obtain a copy of
17 : * the License at http://www.apache.org/licenses/LICENSE-2.0 .
18 : */
19 :
20 : #ifndef _LEX_HXX
21 : #define _LEX_HXX
22 :
23 : #include <boost/ptr_container/ptr_vector.hpp>
24 :
25 : #include <hash.hxx>
26 : #include <tools/gen.hxx>
27 : #include <tools/stream.hxx>
28 :
29 : enum SVTOKEN_ENUM { SVTOKEN_EMPTY, SVTOKEN_COMMENT,
30 : SVTOKEN_INTEGER, SVTOKEN_STRING,
31 : SVTOKEN_BOOL, SVTOKEN_IDENTIFIER,
32 : SVTOKEN_CHAR, SVTOKEN_RTTIBASE,
33 : SVTOKEN_EOF, SVTOKEN_HASHID };
34 :
35 803808 : class SvToken
36 : {
37 : friend class SvTokenStream;
38 : sal_uLong nLine, nColumn;
39 : SVTOKEN_ENUM nType;
40 : rtl::OString aString;
41 : union
42 : {
43 : sal_uLong nLong;
44 : sal_Bool bBool;
45 : char cChar;
46 : SvStringHashEntry * pHash;
47 : };
48 : public:
49 : SvToken();
50 : SvToken( const SvToken & rObj );
51 : SvToken( sal_uLong n );
52 : SvToken( SVTOKEN_ENUM nTypeP, sal_Bool b );
53 : SvToken( char c );
54 : SvToken( SVTOKEN_ENUM nTypeP, const rtl::OString& rStr );
55 : SvToken( SVTOKEN_ENUM nTypeP );
56 :
57 : SvToken & operator = ( const SvToken & rObj );
58 :
59 : rtl::OString GetTokenAsString() const;
60 : SVTOKEN_ENUM GetType() const { return nType; }
61 :
62 803808 : void SetLine( sal_uLong nLineP ) { nLine = nLineP; }
63 15075 : sal_uLong GetLine() const { return nLine; }
64 :
65 803808 : void SetColumn( sal_uLong nColumnP ) { nColumn = nColumnP; }
66 5025 : sal_uLong GetColumn() const { return nColumn; }
67 :
68 8 : sal_Bool IsEmpty() const { return nType == SVTOKEN_EMPTY; }
69 803808 : sal_Bool IsComment() const { return nType == SVTOKEN_COMMENT; }
70 20346 : sal_Bool IsInteger() const { return nType == SVTOKEN_INTEGER; }
71 1143 : sal_Bool IsString() const { return nType == SVTOKEN_STRING; }
72 107912 : sal_Bool IsBool() const { return nType == SVTOKEN_BOOL; }
73 10037457 : sal_Bool IsIdentifierHash() const
74 10037457 : { return nType == SVTOKEN_HASHID; }
75 236774 : sal_Bool IsIdentifier() const
76 : {
77 : return nType == SVTOKEN_IDENTIFIER
78 236774 : || nType == SVTOKEN_HASHID;
79 : }
80 694161 : sal_Bool IsChar() const { return nType == SVTOKEN_CHAR; }
81 : sal_Bool IsRttiBase() const { return nType == SVTOKEN_RTTIBASE; }
82 1601301 : sal_Bool IsEof() const { return nType == SVTOKEN_EOF; }
83 :
84 2841429 : const rtl::OString& GetString() const
85 : {
86 2841429 : return IsIdentifierHash()
87 2070 : ? pHash->GetName()
88 2843499 : : aString;
89 : }
90 19268 : sal_uLong GetNumber() const { return nLong; }
91 99901 : sal_Bool GetBool() const { return bBool; }
92 1325665 : char GetChar() const { return cChar; }
93 :
94 174010 : void SetHash( SvStringHashEntry * pHashP )
95 174010 : { pHash = pHashP; nType = SVTOKEN_HASHID; }
96 35927 : sal_Bool HasHash() const
97 35927 : { return nType == SVTOKEN_HASHID; }
98 : SvStringHashEntry * GetHash() const { return pHash; }
99 7196028 : sal_Bool Is( SvStringHashEntry * pEntry ) const
100 7196028 : { return IsIdentifierHash() && pHash == pEntry; }
101 : };
102 :
103 803808 : inline SvToken::SvToken()
104 803808 : : nType( SVTOKEN_EMPTY ) {}
105 :
106 : inline SvToken::SvToken( sal_uLong n )
107 : : nType( SVTOKEN_INTEGER ), nLong( n ) {}
108 :
109 : inline SvToken::SvToken( SVTOKEN_ENUM nTypeP, sal_Bool b )
110 : : nType( nTypeP ), bBool( b ) {}
111 :
112 : inline SvToken::SvToken( char c )
113 : : nType( SVTOKEN_CHAR ), cChar( c ) {}
114 :
115 : inline SvToken::SvToken( SVTOKEN_ENUM nTypeP, const rtl::OString& rStr )
116 : : nType( nTypeP ), aString( rStr ) {}
117 :
118 : inline SvToken::SvToken( SVTOKEN_ENUM nTypeP )
119 : : nType( nTypeP ) {}
120 :
121 : class SvTokenStream
122 : {
123 : sal_uLong nLine, nColumn;
124 : int nBufPos;
125 : int c; // next character
126 : sal_uInt16 nTabSize; // length of tabulator
127 : rtl::OString aStrTrue;
128 : rtl::OString aStrFalse;
129 : sal_uLong nMaxPos;
130 :
131 : SvFileStream * pInStream;
132 : SvStream & rInStream;
133 : String aFileName;
134 : boost::ptr_vector<SvToken> aTokList;
135 : boost::ptr_vector<SvToken>::iterator pCurToken;
136 :
137 : void InitCtor();
138 :
139 : rtl::OString aBufStr;
140 : int GetNextChar();
141 6723090 : int GetFastNextChar()
142 : {
143 6723090 : return aBufStr[nBufPos++];
144 : }
145 :
146 : void FillTokenList();
147 : sal_uLong GetNumber();
148 : sal_Bool MakeToken( SvToken & );
149 482531 : sal_Bool IsEof() const { return rInStream.IsEof(); }
150 14708288 : void SetMax()
151 : {
152 14708288 : sal_uLong n = Tell();
153 14708288 : if( n > nMaxPos )
154 772549 : nMaxPos = n;
155 14708288 : }
156 17591 : void CalcColumn()
157 : {
158 : // if end of line spare calculation
159 17591 : if( 0 != c )
160 : {
161 0 : sal_uInt16 n = 0;
162 0 : nColumn = 0;
163 0 : while( n < nBufPos )
164 0 : nColumn += aBufStr[n++] == '\t' ? nTabSize : 1;
165 : }
166 17591 : }
167 : public:
168 : SvTokenStream( const String & rFileName );
169 : SvTokenStream( SvStream & rInStream, const String & rFileName );
170 : ~SvTokenStream();
171 :
172 8 : const String & GetFileName() const { return aFileName; }
173 236 : SvStream & GetStream() { return rInStream; }
174 :
175 : void SetTabSize( sal_uInt16 nTabSizeP )
176 : { nTabSize = nTabSizeP; }
177 : sal_uInt16 GetTabSize() const { return nTabSize; }
178 :
179 0 : SvToken* GetToken_PrevAll()
180 : {
181 0 : boost::ptr_vector<SvToken>::iterator pRetToken = pCurToken;
182 :
183 : // current iterator always valid
184 0 : if(pCurToken != aTokList.begin())
185 0 : --pCurToken;
186 :
187 0 : return &(*pRetToken);
188 : }
189 :
190 7737476 : SvToken* GetToken_NextAll()
191 : {
192 7737476 : boost::ptr_vector<SvToken>::iterator pRetToken = pCurToken++;
193 :
194 7737476 : if (pCurToken == aTokList.end())
195 502 : pCurToken = pRetToken;
196 :
197 7737476 : SetMax();
198 :
199 7737476 : return &(*pRetToken);
200 : }
201 :
202 7737476 : SvToken* GetToken_Next()
203 : {
204 : // comments get removed initially
205 7737476 : return GetToken_NextAll();
206 : }
207 :
208 253438 : SvToken* GetToken() const { return &(*pCurToken); }
209 :
210 357365 : sal_Bool Read( char cChar )
211 : {
212 702865 : if( pCurToken->IsChar()
213 345500 : && cChar == pCurToken->GetChar() )
214 : {
215 159010 : GetToken_Next();
216 159010 : return sal_True;
217 : }
218 : else
219 198355 : return sal_False;
220 : }
221 :
222 186056 : void ReadDelemiter()
223 : {
224 480366 : if( pCurToken->IsChar()
225 164976 : && (';' == pCurToken->GetChar()
226 129334 : || ',' == pCurToken->GetChar()) )
227 : {
228 146110 : GetToken_Next();
229 : }
230 186056 : }
231 :
232 22500216 : sal_uInt32 Tell() const { return pCurToken-aTokList.begin(); }
233 :
234 6970812 : void Seek( sal_uInt32 nPos )
235 : {
236 6970812 : pCurToken = aTokList.begin() + nPos;
237 6970812 : SetMax();
238 6970812 : }
239 :
240 : void SeekRel( sal_uInt32 nRelPos )
241 : {
242 : sal_uInt32 relIdx = Tell() + nRelPos;
243 :
244 : if ( relIdx < aTokList.size())
245 : {
246 : pCurToken = aTokList.begin()+ (Tell() + nRelPos );
247 : SetMax();
248 : }
249 : }
250 :
251 0 : void SeekEnd()
252 : {
253 0 : pCurToken = aTokList.begin()+nMaxPos;
254 0 : }
255 : };
256 :
257 :
258 :
259 : #endif // _LEX_HXX
260 :
261 : /* vim:set shiftwidth=4 softtabstop=4 expandtab: */
|
