Bug #1248155: avoid NPE in parser
[phpeclipse.git] / net.sourceforge.phpeclipse / src / net / sourceforge / phpeclipse / phpeditor / php / PHPCodeScanner.java
1 /**********************************************************************
2  Copyright (c) 2000, 2002 IBM Corp. and others.
3  All rights reserved. This program and the accompanying materials
4  are made available under the terms of the Common Public License v1.0
5  which accompanies this distribution, and is available at
6  http://www.eclipse.org/legal/cpl-v10.html
7
8  Contributors:
9  IBM Corporation - Initial implementation
10  www.phpeclipse.de
11  **********************************************************************/
12 package net.sourceforge.phpeclipse.phpeditor.php;
13
14 import java.util.ArrayList;
15 import java.util.List;
16
17 import net.sourceforge.phpdt.internal.ui.text.AbstractJavaScanner;
18 import net.sourceforge.phpdt.ui.text.IColorManager;
19 import net.sourceforge.phpeclipse.IPreferenceConstants;
20 import net.sourceforge.phpeclipse.phpeditor.PHPSyntaxRdr;
21 import net.sourceforge.phpeclipse.phpeditor.util.PHPWhitespaceDetector;
22 import net.sourceforge.phpeclipse.phpeditor.util.PHPWordDetector;
23
24 import org.eclipse.jface.preference.IPreferenceStore;
25 import org.eclipse.jface.text.rules.ICharacterScanner;
26 import org.eclipse.jface.text.rules.IRule;
27 import org.eclipse.jface.text.rules.IToken;
28 import org.eclipse.jface.text.rules.IWordDetector;
29 import org.eclipse.jface.text.rules.MultiLineRule;
30 import org.eclipse.jface.text.rules.Token;
31 import org.eclipse.jface.text.rules.WhitespaceRule;
32 import org.eclipse.jface.text.rules.WordRule;
33
34 /**
35  * PHP Code Scanner
36  */
37 public class PHPCodeScanner extends AbstractJavaScanner {
38
39   /**
40    * Rule to detect java operators.
41    * 
42    * @since 3.0
43    */
44   protected class OperatorRule implements IRule {
45
46     /** Java operators */
47     private final char[] PHP_OPERATORS = {
48         ';',
49         '(',
50         ')',
51         '.',
52         '=',
53         '/',
54         '\\',
55         '+',
56         '-',
57         '*',
58         '[',
59         ']',
60         '<',
61         '>',
62         ':',
63         '?',
64         '!',
65         ',',
66         '|',
67         '&',
68         '^',
69         '%',
70         '~',
71         '@' };
72
73     /** Token to return for this rule */
74     private final IToken fToken;
75
76     /** Token to return for braces */
77     private final IToken fTokenBraces;
78
79     /**
80      * Creates a new operator rule.
81      * 
82      * @param token
83      *          Token to use for this rule
84      */
85     public OperatorRule(IToken token, IToken tokenBraces) {
86       fToken = token;
87       fTokenBraces = tokenBraces;
88
89     }
90
91     /**
92      * Is this character an operator character?
93      * 
94      * @param character
95      *          Character to determine whether it is an operator character
96      * @return <code>true</code> iff the character is an operator, <code>false</code> otherwise.
97      */
98     public boolean isOperator(char character) {
99       for (int index = 0; index < PHP_OPERATORS.length; index++) {
100         if (PHP_OPERATORS[index] == character)
101           return true;
102       }
103       return false;
104     }
105
106     /*
107      * @see org.eclipse.jface.text.rules.IRule#evaluate(org.eclipse.jface.text.rules.ICharacterScanner)
108      */
109     public IToken evaluate(ICharacterScanner scanner) {
110
111       int character = scanner.read();
112       if (character == '{' || character == '}') {
113         return fTokenBraces;
114       }
115       if (isOperator((char) character)) {
116         int lastCharacter = character;
117         character = scanner.read();
118         if (!isOperator((char) character)) {
119           scanner.unread();
120           return fToken;
121         }
122         if (checkPHPTag(scanner, lastCharacter, character)) {
123           return Token.UNDEFINED;
124         }
125         do {
126           lastCharacter = character;
127           character = scanner.read();
128           if (checkPHPTag(scanner, lastCharacter, character)) {
129             return fToken;
130           }
131         } while (isOperator((char) character));
132         scanner.unread();
133         return fToken;
134       } else {
135         scanner.unread();
136         return Token.UNDEFINED;
137       }
138     }
139
140     /**
141      * Check if lastCharacter/character are a PHP start or end token ( &lt;? ... ?&gt; )
142      * 
143      * @param scanner
144      * @param lastCharacter
145      * @param character
146      * @return
147      */
148     private boolean checkPHPTag(ICharacterScanner scanner, int lastCharacter, int character) {
149       if (lastCharacter == '<' && character == '?') {
150         scanner.unread();
151         scanner.unread();
152         return true;
153       } else if (lastCharacter == '?' && character == '>') {
154         scanner.unread();
155         scanner.unread();
156         return true;
157       }
158       return false;
159     }
160   }
161
162
163   protected class AccentStringRule implements IRule {
164
165     /** Token to return for this rule */
166     private final IToken fToken;
167
168     public AccentStringRule(IToken token) {
169       fToken = token;
170
171     }
172
173     /*
174      * @see org.eclipse.jface.text.rules.IRule#evaluate(org.eclipse.jface.text.rules.ICharacterScanner)
175      */
176     public IToken evaluate(ICharacterScanner scanner) {
177
178       int character = scanner.read();
179
180       if (character == '`') {
181
182         while (character != ICharacterScanner.EOF) {
183           character = scanner.read();
184           if (character == '\\') {
185             character = scanner.read();
186           } else if (character == '`') {
187             return fToken;
188           }
189         }
190         scanner.unread();
191         return Token.UNDEFINED;
192       } else {
193         scanner.unread();
194         return Token.UNDEFINED;
195       }
196     }
197
198   }
199
200   private class PHPWordRule extends WordRule {
201     private StringBuffer fBuffer = new StringBuffer();
202
203     public PHPWordRule(IWordDetector detector) {
204       super(detector, Token.UNDEFINED);
205     }
206
207     public PHPWordRule(IWordDetector detector, IToken defaultToken) {
208       super(detector, defaultToken);
209     }
210
211     public IToken evaluate(ICharacterScanner scanner) {
212       int c = scanner.read();
213       boolean isVariable = false;
214       boolean isUnderscore = false;
215       if (c == '<') {
216         c = scanner.read();
217         if (c != '?') {
218           scanner.unread();
219           scanner.unread();
220           return Token.UNDEFINED;
221         } else {
222           c = scanner.read();
223           if (c == '=') { // <?=
224             return getToken(IPreferenceConstants.PHP_TAG);
225           }
226           if (c != 'p' && c != 'P') {
227             scanner.unread();
228             return getToken(IPreferenceConstants.PHP_TAG);
229           } else {
230             c = scanner.read();
231             if (c != 'h' && c != 'H') {
232               scanner.unread();
233               scanner.unread();
234               return getToken(IPreferenceConstants.PHP_TAG);
235             } else {
236               c = scanner.read();
237               if (c != 'p' && c != 'P') {
238                 scanner.unread();
239                 scanner.unread();
240                 scanner.unread();
241                 return getToken(IPreferenceConstants.PHP_TAG);
242               } else {
243                 return getToken(IPreferenceConstants.PHP_TAG);
244               }
245             }
246           }
247         }
248       }
249       if (c == '?') {
250         c = scanner.read();
251         if (c == '>') {
252           return getToken(IPreferenceConstants.PHP_TAG);
253         }
254         scanner.unread();
255         scanner.unread();
256         return Token.UNDEFINED;
257       }
258       if (fDetector.isWordStart((char) c)) {
259         if (c == '$') {
260           isVariable = true;
261         }
262         if (fColumn == UNDEFINED || (fColumn == scanner.getColumn() - 1)) {
263
264           fBuffer.setLength(0);
265           fBuffer.append((char) c);
266           c = scanner.read();
267           if (c == '_') {
268             isUnderscore = true;
269           }
270           while (c != ICharacterScanner.EOF && fDetector.isWordPart((char) c)) {
271                 fBuffer.append((char) c);
272             c = scanner.read();
273           }
274           scanner.unread();
275
276           if (isVariable) {
277                 if (isUnderscore) {
278                         return getToken(IPreferenceConstants.PHP_VARIABLE_DOLLAR);
279                 }
280             return getToken(IPreferenceConstants.PHP_VARIABLE);
281           }
282           IToken token = (IToken) fWords.get(fBuffer.toString());
283           if (token != null)
284             return token;
285
286           if (fDefaultToken.isUndefined())
287             unreadBuffer(scanner);
288
289           return fDefaultToken;
290         }
291       }
292
293       scanner.unread();
294       return Token.UNDEFINED;
295     }
296   }
297
298   //private PHPColorProvider fColorProvider;
299
300   private static String[] fgTokenProperties = {
301       IPreferenceConstants.PHP_MULTILINE_COMMENT,
302       IPreferenceConstants.PHP_SINGLELINE_COMMENT,
303       IPreferenceConstants.PHP_TAG,
304       IPreferenceConstants.PHP_KEYWORD,
305       IPreferenceConstants.PHP_FUNCTIONNAME,
306       IPreferenceConstants.PHP_VARIABLE,
307       IPreferenceConstants.PHP_VARIABLE_DOLLAR,
308       IPreferenceConstants.PHP_STRING_DQ,
309       IPreferenceConstants.PHP_STRING_SQ,
310       IPreferenceConstants.PHP_TYPE,
311       IPreferenceConstants.PHP_CONSTANT,
312       IPreferenceConstants.PHP_DEFAULT,
313       IPreferenceConstants.PHP_OPERATOR,
314       IPreferenceConstants.PHP_BRACE_OPERATOR,
315       IPreferenceConstants.PHP_KEYWORD_RETURN };
316
317   /**
318    * Creates a PHP code scanner
319    */
320   // public PHPCodeScanner(JavaColorManager provider, IPreferenceStore store) {
321   public PHPCodeScanner(IColorManager manager, IPreferenceStore store) {
322     super(manager, store);
323     initialize();
324   }
325
326   /*
327    * @see AbstractJavaScanner#getTokenProperties()
328    */
329   protected String[] getTokenProperties() {
330     return fgTokenProperties;
331   }
332
333   /*
334    * @see AbstractJavaScanner#createRules()
335    */
336   protected List createRules() {
337     List rules = new ArrayList();
338     Token token = getToken(IPreferenceConstants.PHP_SINGLELINE_COMMENT);
339     // Add rule for single line comments.
340     //    rules.add(new EndOfLineRule("//", token)); //$NON-NLS-1$
341     //    rules.add(new EndOfLineRule("#", token)); //$NON-NLS-1$
342     // Add rule for strings and character constants.
343     //    token = getToken(IPreferenceConstants.PHP_STRING_SQ);
344     //    rules.add(new SingleQuoteStringRule(token));
345     //    token = getToken(IPreferenceConstants.PHP_STRING_DQ);
346     //    rules.add(new DoubleQuoteStringRule(token));
347     rules.add(new AccentStringRule(token));
348
349     token = getToken(IPreferenceConstants.PHP_MULTILINE_COMMENT);
350     rules.add(new MultiLineRule("/*", "*/", token)); //$NON-NLS-2$ //$NON-NLS-1$
351     // Add generic whitespace rule.
352     rules.add(new WhitespaceRule(new PHPWhitespaceDetector()));
353     // Add word rule for keywords, types, and constants.
354     token = getToken(IPreferenceConstants.PHP_DEFAULT);
355     PHPWordRule wordRule = new PHPWordRule(new PHPWordDetector(), token);
356
357     Token keyword = getToken(IPreferenceConstants.PHP_KEYWORD);
358     Token functionName = getToken(IPreferenceConstants.PHP_FUNCTIONNAME);
359     Token type = getToken(IPreferenceConstants.PHP_TYPE);
360     Token constant = getToken(IPreferenceConstants.PHP_CONSTANT);
361
362     ArrayList buffer = PHPSyntaxRdr.getSyntaxData();
363     //  String strbuffer = null; unused
364     PHPElement elbuffer = null;
365     String name;
366     for (int i = 0; i < buffer.size(); i++) {
367       //    while ((buffer != null)
368       //      && (!buffer.isEmpty()
369       //        && ((elbuffer = (PHPElement) buffer.remove(0)) != null))) {
370       elbuffer = (PHPElement) buffer.get(i);
371       if (elbuffer instanceof PHPKeyword) {
372         name = ((PHPKeyword) elbuffer).getName();
373         if (!name.equals("return")) {
374           wordRule.addWord(name, keyword);
375         }
376       } else if (elbuffer instanceof PHPFunction) {
377         wordRule.addWord(((PHPFunction) elbuffer).getName(), functionName);
378       } else if (elbuffer instanceof PHPType) {
379         wordRule.addWord(elbuffer.getName(), type);
380       } else if (elbuffer instanceof PHPConstant) {
381         wordRule.addWord(elbuffer.getName(), constant);
382       }
383     }
384
385     // Add word rule for keyword 'return'.
386     token = getToken(IPreferenceConstants.PHP_KEYWORD_RETURN);
387     wordRule.addWord("return", token);
388
389     //  Add rule for operators and brackets (at the end !)
390     rules.add(new OperatorRule(getToken(IPreferenceConstants.PHP_OPERATOR), getToken(IPreferenceConstants.PHP_BRACE_OPERATOR)));
391
392     rules.add(wordRule);
393
394     setDefaultReturnToken(getToken(IPreferenceConstants.PHP_DEFAULT));
395     return rules;
396   }
397 }