improved syntax highlighting scanners and preferences
[phpeclipse.git] / net.sourceforge.phpeclipse / src / net / sourceforge / phpeclipse / phpeditor / php / PHPCodeScanner.java
1 /**********************************************************************
2 Copyright (c) 2000, 2002 IBM Corp. and others.
3 All rights reserved. This program and the accompanying materials
4 are made available under the terms of the Common Public License v1.0
5 which accompanies this distribution, and is available at
6 http://www.eclipse.org/legal/cpl-v10.html
7
8 Contributors:
9     IBM Corporation - Initial implementation
10     Klaus Hartlage - www.eclipseproject.de
11 **********************************************************************/
12 package net.sourceforge.phpeclipse.phpeditor.php;
13
14 import java.util.ArrayList;
15 import java.util.List;
16
17 import net.sourceforge.phpdt.internal.ui.text.AbstractJavaScanner;
18 import net.sourceforge.phpdt.internal.ui.text.CombinedWordRule;
19 import net.sourceforge.phpdt.ui.text.IColorManager;
20 import net.sourceforge.phpeclipse.IPreferenceConstants;
21 import net.sourceforge.phpeclipse.phpeditor.PHPSyntaxRdr;
22 import net.sourceforge.phpeclipse.phpeditor.util.PHPWhitespaceDetector;
23 import net.sourceforge.phpeclipse.phpeditor.util.PHPWordDetector;
24
25 import org.eclipse.jface.preference.IPreferenceStore;
26 import org.eclipse.jface.text.rules.EndOfLineRule;
27 import org.eclipse.jface.text.rules.ICharacterScanner;
28 import org.eclipse.jface.text.rules.IRule;
29 import org.eclipse.jface.text.rules.IToken;
30 import org.eclipse.jface.text.rules.IWordDetector;
31 import org.eclipse.jface.text.rules.MultiLineRule;
32 import org.eclipse.jface.text.rules.Token;
33 import org.eclipse.jface.text.rules.WhitespaceRule;
34 import org.eclipse.jface.text.rules.WordRule;
35
36 /**
37  * PHP Code Scanner
38  */
39 public class PHPCodeScanner extends AbstractJavaScanner {
40  
41   /**
42    * Rule to detect java operators.
43    * 
44    * @since 3.0
45    */
46         protected class OperatorRule implements IRule {
47         
48                 /** Java operators */
49                 private final char[] JAVA_OPERATORS= { ';', '(', ')', '{', '}', '.', '=', '/', '\\', '+', '-', '*', '[', ']', '<', '>', ':', '?', '!', ',', '|', '&', '^', '%', '~', '@'};
50                 /** Token to return for this rule */
51                 private final IToken fToken;
52         
53                 /**
54      * Creates a new operator rule.
55      * 
56      * @param token
57      *          Token to use for this rule
58      */
59                 public OperatorRule(IToken token) {
60                         fToken= token;
61                 }
62                 
63                 /**
64      * Is this character an operator character?
65      * 
66      * @param character
67      *          Character to determine whether it is an operator character
68      * @return <code>true</code> iff the character is an operator,
69      *         <code>false</code> otherwise.
70      */
71                 public boolean isOperator(char character) {
72                         for (int index= 0; index < JAVA_OPERATORS.length; index++) {
73                                 if (JAVA_OPERATORS[index] == character)
74                                         return true;
75                         }
76                         return false;
77                 }
78         
79                 /*
80      * @see org.eclipse.jface.text.rules.IRule#evaluate(org.eclipse.jface.text.rules.ICharacterScanner)
81      */
82                 public IToken evaluate(ICharacterScanner scanner) {
83         
84                         int character= scanner.read();
85                         if (isOperator((char) character)) {
86                             int lastCharacter = character;
87                             character= scanner.read();
88                                 if (!isOperator((char) character)) {
89                                   scanner.unread();
90                               return fToken;
91                                 }
92                                 if (lastCharacter=='<' && character=='?') {
93                                   scanner.unread();
94                                   scanner.unread();
95                           return Token.UNDEFINED;
96                                 }
97                                 if (lastCharacter=='?' && character=='>') {
98                                   scanner.unread();
99                                   scanner.unread();
100                           return Token.UNDEFINED;
101                                 }
102                                 do {
103                                         character= scanner.read();
104                                 } while (isOperator((char) character));
105                                 scanner.unread();
106                                 return fToken;
107                         } else {
108                                 scanner.unread();
109                                 return Token.UNDEFINED;
110                         }
111                 }
112         }
113         
114   private class PHPWordRule extends WordRule {
115     private StringBuffer fBuffer = new StringBuffer();
116
117     public PHPWordRule(IWordDetector detector) {
118       super(detector, Token.UNDEFINED);
119     }
120
121     public PHPWordRule(IWordDetector detector, IToken defaultToken) {
122       super(detector, defaultToken);
123     }
124
125     public IToken evaluate(ICharacterScanner scanner) {
126       int c = scanner.read();
127       boolean isVariable = false;
128       if (c == '<') {
129         c = scanner.read();
130         if (c != '?') {
131           scanner.unread();
132           scanner.unread();
133           return Token.UNDEFINED;
134         } else {
135           c = scanner.read();
136           if (c != 'p') {
137             scanner.unread();
138             return getToken(IPreferenceConstants.PHP_TAG);
139           } else {
140             c = scanner.read();
141             if (c != 'h') {
142               scanner.unread();
143               scanner.unread();
144               return getToken(IPreferenceConstants.PHP_TAG);
145             } else {
146               c = scanner.read();
147               if (c != 'p') {
148                 scanner.unread();
149                 scanner.unread();
150                 scanner.unread();
151                 return getToken(IPreferenceConstants.PHP_TAG);
152               } else {
153                 return getToken(IPreferenceConstants.PHP_TAG);
154               }
155             }
156           }
157         }
158       }
159       if (c == '?') {
160                 c = scanner.read();
161         if (c == '>') {
162           return getToken(IPreferenceConstants.PHP_TAG);
163         } 
164         scanner.unread();
165         scanner.unread();
166         return Token.UNDEFINED;
167       }
168       if (fDetector.isWordStart((char) c)) {
169         if (c == '$') {
170           isVariable = true;
171         }
172         if (fColumn == UNDEFINED || (fColumn == scanner.getColumn() - 1)) {
173
174           fBuffer.setLength(0);
175           do {
176             fBuffer.append((char) c);
177             c = scanner.read();
178           } while (c != ICharacterScanner.EOF && fDetector.isWordPart((char) c));
179           scanner.unread();
180
181           if (isVariable) {
182             return getToken(IPreferenceConstants.PHP_VARIABLE);
183           }
184           IToken token = (IToken) fWords.get(fBuffer.toString());
185           if (token != null)
186             return token;
187
188           if (fDefaultToken.isUndefined())
189             unreadBuffer(scanner);
190
191           return fDefaultToken;
192         }
193       }
194
195       scanner.unread();
196       return Token.UNDEFINED;
197     }
198   }
199
200   //private PHPColorProvider fColorProvider;
201
202   private static String[] fgTokenProperties =
203     {
204       IPreferenceConstants.PHP_MULTILINE_COMMENT,
205       IPreferenceConstants.PHP_SINGLELINE_COMMENT,
206           IPreferenceConstants.PHP_TAG,
207       IPreferenceConstants.PHP_KEYWORD,
208       IPreferenceConstants.PHP_FUNCTIONNAME,
209       IPreferenceConstants.PHP_VARIABLE,
210       IPreferenceConstants.PHP_STRING,
211       IPreferenceConstants.PHP_TYPE,
212       IPreferenceConstants.PHP_CONSTANT,
213       IPreferenceConstants.PHP_DEFAULT,
214       IPreferenceConstants.PHP_OPERATOR,
215       IPreferenceConstants.PHP_KEYWORD_RETURN};
216   /**
217    * Creates a PHP code scanner
218    */
219   // public PHPCodeScanner(JavaColorManager provider, IPreferenceStore store) {
220   public PHPCodeScanner(IColorManager manager, IPreferenceStore store) {
221     super(manager, store);
222     initialize();
223     //  // final IPreferenceStore store =
224     // PHPeclipsePlugin.getDefault().getPreferenceStore();
225     //   Color BackgroundColor =
226     // provider.getColor(PreferenceConverter.getColor(store,
227     // PHP_EDITOR_BACKGROUND));
228     //    variable =
229     //      new Token(
230     //        new TextAttribute(
231     //          provider.getColor(PreferenceConverter.getColor(store, PHP_VARIABLE)),
232     //          BackgroundColor,
233     //          (store.getBoolean(PHP_VARIABLE_BOLD) ? SWT.BOLD : SWT.NONE)
234     //            + (store.getBoolean(PHP_VARIABLE_ITALIC) ? SWT.ITALIC : SWT.NONE)));
235     //      keyword =
236     //        new Token(new TextAttribute(
237     //          provider.getColor(PreferenceConverter.getColor(store, PHP_KEYWORD)),
238     //          BackgroundColor,
239     //    //SWT.NONE));
240     //   (store.getBoolean(PHP_KEYWORD_BOLD) ? SWT.BOLD : SWT.NONE) +
241     // (store.getBoolean(PHP_KEYWORD_ITALIC) ? SWT.ITALIC : SWT.NONE)));
242     //      type =
243     //        new Token(new TextAttribute(
244     //          provider.getColor(PreferenceConverter.getColor(store, PHP_TYPE)),
245     //          BackgroundColor,
246     //    //SWT.NONE));
247     //   (store.getBoolean(PHP_TYPE_BOLD) ? SWT.BOLD : SWT.NONE) +
248     // (store.getBoolean(PHP_TYPE_ITALIC) ? SWT.ITALIC : SWT.NONE)));
249     //      functionName =
250     //        new Token(new TextAttribute(
251     //          provider.getColor(PreferenceConverter.getColor(store, PHP_FUNCTIONNAME)),
252     //          BackgroundColor,
253     //    //SWT.NONE));
254     //  (store.getBoolean(PHP_FUNCTIONNAME_BOLD) ? SWT.BOLD : SWT.NONE)
255     //    + (store.getBoolean(PHP_FUNCTIONNAME_ITALIC) ? SWT.ITALIC : SWT.NONE)));
256     //      constant =
257     //        new Token(new TextAttribute(
258     //          provider.getColor(PreferenceConverter.getColor(store, PHP_CONSTANT)),
259     //          BackgroundColor,
260     //    //SWT.NONE));
261     //   (store.getBoolean(PHP_CONSTANT_BOLD) ? SWT.BOLD : SWT.NONE) +
262     // (store.getBoolean(PHP_CONSTANT_ITALIC) ? SWT.ITALIC : SWT.NONE)));
263     //      string =
264     //        new Token(new TextAttribute(
265     //          provider.getColor(PreferenceConverter.getColor(store, PHP_STRING)),
266     //          BackgroundColor,
267     //    //SWT.NONE));
268     //   (store.getBoolean(PHP_STRING_BOLD) ? SWT.BOLD : SWT.NONE ) +
269     // (store.getBoolean(PHP_STRING_ITALIC) ? SWT.ITALIC : SWT.NONE)));
270     //      comment =
271     //        new Token(new TextAttribute(
272     //          provider.getColor(PreferenceConverter.getColor(store,
273     // PHP_SINGLELINE_COMMENT)),
274     //          BackgroundColor,
275     //    //SWT.NONE));
276     //  (store.getBoolean(PHP_SINGLELINE_COMMENT_BOLD) ? SWT.BOLD : SWT.NONE )
277     //    + (store.getBoolean(PHP_SINGLELINE_COMMENT_ITALIC) ? SWT.ITALIC :
278     // SWT.NONE)));
279     //      multi_comment =
280     //        new Token(new TextAttribute(
281     //          provider.getColor(PreferenceConverter.getColor(store,
282     // PHP_MULTILINE_COMMENT)),
283     //          BackgroundColor,
284     //    //SWT.NONE));
285     //  (store.getBoolean(PHP_MULTILINE_COMMENT_BOLD) ? SWT.BOLD : SWT.NONE)
286     //    + (store.getBoolean(PHP_MULTILINE_COMMENT_ITALIC) ? SWT.ITALIC :
287     // SWT.NONE)));
288     //      other =
289     //        new Token(new TextAttribute(
290     //          provider.getColor(PreferenceConverter.getColor(store, PHP_DEFAULT)),
291     //          BackgroundColor,
292     //    //SWT.NONE));
293     //   (store.getBoolean(PHP_DEFAULT_BOLD) ? SWT.BOLD : SWT.NONE) +
294     // (store.getBoolean(PHP_DEFAULT_ITALIC) ? SWT.ITALIC : SWT.NONE)));
295     //    updateWordRules();
296   }
297
298   /*
299    * @see AbstractJavaScanner#getTokenProperties()
300    */
301   protected String[] getTokenProperties() {
302     return fgTokenProperties;
303   }
304   //  public void updateToken(JavaColorManager provider) {
305   //    final IPreferenceStore store =
306   // PHPeclipsePlugin.getDefault().getPreferenceStore();
307   //
308   //    Color BackgroundColor =
309   // provider.getColor(PreferenceConverter.getColor(store,
310   // PHP_EDITOR_BACKGROUND));
311   //
312   //    variable.setData(
313   //      new TextAttribute(
314   //        provider.getColor(PreferenceConverter.getColor(store, PHP_VARIABLE)),
315   //        BackgroundColor,
316   //        (store.getBoolean(PHP_VARIABLE_BOLD) ? SWT.BOLD : SWT.NONE)
317   //          + (store.getBoolean(PHP_VARIABLE_ITALIC) ? SWT.ITALIC : SWT.NONE)));
318   //    keyword.setData(
319   //      new TextAttribute(
320   //        provider.getColor(PreferenceConverter.getColor(store, PHP_KEYWORD)),
321   //        BackgroundColor,
322   //        (store.getBoolean(PHP_KEYWORD_BOLD) ? SWT.BOLD : SWT.NONE)
323   //          + (store.getBoolean(PHP_KEYWORD_ITALIC) ? SWT.ITALIC : SWT.NONE)));
324   //    type.setData(
325   //      new TextAttribute(
326   //        provider.getColor(PreferenceConverter.getColor(store, PHP_TYPE)),
327   //        BackgroundColor,
328   //        (store.getBoolean(PHP_TYPE_BOLD) ? SWT.BOLD : SWT.NONE) +
329   // (store.getBoolean(PHP_TYPE_ITALIC) ? SWT.ITALIC : SWT.NONE)));
330   //    functionName.setData(
331   //      new TextAttribute(
332   //        provider.getColor(PreferenceConverter.getColor(store, PHP_FUNCTIONNAME)),
333   //        BackgroundColor,
334   //        (store.getBoolean(PHP_FUNCTIONNAME_BOLD) ? SWT.BOLD : SWT.NONE)
335   //          + (store.getBoolean(PHP_FUNCTIONNAME_ITALIC) ? SWT.ITALIC : SWT.NONE)));
336   //    constant.setData(
337   //      new TextAttribute(
338   //        provider.getColor(PreferenceConverter.getColor(store, PHP_CONSTANT)),
339   //        BackgroundColor,
340   //        (store.getBoolean(PHP_CONSTANT_BOLD) ? SWT.BOLD : SWT.NONE)
341   //          + (store.getBoolean(PHP_CONSTANT_ITALIC) ? SWT.ITALIC : SWT.NONE)));
342   //    string.setData(
343   //      new TextAttribute(
344   //        provider.getColor(PreferenceConverter.getColor(store, PHP_STRING)),
345   //        BackgroundColor,
346   //        (store.getBoolean(PHP_STRING_BOLD) ? SWT.BOLD : SWT.NONE) +
347   // (store.getBoolean(PHP_STRING_ITALIC) ? SWT.ITALIC : SWT.NONE)));
348   //    comment.setData(
349   //      new TextAttribute(
350   //        provider.getColor(PreferenceConverter.getColor(store,
351   // PHP_SINGLELINE_COMMENT)),
352   //        BackgroundColor,
353   //        (store.getBoolean(PHP_SINGLELINE_COMMENT_BOLD) ? SWT.BOLD : SWT.NONE)
354   //          + (store.getBoolean(PHP_SINGLELINE_COMMENT_ITALIC) ? SWT.ITALIC :
355   // SWT.NONE)));
356   //    multi_comment.setData(
357   //      new TextAttribute(
358   //        provider.getColor(PreferenceConverter.getColor(store,
359   // PHP_MULTILINE_COMMENT)),
360   //        BackgroundColor,
361   //        (store.getBoolean(PHP_MULTILINE_COMMENT_BOLD) ? SWT.BOLD : SWT.NONE)
362   //          + (store.getBoolean(PHP_MULTILINE_COMMENT_ITALIC) ? SWT.ITALIC :
363   // SWT.NONE)));
364   //    other.setData(
365   //      new TextAttribute(
366   //        provider.getColor(PreferenceConverter.getColor(store, PHP_DEFAULT)),
367   //        BackgroundColor,
368   //        (store.getBoolean(PHP_DEFAULT_BOLD) ? SWT.BOLD : SWT.NONE)
369   //          + (store.getBoolean(PHP_DEFAULT_ITALIC) ? SWT.ITALIC : SWT.NONE)));
370   //  }
371
372   // public void updateWordRules() {
373
374
375   /*
376    * @see AbstractJavaScanner#createRules()
377    */
378   protected List createRules() {
379     List rules = new ArrayList();
380     Token token = getToken(IPreferenceConstants.PHP_SINGLELINE_COMMENT);
381     // Add rule for single line comments.
382     rules.add(new EndOfLineRule("//", token)); //$NON-NLS-1$
383     rules.add(new EndOfLineRule("#", token)); //$NON-NLS-1$
384     // Add rule for strings and character constants.
385     token = getToken(IPreferenceConstants.PHP_STRING);
386     rules.add(new MultiLineRule("\"", "\"", token, '\\')); //$NON-NLS-2$ //$NON-NLS-1$
387     rules.add(new MultiLineRule("`", "`", token, '\\')); //$NON-NLS-2$ //$NON-NLS-1$
388     rules.add(new MultiLineRule("'", "'", token, '\\')); //$NON-NLS-2$ //$NON-NLS-1$
389         
390     token = getToken(IPreferenceConstants.PHP_MULTILINE_COMMENT);
391     rules.add(new MultiLineRule("/*", "*/", token)); //$NON-NLS-2$ //$NON-NLS-1$
392     // Add generic whitespace rule.
393     rules.add(new WhitespaceRule(new PHPWhitespaceDetector()));
394     // Add word rule for keywords, types, and constants.
395     token = getToken(IPreferenceConstants.PHP_DEFAULT);
396     PHPWordRule wordRule = new PHPWordRule(new PHPWordDetector(), token);
397         
398     Token keyword = getToken(IPreferenceConstants.PHP_KEYWORD);
399     Token functionName = getToken(IPreferenceConstants.PHP_FUNCTIONNAME);
400     Token type = getToken(IPreferenceConstants.PHP_TYPE);
401     Token constant = getToken(IPreferenceConstants.PHP_CONSTANT);
402
403     ArrayList buffer = PHPSyntaxRdr.getSyntaxData();
404     //  String strbuffer = null; unused
405     PHPElement elbuffer = null;
406     String name;
407     for (int i = 0; i < buffer.size(); i++) {
408       //    while ((buffer != null)
409       //      && (!buffer.isEmpty()
410       //        && ((elbuffer = (PHPElement) buffer.remove(0)) != null))) {
411       elbuffer = (PHPElement) buffer.get(i);
412       if (elbuffer instanceof PHPKeyword) {
413         name = ((PHPKeyword) elbuffer).getName();
414         if (!name.equals("return")) {
415           wordRule.addWord(name, keyword);
416         }
417       } else if (elbuffer instanceof PHPFunction) {
418         wordRule.addWord(((PHPFunction) elbuffer).getName(), functionName);
419       } else if (elbuffer instanceof PHPType) {
420         wordRule.addWord(elbuffer.getName(), type);
421       } else if (elbuffer instanceof PHPConstant) {
422         wordRule.addWord(elbuffer.getName(), constant);
423       }
424     }
425     
426 // Add word rule for keyword 'return'.
427     token= getToken(IPreferenceConstants.PHP_KEYWORD_RETURN);
428     wordRule.addWord("return", token);
429
430 //  Add rule for operators and brackets (at the end !)
431         token= getToken(IPreferenceConstants.PHP_OPERATOR);
432         rules.add(new OperatorRule(token));
433         
434     rules.add(wordRule);
435     
436     setDefaultReturnToken(getToken(IPreferenceConstants.PHP_DEFAULT));
437     return rules;
438   }
439 }