Improved xml scanner for this bug
[phpeclipse.git] / net.sourceforge.phpeclipse / src / net / sourceforge / phpeclipse / phpeditor / php / PHPCodeScanner.java
index b227ae2..8a50ffd 100644 (file)
@@ -1,21 +1,20 @@
 /**********************************************************************
-Copyright (c) 2000, 2002 IBM Corp. and others.
-All rights reserved. This program and the accompanying materials
-are made available under the terms of the Common Public License v1.0
-which accompanies this distribution, and is available at
-http://www.eclipse.org/legal/cpl-v10.html
-
-Contributors:
-    IBM Corporation - Initial implementation
-    Klaus Hartlage - www.eclipseproject.de
-**********************************************************************/
+ Copyright (c) 2000, 2002 IBM Corp. and others.
+ All rights reserved. This program and the accompanying materials
+ are made available under the terms of the Common Public License v1.0
+ which accompanies this distribution, and is available at
+ http://www.eclipse.org/legal/cpl-v10.html
+
+ Contributors:
+ IBM Corporation - Initial implementation
+ www.phpeclipse.de
+ **********************************************************************/
 package net.sourceforge.phpeclipse.phpeditor.php;
 
 import java.util.ArrayList;
 import java.util.List;
 
 import net.sourceforge.phpdt.internal.ui.text.AbstractJavaScanner;
-import net.sourceforge.phpdt.internal.ui.text.CombinedWordRule;
 import net.sourceforge.phpdt.ui.text.IColorManager;
 import net.sourceforge.phpeclipse.IPreferenceConstants;
 import net.sourceforge.phpeclipse.phpeditor.PHPSyntaxRdr;
@@ -23,6 +22,7 @@ import net.sourceforge.phpeclipse.phpeditor.util.PHPWhitespaceDetector;
 import net.sourceforge.phpeclipse.phpeditor.util.PHPWordDetector;
 
 import org.eclipse.jface.preference.IPreferenceStore;
+import org.eclipse.jface.text.BadLocationException;
 import org.eclipse.jface.text.rules.EndOfLineRule;
 import org.eclipse.jface.text.rules.ICharacterScanner;
 import org.eclipse.jface.text.rules.IRule;
@@ -37,64 +37,238 @@ import org.eclipse.jface.text.rules.WordRule;
  * PHP Code Scanner
  */
 public class PHPCodeScanner extends AbstractJavaScanner {
+  
   /**
    * Rule to detect java operators.
    * 
    * @since 3.0
    */
-       protected class OperatorRule implements IRule {
-       
-               /** Java operators */
-               private final char[] JAVA_OPERATORS= { ';', '(', ')', '{', '}', '.', '=', '/', '\\', '+', '-', '*', '[', ']', '<', '>', ':', '?', '!', ',', '|', '&', '^', '%', '~', '@'};
-               /** Token to return for this rule */
-               private final IToken fToken;
-       
-               /**
+  protected class OperatorRule implements IRule {
+
+    /** Java operators */
+    private final char[] PHP_OPERATORS = {
+        ';',
+        '(',
+        ')',
+        '.',
+        '=',
+        '/',
+        '\\',
+        '+',
+        '-',
+        '*',
+        '[',
+        ']',
+        '<',
+        '>',
+        ':',
+        '?',
+        '!',
+        ',',
+        '|',
+        '&',
+        '^',
+        '%',
+        '~',
+        '@' };
+
+    /** Token to return for this rule */
+    private final IToken fToken;
+
+    /** Token to return for braces */
+    private final IToken fTokenBraces;
+
+    /**
      * Creates a new operator rule.
      * 
      * @param token
      *          Token to use for this rule
      */
-               public OperatorRule(IToken token) {
-                       fToken= token;
-               }
-               
-               /**
+    public OperatorRule(IToken token, IToken tokenBraces) {
+      fToken = token;
+      fTokenBraces = tokenBraces;
+
+    }
+
+    /**
      * Is this character an operator character?
      * 
      * @param character
      *          Character to determine whether it is an operator character
-     * @return <code>true</code> iff the character is an operator,
-     *         <code>false</code> otherwise.
+     * @return <code>true</code> iff the character is an operator, <code>false</code> otherwise.
+     */
+    public boolean isOperator(char character) {
+      for (int index = 0; index < PHP_OPERATORS.length; index++) {
+        if (PHP_OPERATORS[index] == character)
+          return true;
+      }
+      return false;
+    }
+
+    /*
+     * @see org.eclipse.jface.text.rules.IRule#evaluate(org.eclipse.jface.text.rules.ICharacterScanner)
+     */
+    public IToken evaluate(ICharacterScanner scanner) {
+
+      int character = scanner.read();
+      if (character == '{' || character == '}') {
+        return fTokenBraces;
+      }
+      if (isOperator((char) character)) {
+        int lastCharacter = character;
+        character = scanner.read();
+        if (!isOperator((char) character)) {
+          scanner.unread();
+          return fToken;
+        }
+        if (checkPHPTag(scanner, lastCharacter, character)) {
+          return Token.UNDEFINED;
+        }
+        do {
+          lastCharacter = character;
+          character = scanner.read();
+          if (checkPHPTag(scanner, lastCharacter, character)) {
+            return fToken;
+          }
+        } while (isOperator((char) character));
+        scanner.unread();
+        return fToken;
+      } else {
+        scanner.unread();
+        return Token.UNDEFINED;
+      }
+    }
+
+    /**
+     * Check if lastCharacter/character are a PHP start or end token ( &lt;? ... ?&gt; )
+     * 
+     * @param scanner
+     * @param lastCharacter
+     * @param character
+     * @return
+     */
+    private boolean checkPHPTag(ICharacterScanner scanner, int lastCharacter, int character) {
+      if (lastCharacter == '<' && character == '?') {
+        scanner.unread();
+        scanner.unread();
+        return true;
+      } else if (lastCharacter == '?' && character == '>') {
+        scanner.unread();
+        scanner.unread();
+        return true;
+      }
+      return false;
+    }
+  }
+
+  protected class SingleQuoteStringRule implements IRule {
+
+    /** Token to return for this rule */
+    private final IToken fToken;
+
+    public SingleQuoteStringRule(IToken token) {
+      fToken = token;
+
+    }
+
+    /*
+     * @see org.eclipse.jface.text.rules.IRule#evaluate(org.eclipse.jface.text.rules.ICharacterScanner)
+     */
+    public IToken evaluate(ICharacterScanner scanner) {
+
+      int character = scanner.read();
+
+      if (character=='\'') {
+       
+        while (true) {
+          character = scanner.read();
+          if (character == '\\') {
+            character = scanner.read();
+          } else if (character == '\'') {
+            return fToken;
+          }
+        } 
+        
+      } else {
+        scanner.unread();
+        return Token.UNDEFINED;
+      }
+    }
+
+  }
+  
+  protected class AccentStringRule implements IRule {
+
+    /** Token to return for this rule */
+    private final IToken fToken;
+
+    public AccentStringRule(IToken token) {
+      fToken = token;
+
+    }
+
+    /*
+     * @see org.eclipse.jface.text.rules.IRule#evaluate(org.eclipse.jface.text.rules.ICharacterScanner)
      */
-               public boolean isOperator(char character) {
-                       for (int index= 0; index < JAVA_OPERATORS.length; index++) {
-                               if (JAVA_OPERATORS[index] == character)
-                                       return true;
-                       }
-                       return false;
-               }
-       
-               /*
+    public IToken evaluate(ICharacterScanner scanner) {
+
+      int character = scanner.read();
+
+      if (character=='`') {
+       
+        while (true) {
+          character = scanner.read();
+          if (character == '\\') {
+            character = scanner.read();
+          } else if (character == '`') {
+            return fToken;
+          }
+        } 
+        
+      } else {
+        scanner.unread();
+        return Token.UNDEFINED;
+      }
+    }
+
+  }
+  
+  protected class DoubleQuoteStringRule implements IRule {
+
+    /** Token to return for this rule */
+    private final IToken fToken;
+
+    public DoubleQuoteStringRule(IToken token) {
+      fToken = token;
+
+    }
+
+    /*
      * @see org.eclipse.jface.text.rules.IRule#evaluate(org.eclipse.jface.text.rules.ICharacterScanner)
      */
-               public IToken evaluate(ICharacterScanner scanner) {
-       
-                       int character= scanner.read();
-                       if (isOperator((char) character)) {
-                               do {
-                                       character= scanner.read();
-                               } while (isOperator((char) character));
-                               scanner.unread();
-                               return fToken;
-                       } else {
-                               scanner.unread();
-                               return Token.UNDEFINED;
-                       }
-               }
-       }
-       
+    public IToken evaluate(ICharacterScanner scanner) {
+
+      int character = scanner.read();
+
+      if (character=='"') {
+       
+        while (true) {
+          character = scanner.read();
+          if (character == '\\') {
+            character = scanner.read();
+          } else if (character == '"') {
+            return fToken;
+          }
+        } 
+        
+      } else {
+        scanner.unread();
+        return Token.UNDEFINED;
+      }
+    }
+
+  }
+  
   private class PHPWordRule extends WordRule {
     private StringBuffer fBuffer = new StringBuffer();
 
@@ -113,32 +287,44 @@ public class PHPCodeScanner extends AbstractJavaScanner {
         c = scanner.read();
         if (c != '?') {
           scanner.unread();
+          scanner.unread();
+          return Token.UNDEFINED;
         } else {
           c = scanner.read();
-          if (c != 'p') {
+          if (c == '=') {  // <?=
+            return getToken(IPreferenceConstants.PHP_TAG);
+          }
+          if (c != 'p' && c != 'P') {
             scanner.unread();
+            return getToken(IPreferenceConstants.PHP_TAG);
           } else {
             c = scanner.read();
-            if (c != 'h') {
+            if (c != 'h' && c != 'H') {
+              scanner.unread();
               scanner.unread();
+              return getToken(IPreferenceConstants.PHP_TAG);
             } else {
               c = scanner.read();
-              if (c != 'p') {
+              if (c != 'p' && c != 'P') {
                 scanner.unread();
+                scanner.unread();
+                scanner.unread();
+                return getToken(IPreferenceConstants.PHP_TAG);
               } else {
                 return getToken(IPreferenceConstants.PHP_TAG);
               }
             }
           }
         }
-
       }
       if (c == '?') {
-                               c = scanner.read();
+        c = scanner.read();
         if (c == '>') {
           return getToken(IPreferenceConstants.PHP_TAG);
         }
         scanner.unread();
+        scanner.unread();
+        return Token.UNDEFINED;
       }
       if (fDetector.isWordStart((char) c)) {
         if (c == '$') {
@@ -174,20 +360,22 @@ public class PHPCodeScanner extends AbstractJavaScanner {
 
   //private PHPColorProvider fColorProvider;
 
-  private static String[] fgTokenProperties =
-    {
+  private static String[] fgTokenProperties = {
       IPreferenceConstants.PHP_MULTILINE_COMMENT,
       IPreferenceConstants.PHP_SINGLELINE_COMMENT,
-         IPreferenceConstants.PHP_TAG,
+      IPreferenceConstants.PHP_TAG,
       IPreferenceConstants.PHP_KEYWORD,
       IPreferenceConstants.PHP_FUNCTIONNAME,
       IPreferenceConstants.PHP_VARIABLE,
-      IPreferenceConstants.PHP_STRING,
+      IPreferenceConstants.PHP_STRING_DQ,
+      IPreferenceConstants.PHP_STRING_SQ,
       IPreferenceConstants.PHP_TYPE,
       IPreferenceConstants.PHP_CONSTANT,
       IPreferenceConstants.PHP_DEFAULT,
       IPreferenceConstants.PHP_OPERATOR,
-      IPreferenceConstants.PHP_KEYWORD_RETURN};
+      IPreferenceConstants.PHP_BRACE_OPERATOR,
+      IPreferenceConstants.PHP_KEYWORD_RETURN };
+
   /**
    * Creates a PHP code scanner
    */
@@ -195,79 +383,6 @@ public class PHPCodeScanner extends AbstractJavaScanner {
   public PHPCodeScanner(IColorManager manager, IPreferenceStore store) {
     super(manager, store);
     initialize();
-    //  // final IPreferenceStore store =
-    // PHPeclipsePlugin.getDefault().getPreferenceStore();
-    //   Color BackgroundColor =
-    // provider.getColor(PreferenceConverter.getColor(store,
-    // PHP_EDITOR_BACKGROUND));
-    //    variable =
-    //      new Token(
-    //        new TextAttribute(
-    //          provider.getColor(PreferenceConverter.getColor(store, PHP_VARIABLE)),
-    //          BackgroundColor,
-    //          (store.getBoolean(PHP_VARIABLE_BOLD) ? SWT.BOLD : SWT.NONE)
-    //            + (store.getBoolean(PHP_VARIABLE_ITALIC) ? SWT.ITALIC : SWT.NONE)));
-    //      keyword =
-    //        new Token(new TextAttribute(
-    //          provider.getColor(PreferenceConverter.getColor(store, PHP_KEYWORD)),
-    //          BackgroundColor,
-    //    //SWT.NONE));
-    //   (store.getBoolean(PHP_KEYWORD_BOLD) ? SWT.BOLD : SWT.NONE) +
-    // (store.getBoolean(PHP_KEYWORD_ITALIC) ? SWT.ITALIC : SWT.NONE)));
-    //      type =
-    //        new Token(new TextAttribute(
-    //          provider.getColor(PreferenceConverter.getColor(store, PHP_TYPE)),
-    //          BackgroundColor,
-    //    //SWT.NONE));
-    //   (store.getBoolean(PHP_TYPE_BOLD) ? SWT.BOLD : SWT.NONE) +
-    // (store.getBoolean(PHP_TYPE_ITALIC) ? SWT.ITALIC : SWT.NONE)));
-    //      functionName =
-    //        new Token(new TextAttribute(
-    //          provider.getColor(PreferenceConverter.getColor(store, PHP_FUNCTIONNAME)),
-    //          BackgroundColor,
-    //    //SWT.NONE));
-    //  (store.getBoolean(PHP_FUNCTIONNAME_BOLD) ? SWT.BOLD : SWT.NONE)
-    //    + (store.getBoolean(PHP_FUNCTIONNAME_ITALIC) ? SWT.ITALIC : SWT.NONE)));
-    //      constant =
-    //        new Token(new TextAttribute(
-    //          provider.getColor(PreferenceConverter.getColor(store, PHP_CONSTANT)),
-    //          BackgroundColor,
-    //    //SWT.NONE));
-    //   (store.getBoolean(PHP_CONSTANT_BOLD) ? SWT.BOLD : SWT.NONE) +
-    // (store.getBoolean(PHP_CONSTANT_ITALIC) ? SWT.ITALIC : SWT.NONE)));
-    //      string =
-    //        new Token(new TextAttribute(
-    //          provider.getColor(PreferenceConverter.getColor(store, PHP_STRING)),
-    //          BackgroundColor,
-    //    //SWT.NONE));
-    //   (store.getBoolean(PHP_STRING_BOLD) ? SWT.BOLD : SWT.NONE ) +
-    // (store.getBoolean(PHP_STRING_ITALIC) ? SWT.ITALIC : SWT.NONE)));
-    //      comment =
-    //        new Token(new TextAttribute(
-    //          provider.getColor(PreferenceConverter.getColor(store,
-    // PHP_SINGLELINE_COMMENT)),
-    //          BackgroundColor,
-    //    //SWT.NONE));
-    //  (store.getBoolean(PHP_SINGLELINE_COMMENT_BOLD) ? SWT.BOLD : SWT.NONE )
-    //    + (store.getBoolean(PHP_SINGLELINE_COMMENT_ITALIC) ? SWT.ITALIC :
-    // SWT.NONE)));
-    //      multi_comment =
-    //        new Token(new TextAttribute(
-    //          provider.getColor(PreferenceConverter.getColor(store,
-    // PHP_MULTILINE_COMMENT)),
-    //          BackgroundColor,
-    //    //SWT.NONE));
-    //  (store.getBoolean(PHP_MULTILINE_COMMENT_BOLD) ? SWT.BOLD : SWT.NONE)
-    //    + (store.getBoolean(PHP_MULTILINE_COMMENT_ITALIC) ? SWT.ITALIC :
-    // SWT.NONE)));
-    //      other =
-    //        new Token(new TextAttribute(
-    //          provider.getColor(PreferenceConverter.getColor(store, PHP_DEFAULT)),
-    //          BackgroundColor,
-    //    //SWT.NONE));
-    //   (store.getBoolean(PHP_DEFAULT_BOLD) ? SWT.BOLD : SWT.NONE) +
-    // (store.getBoolean(PHP_DEFAULT_ITALIC) ? SWT.ITALIC : SWT.NONE)));
-    //    updateWordRules();
   }
 
   /*
@@ -276,76 +391,6 @@ public class PHPCodeScanner extends AbstractJavaScanner {
   protected String[] getTokenProperties() {
     return fgTokenProperties;
   }
-  //  public void updateToken(JavaColorManager provider) {
-  //    final IPreferenceStore store =
-  // PHPeclipsePlugin.getDefault().getPreferenceStore();
-  //
-  //    Color BackgroundColor =
-  // provider.getColor(PreferenceConverter.getColor(store,
-  // PHP_EDITOR_BACKGROUND));
-  //
-  //    variable.setData(
-  //      new TextAttribute(
-  //        provider.getColor(PreferenceConverter.getColor(store, PHP_VARIABLE)),
-  //        BackgroundColor,
-  //        (store.getBoolean(PHP_VARIABLE_BOLD) ? SWT.BOLD : SWT.NONE)
-  //          + (store.getBoolean(PHP_VARIABLE_ITALIC) ? SWT.ITALIC : SWT.NONE)));
-  //    keyword.setData(
-  //      new TextAttribute(
-  //        provider.getColor(PreferenceConverter.getColor(store, PHP_KEYWORD)),
-  //        BackgroundColor,
-  //        (store.getBoolean(PHP_KEYWORD_BOLD) ? SWT.BOLD : SWT.NONE)
-  //          + (store.getBoolean(PHP_KEYWORD_ITALIC) ? SWT.ITALIC : SWT.NONE)));
-  //    type.setData(
-  //      new TextAttribute(
-  //        provider.getColor(PreferenceConverter.getColor(store, PHP_TYPE)),
-  //        BackgroundColor,
-  //        (store.getBoolean(PHP_TYPE_BOLD) ? SWT.BOLD : SWT.NONE) +
-  // (store.getBoolean(PHP_TYPE_ITALIC) ? SWT.ITALIC : SWT.NONE)));
-  //    functionName.setData(
-  //      new TextAttribute(
-  //        provider.getColor(PreferenceConverter.getColor(store, PHP_FUNCTIONNAME)),
-  //        BackgroundColor,
-  //        (store.getBoolean(PHP_FUNCTIONNAME_BOLD) ? SWT.BOLD : SWT.NONE)
-  //          + (store.getBoolean(PHP_FUNCTIONNAME_ITALIC) ? SWT.ITALIC : SWT.NONE)));
-  //    constant.setData(
-  //      new TextAttribute(
-  //        provider.getColor(PreferenceConverter.getColor(store, PHP_CONSTANT)),
-  //        BackgroundColor,
-  //        (store.getBoolean(PHP_CONSTANT_BOLD) ? SWT.BOLD : SWT.NONE)
-  //          + (store.getBoolean(PHP_CONSTANT_ITALIC) ? SWT.ITALIC : SWT.NONE)));
-  //    string.setData(
-  //      new TextAttribute(
-  //        provider.getColor(PreferenceConverter.getColor(store, PHP_STRING)),
-  //        BackgroundColor,
-  //        (store.getBoolean(PHP_STRING_BOLD) ? SWT.BOLD : SWT.NONE) +
-  // (store.getBoolean(PHP_STRING_ITALIC) ? SWT.ITALIC : SWT.NONE)));
-  //    comment.setData(
-  //      new TextAttribute(
-  //        provider.getColor(PreferenceConverter.getColor(store,
-  // PHP_SINGLELINE_COMMENT)),
-  //        BackgroundColor,
-  //        (store.getBoolean(PHP_SINGLELINE_COMMENT_BOLD) ? SWT.BOLD : SWT.NONE)
-  //          + (store.getBoolean(PHP_SINGLELINE_COMMENT_ITALIC) ? SWT.ITALIC :
-  // SWT.NONE)));
-  //    multi_comment.setData(
-  //      new TextAttribute(
-  //        provider.getColor(PreferenceConverter.getColor(store,
-  // PHP_MULTILINE_COMMENT)),
-  //        BackgroundColor,
-  //        (store.getBoolean(PHP_MULTILINE_COMMENT_BOLD) ? SWT.BOLD : SWT.NONE)
-  //          + (store.getBoolean(PHP_MULTILINE_COMMENT_ITALIC) ? SWT.ITALIC :
-  // SWT.NONE)));
-  //    other.setData(
-  //      new TextAttribute(
-  //        provider.getColor(PreferenceConverter.getColor(store, PHP_DEFAULT)),
-  //        BackgroundColor,
-  //        (store.getBoolean(PHP_DEFAULT_BOLD) ? SWT.BOLD : SWT.NONE)
-  //          + (store.getBoolean(PHP_DEFAULT_ITALIC) ? SWT.ITALIC : SWT.NONE)));
-  //  }
-
-  // public void updateWordRules() {
-
 
   /*
    * @see AbstractJavaScanner#createRules()
@@ -357,15 +402,12 @@ public class PHPCodeScanner extends AbstractJavaScanner {
     rules.add(new EndOfLineRule("//", token)); //$NON-NLS-1$
     rules.add(new EndOfLineRule("#", token)); //$NON-NLS-1$
     // Add rule for strings and character constants.
-    token = getToken(IPreferenceConstants.PHP_STRING);
-    rules.add(new MultiLineRule("\"", "\"", token, '\\')); //$NON-NLS-2$ //$NON-NLS-1$
-    rules.add(new MultiLineRule("`", "`", token, '\\')); //$NON-NLS-2$ //$NON-NLS-1$
-    rules.add(new MultiLineRule("'", "'", token, '\\')); //$NON-NLS-2$ //$NON-NLS-1$
-
-//  Add rule for operators and brackets
-       token= getToken(IPreferenceConstants.PHP_OPERATOR);
-       rules.add(new OperatorRule(token));
-       
+//    token = getToken(IPreferenceConstants.PHP_STRING_SQ);
+//    rules.add(new SingleQuoteStringRule(token));
+//    token = getToken(IPreferenceConstants.PHP_STRING_DQ);
+//    rules.add(new DoubleQuoteStringRule(token));
+    rules.add(new AccentStringRule(token));
+
     token = getToken(IPreferenceConstants.PHP_MULTILINE_COMMENT);
     rules.add(new MultiLineRule("/*", "*/", token)); //$NON-NLS-2$ //$NON-NLS-1$
     // Add generic whitespace rule.
@@ -373,8 +415,7 @@ public class PHPCodeScanner extends AbstractJavaScanner {
     // Add word rule for keywords, types, and constants.
     token = getToken(IPreferenceConstants.PHP_DEFAULT);
     PHPWordRule wordRule = new PHPWordRule(new PHPWordDetector(), token);
-       CombinedWordRule combinedWordRule= new CombinedWordRule(new PHPWordDetector(), token);
-       
+
     Token keyword = getToken(IPreferenceConstants.PHP_KEYWORD);
     Token functionName = getToken(IPreferenceConstants.PHP_FUNCTIONNAME);
     Token type = getToken(IPreferenceConstants.PHP_TYPE);
@@ -391,9 +432,9 @@ public class PHPCodeScanner extends AbstractJavaScanner {
       elbuffer = (PHPElement) buffer.get(i);
       if (elbuffer instanceof PHPKeyword) {
         name = ((PHPKeyword) elbuffer).getName();
-//        if (!name.equals("return")) {
+        if (!name.equals("return")) {
           wordRule.addWord(name, keyword);
-//        }
+        }
       } else if (elbuffer instanceof PHPFunction) {
         wordRule.addWord(((PHPFunction) elbuffer).getName(), functionName);
       } else if (elbuffer instanceof PHPType) {
@@ -402,15 +443,17 @@ public class PHPCodeScanner extends AbstractJavaScanner {
         wordRule.addWord(elbuffer.getName(), constant);
       }
     }
+
+    // Add word rule for keyword 'return'.
+    token = getToken(IPreferenceConstants.PHP_KEYWORD_RETURN);
+    wordRule.addWord("return", token);
+
+    //  Add rule for operators and brackets (at the end !)
+    rules.add(new OperatorRule(getToken(IPreferenceConstants.PHP_OPERATOR), getToken(IPreferenceConstants.PHP_BRACE_OPERATOR)));
+
     rules.add(wordRule);
-    
-//      Add word rule for keyword 'return'.
-//     CombinedWordRule.WordMatcher returnWordRule= new CombinedWordRule.WordMatcher();
-//     token= getToken(IPreferenceConstants.PHP_KEYWORD_RETURN);
-//     returnWordRule.addWord("return", token);  //$NON-NLS-1$
-//     combinedWordRule.addWordMatcher(returnWordRule);
-//     rules.add(combinedWordRule);
-//     
+
+    setDefaultReturnToken(getToken(IPreferenceConstants.PHP_DEFAULT));
     return rules;
   }
-}
+}
\ No newline at end of file