a junit Testcase to test the parser
[phpeclipse.git] / net.sourceforge.phpeclipse / src / net / sourceforge / phpeclipse / phpeditor / php / PHPCodeScanner.java
index e73e00d..446c745 100644 (file)
@@ -15,40 +15,31 @@ import java.util.ArrayList;
 import java.util.List;
 import java.util.Vector;
 
-import net.sourceforge.phpeclipse.IPreferenceConstants;
-import net.sourceforge.phpeclipse.PHPeclipsePlugin;
+import net.sourceforge.phpdt.internal.ui.text.AbstractJavaScanner;
+import net.sourceforge.phpdt.ui.text.IColorManager;
+import net.sourceforge.phpdt.ui.text.IJavaColorConstants;
 import net.sourceforge.phpeclipse.phpeditor.PHPSyntaxRdr;
-import net.sourceforge.phpeclipse.phpeditor.util.PHPColorProvider;
 import net.sourceforge.phpeclipse.phpeditor.util.PHPWhitespaceDetector;
 import net.sourceforge.phpeclipse.phpeditor.util.PHPWordDetector;
 
 import org.eclipse.jface.preference.IPreferenceStore;
-import org.eclipse.jface.preference.PreferenceConverter;
-import org.eclipse.jface.text.TextAttribute;
-import org.eclipse.jface.text.rules.EndOfLineRule;
-import org.eclipse.jface.text.rules.ICharacterScanner;
-import org.eclipse.jface.text.rules.IRule;
-import org.eclipse.jface.text.rules.IToken;
-import org.eclipse.jface.text.rules.IWordDetector;
-import org.eclipse.jface.text.rules.MultiLineRule;
-import org.eclipse.jface.text.rules.RuleBasedScanner;
-import org.eclipse.jface.text.rules.SingleLineRule;
-import org.eclipse.jface.text.rules.Token;
-import org.eclipse.jface.text.rules.WhitespaceRule;
-import org.eclipse.jface.text.rules.WordRule;
+import org.eclipse.jface.text.rules.*;
 
 /**
  * PHP Code Scanner
  */
-public class PHPCodeScanner extends RuleBasedScanner implements IPreferenceConstants {
+public class PHPCodeScanner
+  extends AbstractJavaScanner {
 
-  private static Token variable;
-  private static Token keyword;
-  private static Token functionName;
-  private static Token string;
-  private static Token comment;
-  private static Token multi_comment;
-  private static Token other;
+//  private static Token variable;
+//  private static Token keyword;
+//  private static Token type;
+//  private static Token constant;
+//  private static Token functionName;
+//  private static Token string;
+//  private static Token comment;
+//  private static Token multi_comment;
+//  private static Token other;
 
   private class PHPWordRule extends WordRule {
     private StringBuffer fBuffer = new StringBuffer();
@@ -74,11 +65,12 @@ public class PHPCodeScanner extends RuleBasedScanner implements IPreferenceConst
           do {
             fBuffer.append((char) c);
             c = scanner.read();
-          } while (c != ICharacterScanner.EOF && fDetector.isWordPart((char) c));
+          } while (
+            c != ICharacterScanner.EOF && fDetector.isWordPart((char) c));
           scanner.unread();
 
           if (isVariable) {
-            return variable;
+            return getToken(IJavaColorConstants.PHP_VARIABLE);
           }
           IToken token = (IToken) fWords.get(fBuffer.toString());
           if (token != null)
@@ -96,93 +88,206 @@ public class PHPCodeScanner extends RuleBasedScanner implements IPreferenceConst
     }
   }
 
-  private static String[] fgConstants = { "__LINE__", "__FILE__", "true", "false", "null", "object", "array" };
-  //  private static TextAttribute fSingleLine;
-  //  private static TextAttribute fMultiLine;
-  //  private static TextAttribute fKeyword;
-  //  private static TextAttribute fFunctionName;
-  //  private static TextAttribute fString;
-  //  private static TextAttribute fVariable;
-  private PHPColorProvider fColorProvider;
+  //private PHPColorProvider fColorProvider;
 
+  private static String[] fgTokenProperties = {
+    IJavaColorConstants.PHP_MULTI_LINE_COMMENT,
+    IJavaColorConstants.PHP_SINGLE_LINE_COMMENT,
+    IJavaColorConstants.PHP_KEYWORD,
+    IJavaColorConstants.PHP_FUNCTIONNAME,
+    IJavaColorConstants.PHP_VARIABLE,
+    IJavaColorConstants.PHP_STRING,
+    IJavaColorConstants.PHP_TYPE,
+    IJavaColorConstants.PHP_CONSTANT,
+    IJavaColorConstants.PHP_DEFAULT };
   /**
-   * Creates a PHP code scanner
-   */
-  public PHPCodeScanner(PHPColorProvider provider) {
-    final IPreferenceStore store = PHPeclipsePlugin.getDefault().getPreferenceStore();
+       * Creates a PHP code scanner
+       */
+  // public PHPCodeScanner(JavaColorManager provider, IPreferenceStore store) {
+  public PHPCodeScanner(IColorManager manager, IPreferenceStore store) {
+    super(manager, store);
+    initialize();
+    //  //  final IPreferenceStore store = PHPeclipsePlugin.getDefault().getPreferenceStore();
+    //   Color BackgroundColor = provider.getColor(PreferenceConverter.getColor(store, PHP_EDITOR_BACKGROUND));
+    //    variable =
+    //      new Token(
+    //        new TextAttribute(
+    //          provider.getColor(PreferenceConverter.getColor(store, PHP_VARIABLE)),
+    //          BackgroundColor,
+    //          (store.getBoolean(PHP_VARIABLE_BOLD) ? SWT.BOLD : SWT.NONE)
+    //            + (store.getBoolean(PHP_VARIABLE_ITALIC) ? SWT.ITALIC : SWT.NONE)));
+    //      keyword =
+    //        new Token(new TextAttribute(
+    //          provider.getColor(PreferenceConverter.getColor(store, PHP_KEYWORD)),
+    //          BackgroundColor,
+    //    //SWT.NONE));
+    //   (store.getBoolean(PHP_KEYWORD_BOLD) ? SWT.BOLD : SWT.NONE) + (store.getBoolean(PHP_KEYWORD_ITALIC) ? SWT.ITALIC : SWT.NONE)));
+    //      type =
+    //        new Token(new TextAttribute(
+    //          provider.getColor(PreferenceConverter.getColor(store, PHP_TYPE)),
+    //          BackgroundColor,
+    //    //SWT.NONE));
+    //   (store.getBoolean(PHP_TYPE_BOLD) ? SWT.BOLD : SWT.NONE) + (store.getBoolean(PHP_TYPE_ITALIC) ? SWT.ITALIC : SWT.NONE)));
+    //      functionName =
+    //        new Token(new TextAttribute(
+    //          provider.getColor(PreferenceConverter.getColor(store, PHP_FUNCTIONNAME)),
+    //          BackgroundColor,
+    //    //SWT.NONE));
+    //  (store.getBoolean(PHP_FUNCTIONNAME_BOLD) ? SWT.BOLD : SWT.NONE)
+    //    + (store.getBoolean(PHP_FUNCTIONNAME_ITALIC) ? SWT.ITALIC : SWT.NONE)));
+    //      constant =
+    //        new Token(new TextAttribute(
+    //          provider.getColor(PreferenceConverter.getColor(store, PHP_CONSTANT)),
+    //          BackgroundColor,
+    //    //SWT.NONE));
+    //   (store.getBoolean(PHP_CONSTANT_BOLD) ? SWT.BOLD : SWT.NONE) + (store.getBoolean(PHP_CONSTANT_ITALIC) ? SWT.ITALIC : SWT.NONE)));
+    //      string =
+    //        new Token(new TextAttribute(
+    //          provider.getColor(PreferenceConverter.getColor(store, PHP_STRING)),
+    //          BackgroundColor,
+    //    //SWT.NONE));
+    //   (store.getBoolean(PHP_STRING_BOLD) ? SWT.BOLD : SWT.NONE ) + (store.getBoolean(PHP_STRING_ITALIC) ? SWT.ITALIC : SWT.NONE)));
+    //      comment =
+    //        new Token(new TextAttribute(
+    //          provider.getColor(PreferenceConverter.getColor(store, PHP_SINGLELINE_COMMENT)),
+    //          BackgroundColor,
+    //    //SWT.NONE));
+    //  (store.getBoolean(PHP_SINGLELINE_COMMENT_BOLD) ? SWT.BOLD : SWT.NONE )
+    //    + (store.getBoolean(PHP_SINGLELINE_COMMENT_ITALIC) ? SWT.ITALIC : SWT.NONE)));
+    //      multi_comment =
+    //        new Token(new TextAttribute(
+    //          provider.getColor(PreferenceConverter.getColor(store, PHP_MULTILINE_COMMENT)),
+    //          BackgroundColor,
+    //    //SWT.NONE));
+    //  (store.getBoolean(PHP_MULTILINE_COMMENT_BOLD) ? SWT.BOLD : SWT.NONE)
+    //    + (store.getBoolean(PHP_MULTILINE_COMMENT_ITALIC) ? SWT.ITALIC : SWT.NONE)));
+    //      other =
+    //        new Token(new TextAttribute(
+    //          provider.getColor(PreferenceConverter.getColor(store, PHP_DEFAULT)),
+    //          BackgroundColor,
+    //    //SWT.NONE));
+    //   (store.getBoolean(PHP_DEFAULT_BOLD) ? SWT.BOLD : SWT.NONE) + (store.getBoolean(PHP_DEFAULT_ITALIC) ? SWT.ITALIC : SWT.NONE)));
+    //    updateWordRules();
+  }
 
-    variable = new Token(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_VARIABLE))));
-    keyword = new Token(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_KEYWORD))));
-    functionName = new Token(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_FUNCTIONNAME))));
-    string = new Token(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_STRING))));
-    comment = new Token(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_SINGLELINE_COMMENT))));
-    multi_comment = new Token(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_MULTILINE_COMMENT))));
-    other = new Token(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_DEFAULT))));
+  //  public void updateToken(JavaColorManager provider) {
+  //    final IPreferenceStore store = PHPeclipsePlugin.getDefault().getPreferenceStore();
+  //
+  //    Color BackgroundColor = provider.getColor(PreferenceConverter.getColor(store, PHP_EDITOR_BACKGROUND));
+  //
+  //    variable.setData(
+  //      new TextAttribute(
+  //        provider.getColor(PreferenceConverter.getColor(store, PHP_VARIABLE)),
+  //        BackgroundColor,
+  //        (store.getBoolean(PHP_VARIABLE_BOLD) ? SWT.BOLD : SWT.NONE)
+  //          + (store.getBoolean(PHP_VARIABLE_ITALIC) ? SWT.ITALIC : SWT.NONE)));
+  //    keyword.setData(
+  //      new TextAttribute(
+  //        provider.getColor(PreferenceConverter.getColor(store, PHP_KEYWORD)),
+  //        BackgroundColor,
+  //        (store.getBoolean(PHP_KEYWORD_BOLD) ? SWT.BOLD : SWT.NONE)
+  //          + (store.getBoolean(PHP_KEYWORD_ITALIC) ? SWT.ITALIC : SWT.NONE)));
+  //    type.setData(
+  //      new TextAttribute(
+  //        provider.getColor(PreferenceConverter.getColor(store, PHP_TYPE)),
+  //        BackgroundColor,
+  //        (store.getBoolean(PHP_TYPE_BOLD) ? SWT.BOLD : SWT.NONE) + (store.getBoolean(PHP_TYPE_ITALIC) ? SWT.ITALIC : SWT.NONE)));
+  //    functionName.setData(
+  //      new TextAttribute(
+  //        provider.getColor(PreferenceConverter.getColor(store, PHP_FUNCTIONNAME)),
+  //        BackgroundColor,
+  //        (store.getBoolean(PHP_FUNCTIONNAME_BOLD) ? SWT.BOLD : SWT.NONE)
+  //          + (store.getBoolean(PHP_FUNCTIONNAME_ITALIC) ? SWT.ITALIC : SWT.NONE)));
+  //    constant.setData(
+  //      new TextAttribute(
+  //        provider.getColor(PreferenceConverter.getColor(store, PHP_CONSTANT)),
+  //        BackgroundColor,
+  //        (store.getBoolean(PHP_CONSTANT_BOLD) ? SWT.BOLD : SWT.NONE)
+  //          + (store.getBoolean(PHP_CONSTANT_ITALIC) ? SWT.ITALIC : SWT.NONE)));
+  //    string.setData(
+  //      new TextAttribute(
+  //        provider.getColor(PreferenceConverter.getColor(store, PHP_STRING)),
+  //        BackgroundColor,
+  //        (store.getBoolean(PHP_STRING_BOLD) ? SWT.BOLD : SWT.NONE) + (store.getBoolean(PHP_STRING_ITALIC) ? SWT.ITALIC : SWT.NONE)));
+  //    comment.setData(
+  //      new TextAttribute(
+  //        provider.getColor(PreferenceConverter.getColor(store, PHP_SINGLELINE_COMMENT)),
+  //        BackgroundColor,
+  //        (store.getBoolean(PHP_SINGLELINE_COMMENT_BOLD) ? SWT.BOLD : SWT.NONE)
+  //          + (store.getBoolean(PHP_SINGLELINE_COMMENT_ITALIC) ? SWT.ITALIC : SWT.NONE)));
+  //    multi_comment.setData(
+  //      new TextAttribute(
+  //        provider.getColor(PreferenceConverter.getColor(store, PHP_MULTILINE_COMMENT)),
+  //        BackgroundColor,
+  //        (store.getBoolean(PHP_MULTILINE_COMMENT_BOLD) ? SWT.BOLD : SWT.NONE)
+  //          + (store.getBoolean(PHP_MULTILINE_COMMENT_ITALIC) ? SWT.ITALIC : SWT.NONE)));
+  //    other.setData(
+  //      new TextAttribute(
+  //        provider.getColor(PreferenceConverter.getColor(store, PHP_DEFAULT)),
+  //        BackgroundColor,
+  //        (store.getBoolean(PHP_DEFAULT_BOLD) ? SWT.BOLD : SWT.NONE)
+  //          + (store.getBoolean(PHP_DEFAULT_ITALIC) ? SWT.ITALIC : SWT.NONE)));
+  //  }
 
-    List rules = new ArrayList();
+  // public void updateWordRules() {
 
+  /*
+   * @see AbstractJavaScanner#getTokenProperties()
+   */
+  protected String[] getTokenProperties() {
+    return fgTokenProperties;
+  }
+  /*
+   * @see AbstractJavaScanner#createRules()
+   */
+  protected List createRules() {
+    List rules = new ArrayList();
+    Token token= getToken(IJavaColorConstants.PHP_SINGLE_LINE_COMMENT);
     // Add rule for single line comments.
-    rules.add(new EndOfLineRule("//", comment)); //$NON-NLS-1$
-    rules.add(new EndOfLineRule("#", comment));
-
+    rules.add(new EndOfLineRule("//", token)); //$NON-NLS-1$
+    rules.add(new EndOfLineRule("#", token)); //$NON-NLS-1$
     // Add rule for strings and character constants.
-    rules.add(new MultiLineRule("\"", "\"", string, '\\')); //$NON-NLS-2$ //$NON-NLS-1$
-    rules.add(new SingleLineRule("'", "'", string, '\\')); //$NON-NLS-2$ //$NON-NLS-1$
+    token= getToken(IJavaColorConstants.PHP_STRING);
+    rules.add(new MultiLineRule("\"", "\"", token, '\\')); //$NON-NLS-2$ //$NON-NLS-1$
+    rules.add(new MultiLineRule("`", "`", token, '\\')); //$NON-NLS-2$ //$NON-NLS-1$
+    rules.add(new MultiLineRule("'", "'", token, '\\')); //$NON-NLS-2$ //$NON-NLS-1$
+
+    //previous version
+    //rules.add(new SingleLineRule("'", "'", token, '\\')); //$NON-NLS-2$ //$NON-NLS-1$
 
-    // rules.add(new SingleLineRule("//", "//", php_comment));
-    rules.add(new MultiLineRule("/*", "*/", multi_comment));
 
+    token= getToken(IJavaColorConstants.PHP_MULTI_LINE_COMMENT);
+    rules.add(new MultiLineRule("/*", "*/", token)); //$NON-NLS-2$ //$NON-NLS-1$
     // Add generic whitespace rule.
     rules.add(new WhitespaceRule(new PHPWhitespaceDetector()));
-
     // Add word rule for keywords, types, and constants.
-    PHPWordRule wordRule = new PHPWordRule(new PHPWordDetector(), other);
-    //choochter-->
-    for (int i = 0; i < PHPKeywords.PHP_KEYWORS.length; i++)
-      wordRule.addWord(PHPKeywords.PHP_KEYWORS[i], keyword);
-
-    /*Read in the keywords from the XML file*/
-    PHPSyntaxRdr syntaxRdr = new PHPSyntaxRdr();
-    syntaxRdr.readFromFile(
-      "C:\\eclipse\\workspace\\net.sourceforge.phpeclipse\\src\\net\\sourceforge\\phpeclipse\\phpeditor"
-        + java.io.File.separator
-        + "syntax.xml");
-    {
-      Vector Vbuffer = syntaxRdr.getKeywords();
-      String VString = null;
-      //Read keywords
-      while ((Vbuffer != null) && (!Vbuffer.isEmpty() && ((VString = (String) Vbuffer.remove(0)) != null))) {
-        wordRule.addWord(VString, keyword);
-      }
-      //Read functions  - to be tested
-      Vbuffer = syntaxRdr.getFunctions();
-      while ((Vbuffer != null) && (!Vbuffer.isEmpty() && ((VString = (String) Vbuffer.remove(0)) != null))) {
-        wordRule.addWord(VString, functionName);
-      }
+    token= getToken(IJavaColorConstants.PHP_DEFAULT);
+    PHPWordRule wordRule = new PHPWordRule(new PHPWordDetector(), token);
+
+    Token keyword= getToken(IJavaColorConstants.PHP_KEYWORD);
+    Token functionName= getToken(IJavaColorConstants.PHP_FUNCTIONNAME);
+    Token type= getToken(IJavaColorConstants.PHP_TYPE);
+    Token constant= getToken(IJavaColorConstants.PHP_CONSTANT);
+    PHPSyntaxRdr.readInSyntax();
+    Vector buffer = PHPSyntaxRdr.getsyntaxdata();
+  //  String strbuffer = null;  unused
+    PHPElement elbuffer = null;
+    while ((buffer != null)
+      && (!buffer.isEmpty()
+        && ((elbuffer = (PHPElement) buffer.remove(0)) != null))) {
+      if (elbuffer instanceof PHPKeyword)
+        wordRule.addWord(((PHPKeyword) elbuffer).getName(), keyword);
+      if (elbuffer instanceof PHPFunction)
+        wordRule.addWord(((PHPFunction) elbuffer).getName(), functionName);
+      if (elbuffer instanceof PHPType)
+        wordRule.addWord(elbuffer.getName(), type);
+      if (elbuffer instanceof PHPConstant)
+        wordRule.addWord(elbuffer.getName(), constant);
     }
-    
-    //for (int i = 0; i < PHPFunctionNames.FUNCTION_NAMES.length; i++)
-    //  wordRule.addWord(PHPFunctionNames.FUNCTION_NAMES[i], functionName);
-    //<--choochter
-    for (int i = 0; i < fgConstants.length; i++)
-      wordRule.addWord(fgConstants[i], functionName);
     rules.add(wordRule);
-
-    IRule[] result = new IRule[rules.size()];
-    rules.toArray(result);
-    setRules(result);
-  }
-
-  public void updateToken(PHPColorProvider provider) {
-    final IPreferenceStore store = PHPeclipsePlugin.getDefault().getPreferenceStore();
-
-    variable.setData(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_VARIABLE))));
-    keyword.setData(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_KEYWORD))));
-    functionName.setData(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_FUNCTIONNAME))));
-    string.setData(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_STRING))));
-    comment.setData(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_SINGLELINE_COMMENT))));
-    multi_comment.setData(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_MULTILINE_COMMENT))));
-    other.setData(new TextAttribute(provider.getColor(PreferenceConverter.getColor(store, PHP_DEFAULT))));
-
+   // IRule[] result = new IRule[rules.size()];unused
+    //    rules.toArray(result);
+    //    setRules(result);
+    return rules;
   }
 }