0
点赞
收藏
分享

微信扫一扫

使用StreamTokenizer统计文件的字符数


 关键技术:

  • 类java.io.StreamTokenizer可以获取输入流并将其分析为Token(标记)。StreamTokenizer的nextToken方法将读取下一个标记
  • 默认情况下,StreamTokenizer认为下列内容是Token:字母、数字、除C和C++注释符号以外的其他符号。如符号“/”不是Token,注释后的内容也不是,而“\”是Token。单引号和双引号以及其中的内容,只能算是一个Token。
  • 要统计文件的字符数,不能简单地统计Token数,因为字符数不等于Token,按照Token的规定,引号中的内容就算是10页也算是一个Token。如果希望引号和引号中的内容都算作Token,应该通过StreamTokenizer的ordinaryCha方法将单引号和双引号当做普通字符处理。



<!--


Code highlighting produced by Actipro CodeHighlighter (freeware)

​​​ http://www.CodeHighlighter.com/
​​​
-->
package
book.io;


import
java.io.BufferedReader;

import
java.io.FileReader;

import
java.io.IOException;

import
java.io.StreamTokenizer;


/**

* 使用StreamTokenizer来统计文件中的字符数
* StreamTokenizer 类获取输入流并将其分析为“标记”,允许一次读取一个标记。
* 分析过程由一个表和许多可以设置为各种状态的标志控制。
* 该流的标记生成器可以识别标识符、数字、引用的字符串和各种注释样式。
*
* 默认情况下,StreamTokenizer认为下列内容是Token: 字母、数字、除C和C++注释符号以外的其他符号。
* 如符号"/"不是Token,注释后的内容也不是,而"\"是Token。单引号和双引号以及其中的内容,只能算是一个Token。
* 统计文章字符数的程序,不是简单的统计Token数就万事大吉,因为字符数不等于Token。按照Token的规定,
* 引号中的内容就算是10页也算一个Token。如果希望引号和引号中的内容都算作Token,应该调用下面的代码:
* st.ordinaryChar('\'');
* st.ordinaryChar('\"');

*/


public

class
StatisFileChars {


/**

* 统计字符数
*
@param
fileName 文件名
*
@return
字符数

*/


public

static

long
statis(String fileName) {

FileReader fileReader
=

null
;

try
{
fileReader
=

new
FileReader(fileName);

//
创建分析给定字符流的标记生成器


StreamTokenizer st
=

new
StreamTokenizer(
new
BufferedReader(
fileReader));


//
ordinaryChar方法指定字符参数在此标记生成器中是“普通”字符。

//
下面指定单引号、双引号和注释符号是普通字符


st.ordinaryChar(
'
\
''
);


st.ordinaryChar(
'
\"
'
);
st.ordinaryChar(
'
/
'
);

String s;

int
numberSum
=

0
;

int
wordSum
=

0
;

int
symbolSum
=

0
;

int
total
=

0
;

//
nextToken方法读取下一个Token.

//
TT_EOF指示已读到流末尾的常量。



while
(st.nextToken()
!=
StreamTokenizer.TT_EOF) {

//
在调用 nextToken 方法之后,ttype字段将包含刚读取的标记的类型



switch
(st.ttype) {

//
TT_EOL指示已读到行末尾的常量。



case
StreamTokenizer.TT_EOL:

break
;

//
TT_NUMBER指示已读到一个数字标记的常量



case
StreamTokenizer.TT_NUMBER:

//
如果当前标记是一个数字,nval字段将包含该数字的值


s
=
String.valueOf((st.nval));
System.out.println(s);
numberSum
+=
s.length();

break
;

//
TT_WORD指示已读到一个文字标记的常量



case
StreamTokenizer.TT_WORD:

//
如果当前标记是一个文字标记,sval字段包含一个给出该文字标记的字符的字符串


s
=
st.sval;
wordSum
+=
s.length();

break
;

default
:

//
如果以上3中类型都不是,则为英文的标点符号


s
=
String.valueOf((
char
) st.ttype);
symbolSum
+=
s.length();
}
}
System.out.println(
"
sum of number =
"

+
numberSum);
System.out.println(
"
sum of word =
"

+
wordSum);
System.out.println(
"
sum of symbol =
"

+
symbolSum);
total
=
symbolSum
+
numberSum
+
wordSum;
System.out.println(
"
Total =
"

+
total);

return
total;
}
catch
(Exception e) {
e.printStackTrace();

return

-
1
;
}
finally
{

if
(fileReader
!=

null
) {

try
{
fileReader.close();
}
catch
(IOException e1) {
}
}
}
}


public

static

void
main(String[] args) {
String fileName
=

"
c:/temp/newTemp.txt
"
;
StatisFileChars.statis(fileName);
}
}

运行结果:


sum of number = 11

sum of word = 55

sum of symbol = 4

Total = 70

举报

相关推荐

0 条评论