打印本文 打印本文  关闭窗口 关闭窗口
JSP抓取网页代码的程序
作者:采集员 文章来源:来源于网络 点击数: 更新时间:2005/9/10 14:27:39
<%@ page contentType="text/html;charset=gb2312"%>
<%  

String sCurrentLine;  

String sTotalString;  

sCurrentLine="";  

sTotalString="";  

java.io.InputStream l_urlStream;  

java.net.URL l_url = new java.net.URL("http://www.163.net/");  

java.net.HttpURLConnection l_connection = (java.net.HttpURLConnection) l_url.openConnection();  

l_connection.connect();  

l_urlStream = l_connection.getInputStream();  

java.io.BufferedReader l_reader = new java.io.BufferedReader(new java.io.InputStreamReader(l_urlStream));  

while ((sCurrentLine = l_reader.readLine()) != null)  

{  

sTotalString+=sCurrentLine;  

}  

out.println(sTotalString);  

%>

后记  

  虽然代码比较简单,但是,我认为根据这个,可以实现“网络爬虫”的功能,比如从页面找href连接,然后再得到那个连接,然后再“抓”,不停止地(当然可以限定层数),这样,可以实现“网页搜索”功能。  



打印本文 打印本文  关闭窗口 关闭窗口