有一個大List集合，遍歷進(jìn)行一些耗時操作，不能達(dá)到性能要求，查詢?nèi)罩荆瑔蝹€任務(wù)雖然有不少數(shù)據(jù)庫和第三方API請求，比較耗時，但返回效率尚可，所以優(yōu)先采用多線程方式進(jìn)行處理并行請求數(shù)據(jù)庫和第三方API，因為處理完還要對list所屬的數(shù)據(jù)進(jìn)行操作，所以，線程池多線程處理要等待全部處理完。

相關(guān)的代碼如下：

@Test
publicvoidtestTB()
{
Listlist=newArrayList();
for(inti=0;i900;i++)
{
list.add("a");
}
ExecutorServicetouchWorker=Executors.newFixedThreadPool(4,newThreadFactoryBuilder().setNameFormat("touch-send-worker-%d").build());
intsize=list.size();
if(size>100)
{
intbatch=size%100==0?size/100:size/100+1;
for(intj=0;jintend=(j+1)*100;
if(end>size)
{
end=size;
}
ListsubList=list.subList(j*100,end);
touchWorker.execute(()->sleepTest(subList));
}
touchWorker.shutdown();
while(true)
{
if(touchWorker.isTerminated())
{
break;
}
}
}
else
{
sleepTest(list);
}
}
privatevoidsleepTest(ListsubList)
{
for(Stringi:subList)
{
try
{
//耗時操作
System.out.println("######"+i+"######"+Thread.currentThread().getName());
//Thread.sleep(1000*30);
}
catch(Exceptione)
{
e.printStackTrace();
}
}
}

void shutdown()

啟動一次順序關(guān)閉，執(zhí)行以前提交的任務(wù)，但不接受新任務(wù)。若已經(jīng)關(guān)閉，則調(diào)用沒有其他作用。

拋出：SecurityException - 如果安全管理器存在并且關(guān)閉，此 ExecutorService 可能操作某些不允許調(diào)用者修改的線程（因為它沒有保持RuntimePermission("modifyThread")），或者安全管理器的 checkAccess 方法拒絕訪問。

boolean isTerminated()

若關(guān)閉后所有任務(wù)都已完成，則返回true。注意除非首先調(diào)用shutdown或shutdownNow，否則isTerminated永不為true。返回：若關(guān)閉后所有任務(wù)都已完成，則返回true。

當(dāng)然還有一種方法，是之前寫的，方法比上邊的臃腫了，不過會獲取返回結(jié)果進(jìn)行處理：邏輯是獲取所有頁面的List，多線程遍歷List后，將所有頁面的違規(guī)詞查出發(fā)送郵件，代碼：

/**
*落地頁違規(guī)詞排查(多線程)。
*@return
*/
@Test
publicvoidgetViolationsLandpageByThreadPool(){
try{
landPageService.getViolationsLandpageByThreadPool("1年");
}catch(Exceptione){
e.printStackTrace();
}
}

//開始時間
longstart=System.currentTimeMillis();
/*Listlist=newArrayList();
for(inti=1;i<=?3000;?i++)?{
????list.add(i?+?"");
}*/

Listlist=landPageDao.getPageIdAndPath();
//初始化敏感詞庫對象
SensitiveWordInitsensitiveWordInit=newSensitiveWordInit();
//從數(shù)據(jù)庫中獲取敏感詞對象集合（目前先放在資源文件中，等以后比較多或者需要界面操作時再用數(shù)據(jù)庫）
//構(gòu)建敏感詞庫
MapsensitiveWordMap=sensitiveWordInit.initKeyWord(vioKey);
//傳入SensitivewordEngine類中的敏感詞庫
SensitivewordEngine.sensitiveWordMap=sensitiveWordMap;
//每500條數(shù)據(jù)開啟一條線程
intthreadSize=11000;
//總數(shù)據(jù)條數(shù)
intdataSize=list.size();
//線程數(shù)
intthreadNum=dataSize/threadSize+1;
//定義標(biāo)記,過濾threadNum為整數(shù)
booleanspecial=dataSize%threadSize==0;

/*list.parallelStream().forEach(url->{});*/
//創(chuàng)建一個線程池
ExecutorServiceexec=Executors.newFixedThreadPool(threadNum);
//定義一個任務(wù)集合
List>>tasks=newArrayList>>();
Callable>task=null;
ListcutList=null;

//確定每條線程的數(shù)據(jù)
for(inti=0;iif(i==threadNum-1){
if(special){
break;
}
cutList=list.subList(threadSize*i,dataSize);
}else{
cutList=list.subList(threadSize*i,threadSize*(i+1));
}
// System.out.println("第"+(i + 1)+"組："+ cutList.toString());
finalListlistStr=cutList;
task=newCallable>(){

@Override
publicListcall()throwsException{
// System.out.println(Thread.currentThread().getName()+"線程："+ listStr.get(0).getPageId());
Listresult=newArrayList();
for(LandPagelandPage:listStr){
LongpageId=landPage.getPageId();
Stringpath=landPage.getPath();
Integerversion=landPage.getVersion();
StringpageUrl=landPage.getPageUrl();
StringactualUser=landPage.getActualUser();
IntegerpageType=landPage.getPageType();
if(StringUtils.isNotBlank(path)){
//調(diào)用第一個方法，獲取html字符串
Stringhtml=httpRequest(path);
//調(diào)用第二個方法，獲取包含的違規(guī)詞
if(StringUtils.isNotBlank(html)){
html=html.replaceAll("","");
//Stringbuffer=htmlFiter2(html);
SetbufferSet=SensitivewordEngine.getSensitiveWord(html,1);//得到敏感詞有哪些，傳入2表示獲取所有敏感詞//sensitiveWordFiltering(html);
/*String[]word={"備案","錯過將延誤","僅需1980元"};
for(inti=0;i
String[]word={
"一年","1年學(xué)完","一年學(xué)完","1年內(nèi)學(xué)完","一年內(nèi)學(xué)完"
};
for(inti=0;iif(html.contains(word[i])){
bufferSet.add(word[i]);
}
}
if(null!=bufferSet&&bufferSet.size()>0){

StringsensitiveWord=bufferSet==null?null:bufferSet.toString();
if("[]".equals(sensitiveWord)){
sensitiveWord="";
}
LandPagepage=newLandPage();
page.setPageId(pageId);
page.setPath(path);
page.setVersion(version);
page.setDescription(sensitiveWord);
page.setPageUrl(pageUrl);
page.setActualUser(actualUser);
page.setPageType(pageType);
result.add(page);
System.out.println(pageUrl);
}
}
}
}
return(List)result;
}
};
//這里提交的任務(wù)容器列表和返回的Future列表存在順序?qū)?yīng)的關(guān)系
tasks.add(task);
}

List>>results=exec.invokeAll(tasks);
Listresult=newArrayList();
for(Future>future:results){
result.addAll(future.get());
}

//關(guān)閉線程池
exec.shutdown();
System.out.println("線程任務(wù)執(zhí)行結(jié)束");
System.err.println("執(zhí)行任務(wù)消耗了："+(System.currentTimeMillis()-start)+"毫秒");

System.out.println("共有###########"+list.size());

result就是需要發(fā)送郵件的相關(guān)結(jié)果了

審核編輯 ：李倩