Table of Contents

Abstract i
TableofContents viii
ListofFigures x
ListofTables xii
1 Introduction 1
1.1 TextSummarization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 SummarizationwithSocial Information . . . . . . . . . . . . . . . . . . . . 3
1.3 Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4 DissertationStructure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2 Preliminaries 10
2.1 TextSummarizationOverview. . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.1 Abriefhistory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.2 Summarizationevaluation . . . . . . . . . . . . . . . . . . . . . . . 12
Manualevaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
Automaticevaluation. . . . . . . . . . . . . . . . . . . . . . . . . . 13
Semi-automaticevaluation . . . . . . . . . . . . . . . . . . . . . . . 15
Significanttest . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.2 SummarizationwithSocialContext . . . . . . . . . . . . . . . . . . . . . . 16
2.2.1 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.2.2 Literaturereview . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.3 Preparation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3.1 Datasets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
SoLSCSum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
USAToday-CNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
VSoLSCSum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.3.2 Dataobservation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.3.3 Datasegmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.3.4 Evaluationprocedure . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3 ModelingIntra-relationsandInter-relations 24
3.1 RankingwithSimilarityFeatures . . . . . . . . . . . . . . . . . . . . . . . 24
3.1.1 Featureextraction . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.1.2 Socialcontext integration . . . . . . . . . . . . . . . . . . . . . . . 29
3.1.3 Sentenceselection. . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.1.4 Baselines. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.1.5 ResultsandDiscussion . . . . . . . . . . . . . . . . . . . . . . . . . 31
ROUGE-scores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
Featurecontributionanalysis . . . . . . . . . . . . . . . . . . . . . 34
Tuningtrade-o↵parameter. . . . . . . . . . . . . . . . . . . . . . . 35
Tweet-sizeanalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
Hypothesisvalidation. . . . . . . . . . . . . . . . . . . . . . . . . . 37
Outputobservation . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.2 ImprovingSummarizationwithSemanticSimilarityandILP . . . . . . . . 39
3.2.1 Topicalwordgeneration . . . . . . . . . . . . . . . . . . . . . . . . 40
Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
Inference. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.2.2 Sentencescoring . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
Inter-scorecalculation . . . . . . . . . . . . . . . . . . . . . . . . . 42
Intra-scorecalculation . . . . . . . . . . . . . . . . . . . . . . . . . 43
Socialcontext integration . . . . . . . . . . . . . . . . . . . . . . . 44
3.2.3 Sentenceselection. . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
Score-basedselection . . . . . . . . . . . . . . . . . . . . . . . . . . 45
ILP-basedselection . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.2.4 ResultsandDiscussion . . . . . . . . . . . . . . . . . . . . . . . . . 48
ROUGE-scores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
Topicanalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
Tuningbalancedparameter . . . . . . . . . . . . . . . . . . . . . . 54
Importantwordobservation . . . . . . . . . . . . . . . . . . . . . . 55
Wordoverlappingobservation . . . . . . . . . . . . . . . . . . . . . 56
Erroranalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.3 Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4 ExploitingCommonTopicswithMatrixCo-factorization 60
4.1 Non-negativeMatrixFactorization . . . . . . . . . . . . . . . . . . . . . . 60
4.2 DocumentRepresentation . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4.3 BasicModel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4.4 AdvancedModelwithMatrixCo-factorization . . . . . . . . . . . . . . . . 62
4.4.1 Matrixcreation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.4.2 Non-negativematrixco-factorization(NMCF) . . . . . . . . . . . . 64
Case1: thesametopicnumber . . . . . . . . . . . . . . . . . . . . 64
Case2: k1>k2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
Case3: k1<k2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
Sentenceselection. . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
4.5 ResultsandDiscussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
4.5.1 ROUGE-scores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
NMCFvs.NMF . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
Comparisonwithnon-socialcontextmethods. . . . . . . . . . . . . 68
Comparisonwithsocialcontextmethods . . . . . . . . . . . . . . . 70
ROUGE-scoresonDUC2004 . . . . . . . . . . . . . . . . . . . . . 70
4.5.2 Topicanalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
Case1: thesamenumberoftopics . . . . . . . . . . . . . . . . . . 72
Case2: k1>k2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
Case3: k1<k2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
4.5.3 Normalizationobservation . . . . . . . . . . . . . . . . . . . . . . . 74
4.5.4 Errorrateinoptimization . . . . . . . . . . . . . . . . . . . . . . . 75
4.5.5 Outputanalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.6 Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
5 LearningtoSummarizebyUtilizingSocialContext 78
5.1 LearningtoRankSentenceswithUserPosts . . . . . . . . . . . . . . . . . 78
5.1.1 Basicmodel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
5.1.2 Ourmodelwithnewfeatures . . . . . . . . . . . . . . . . . . . . . 80
Newlocal features . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
Newsocial features . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
5.1.3 Baselines. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
5.1.4 ResultsandDiscussion . . . . . . . . . . . . . . . . . . . . . . . . . 85
ROUGE-scores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
Featurecontribution . . . . . . . . . . . . . . . . . . . . . . . . . . 87
SummaryperformancewithL2Rmethods . . . . . . . . . . . . . . 89
Outputobservation . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
5.2 ImprovingSummarizationwithThird-partySources . . . . . . . . . . . . . 91
5.2.1 Newdefinitionofsocialcontext . . . . . . . . . . . . . . . . . . . . 92
5.2.2 Datacollectionofthird-partysources . . . . . . . . . . . . . . . . . 93
5.2.3 Basicmodel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
ConditionalRandomFields . . . . . . . . . . . . . . . . . . . . . . 94
Basicfeatures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
Newlocal features . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.2.4 Novelmodelwithsocialcontext integration . . . . . . . . . . . . . 96
User-generatedfeatures. . . . . . . . . . . . . . . . . . . . . . . . . 97
Third-partyfeatures . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.2.5 Sentenceselection. . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.2.6 Baselines. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
5.2.7 ResultsandDiscussion . . . . . . . . . . . . . . . . . . . . . . . . . 100
ROUGE-scores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
Featurecontributionanalysis . . . . . . . . . . . . . . . . . . . . . 104
Relevantdocumentanalysis . . . . . . . . . . . . . . . . . . . . . . 107
Trainingdataobservation . . . . . . . . . . . . . . . . . . . . . . . 107
Sentencepositionobservation . . . . . . . . . . . . . . . . . . . . . 109
Erroranalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
5.3 Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
6 SummarizationwithConvolutionalNeuralNetworks 114
6.1 ConvolutionalNeuralNetworks . . . . . . . . . . . . . . . . . . . . . . . . 115
6.2 BasicModel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
6.3 OurModelwithSocialContextIntegration. . . . . . . . . . . . . . . . . . 117
6.4 Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
6.5 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
6.6 ResultsandDiscussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
6.6.1 ROUGE-scores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
6.6.2 Featurecontributionanalysis . . . . . . . . . . . . . . . . . . . . . 122
6.6.3 ROUGE-scoresandsentenceselectionbehaviour . . . . . . . . . . . 123
6.6.4 Sentencelengthobservation . . . . . . . . . . . . . . . . . . . . . . 124
6.6.5 Outputobservation . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
6.7 Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
7 ConclusionandFutureWork 128
7.1 ConclusionandMainFindings . . . . . . . . . . . . . . . . . . . . . . . . . 128
7.2 FutureWork. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131