Gözetimli Makine Öğrenmesiyle Noktalama ve Etkisiz Kelime Sıklıkları Kullanarak Yazar Tanıma


UYAR T., UYAR K. K., YAĞLI E.

Bilişim Teknolojileri Dergisi, cilt.14, sa.2, ss.183-190, 2021 (Hakemli Dergi) identifier

Özet

Bu çalışmada köşe yazısı uzunluğundaki yazılarda noktalama ve etkisiz kelime kullanım sıklığı gibi basit özniteliklerin yazar tanımada yeterli olduğu ortaya konmuştur. Cumhuriyet gazetesi yazarlarından sıkça köşe yazan 6 adedi seçilerek her birinin çalışmanın başladığı tarihten geriye doğru son 120 köşe yazıları alınmış, her bir yazı için bir takım etkisiz kelime ve noktalama işaretlerinin kullanım sıklıklarına dayanan dokuz adet öznitelik elde edilmiştir. Sekiz gözetimli yapay öğrenme algoritması eğitildikten sonra yazının yazarını tanıma başarısı önişlemsiz ve önişlemden geçirilmiş veri kümelerinde ayrı ayrı ölçülmüş, asgari %82 ve azami %92 olmak üzere yüksek isabetli sonuçlar elde edilmiştir. Ölçeklemenin ve temel bileşen analizinin (PCA) başarıyı anlamlı miktarda değiştirmediği, ancak ölçekleme ve boyut azaltma yöntemi olarak doğrusal ayırtaç çözümlemenin (LDA) birlikte kullanılmasının en yakın komşu (kNN) ve Gaussian Naive Bayes (GNB) algoritmalarının yöntemlerin başarılarında yüksek anlamlı (p<0.001), destek vektör makineleri (SVM) algoritmasının başarısında ise anlamlı (p<0.05) bir fark yarattığı görülmüştür. Ayrıca karar ağacı temelli rasgele orman algoritmasında (RF) öznitelik önem analizi yapılarak cümle başına ortalama kelime sayısının ve virgül kullanma sıklığının en ayırıcı öznitelikler olduğu tespit edilmiştir.
This research asserts that such features as the frequency of stop words and punctuation marks are sufficient for author identification of the texts that are column-long. Six of Cumhuriyet columnists who periodically write in the newspaper were selected and 120 columns were collected from each. Nine features based on the frequency of particular stop words and punctuation marks were extracted. Eight supervised machine learning algorithms were trained with extracted feature set. Author identification performance of each algorithm was measured. The effect of dimension reduction and scaling on each algorithm were also examined. Following these procedures, minimum 82% and maximum 92% accuracy were obtained. It is also found that scaling or dimension reduction with principal component analysis (PCA) do not create significant difference alone on accuracy scores, while scaling and linear discriminant analysis significantly increases the validation scores of some of algorithms such as support vector machines (p<0.05), Gaussian Naïve Bayes, and k-nearest neighbour (p<0.001). Moreover, when feature importance of random forest algorithm is analysed, average word count in a sentence and comma frequency are found as the most important features for detecting the authors.