首页 > 最新文献

Anais do 14. Congresso Brasileiro de Inteligência Computacional最新文献

英文 中文
Classificação Local utilizando Least Square Support Vector Machine (LSSVM) 分类<s:1>局部效用最小二乘支持向量机(LSSVM)
Pub Date : 2020-01-01 DOI: 10.21528/cbic2019-98
Rômulo Bandeira Pimentel Drumond, R. F. Albuquerque, D. P. Sousa, G. Barreto
Resumo—Os modelos de classificação global são métodos que utilizam todo o conjunto de dados de treinamento disponı́vel para a construção de um único modelo que especifique a superfı́cie de separação dos dados. Alternativamente, modelos de classificação local baseiam-se na construção de classificadores locais treinados a partir de subconjuntos dos dados de treinamento. Este artigo apresenta um estudo sobre a abordagem de classificação local para projeto de classificadores baseados em máquinas de vetoressuporte de mı́nimos quadrados (LSSVM). As partições locais foram definidas a partir do algoritmo de agrupamento Kmédias. Os dados dos agrupamentos resultantes foram utilizados para treinar cada modelo LSSVM local. Diversos ı́ndices de validação de agrupamentos foram utilizados como critério de determinação do número de partições locais para cada problema de classificação estudado. Experimentos com vários conjuntos de dados de classificação foram realizados para comparar a abordagem local com a global. Keywords—Reconhecimento de Padrões; Modelos de Classificação Local; Máquinas de Vetores Suporte; K-médias; Least Squares Support Vector Machine;
总结—全球模型的分类方法是使用整个训练数据集描述ı́或者建立一个模型,指定其ı́cie数据分离。另外,局部分类模型是基于从训练数据子集构造训练的局部分类器。本文提供了一个研究项目的网站分类方法分类器基于vetoressuporte机器mı́nimos广场(LSSVM)。利用kmeans聚类算法定义了局部分区。利用聚类数据对每个本地LSSVM模型进行训练。验证不同ı́ndices组被用作标准确定分区的数量为每个问题的分类研究。用不同的分类数据集进行了实验,比较了局部方法和全局方法。关键词—模式识别;局部分类模型;支持向量机;K -médias;最小二乘向量机;
{"title":"Classificação Local utilizando Least Square Support Vector Machine (LSSVM)","authors":"Rômulo Bandeira Pimentel Drumond, R. F. Albuquerque, D. P. Sousa, G. Barreto","doi":"10.21528/cbic2019-98","DOIUrl":"https://doi.org/10.21528/cbic2019-98","url":null,"abstract":"Resumo—Os modelos de classificação global são métodos que utilizam todo o conjunto de dados de treinamento disponı́vel para a construção de um único modelo que especifique a superfı́cie de separação dos dados. Alternativamente, modelos de classificação local baseiam-se na construção de classificadores locais treinados a partir de subconjuntos dos dados de treinamento. Este artigo apresenta um estudo sobre a abordagem de classificação local para projeto de classificadores baseados em máquinas de vetoressuporte de mı́nimos quadrados (LSSVM). As partições locais foram definidas a partir do algoritmo de agrupamento Kmédias. Os dados dos agrupamentos resultantes foram utilizados para treinar cada modelo LSSVM local. Diversos ı́ndices de validação de agrupamentos foram utilizados como critério de determinação do número de partições locais para cada problema de classificação estudado. Experimentos com vários conjuntos de dados de classificação foram realizados para comparar a abordagem local com a global. Keywords—Reconhecimento de Padrões; Modelos de Classificação Local; Máquinas de Vetores Suporte; K-médias; Least Squares Support Vector Machine;","PeriodicalId":160474,"journal":{"name":"Anais do 14. Congresso Brasileiro de Inteligência Computacional","volume":"33 1","pages":"0"},"PeriodicalIF":0.0,"publicationDate":"2020-01-01","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"125394217","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":0,"RegionCategory":"","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
引用次数: 1
Linear Regression Models for Interval-Valued Data using Log-transformation 基于对数变换的区间值数据线性回归模型
Pub Date : 2020-01-01 DOI: 10.21528/cbic2019-3
Nykolas Mayko Maia Barbosa, J. Gomes, C. Mattos, Diego Farias de Oliveira
—Solving linear regression problems on interval- valued data is a challenging task that may arise in many applications. Because of that, many researchers have designed methods for such task in recent years. Although much effort has been devoted to this problem, all available methods rely on modeling the problem as a constrained optimization task, which may lead to sub-optimal results. Moreover, no previous work provide a way to train a model in a incremental way, which is fundamental for big data problems. In this paper, we address both problems by proposing two different linear regression methods based on log-transformations. The proposed methods, referred as Log-transformed OLS for interval data (LOID) and Log-transformed LMS for interval data (LLID), are compared to state-of-the-art methods on both synthetic and real-world datasets. The obtained results indicate the feasibility of our approaches. Furthermore, to the best of our knowledge, LLID is the first sequential linear regression method for interval valued.
求解区间值数据的线性回归问题是一项具有挑战性的任务,可能在许多应用中出现。正因为如此,近年来许多研究人员设计了这种任务的方法。尽管在这个问题上已经付出了很多努力,但所有可用的方法都依赖于将问题建模为约束优化任务,这可能导致次优结果。此外,以前的工作没有提供以增量方式训练模型的方法,这是大数据问题的基础。在本文中,我们通过提出两种不同的基于对数变换的线性回归方法来解决这两个问题。所提出的方法,被称为用于区间数据的对数变换OLS (LOID)和用于区间数据的对数变换LMS (LLID),与合成数据集和实际数据集的最新方法进行了比较。所得结果表明我们的方法是可行的。此外,据我们所知,LLID是第一个区间值的序列线性回归方法。
{"title":"Linear Regression Models for Interval-Valued Data using Log-transformation","authors":"Nykolas Mayko Maia Barbosa, J. Gomes, C. Mattos, Diego Farias de Oliveira","doi":"10.21528/cbic2019-3","DOIUrl":"https://doi.org/10.21528/cbic2019-3","url":null,"abstract":"—Solving linear regression problems on interval- valued data is a challenging task that may arise in many applications. Because of that, many researchers have designed methods for such task in recent years. Although much effort has been devoted to this problem, all available methods rely on modeling the problem as a constrained optimization task, which may lead to sub-optimal results. Moreover, no previous work provide a way to train a model in a incremental way, which is fundamental for big data problems. In this paper, we address both problems by proposing two different linear regression methods based on log-transformations. The proposed methods, referred as Log-transformed OLS for interval data (LOID) and Log-transformed LMS for interval data (LLID), are compared to state-of-the-art methods on both synthetic and real-world datasets. The obtained results indicate the feasibility of our approaches. Furthermore, to the best of our knowledge, LLID is the first sequential linear regression method for interval valued.","PeriodicalId":160474,"journal":{"name":"Anais do 14. Congresso Brasileiro de Inteligência Computacional","volume":"125 1","pages":"0"},"PeriodicalIF":0.0,"publicationDate":"2020-01-01","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"130724675","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":0,"RegionCategory":"","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
引用次数: 0
Identificação do Perfil de Clientes Utilizando Redes Neurais Convolucionais 使用卷积神经网络识别客户档案
Pub Date : 2020-01-01 DOI: 10.21528/cbic2019-45
V. D. Azevedo, Nadia Nedjah, Luiza de Macedo Mourelle
Resumo—Neste trabalho são utilizadas as técnicas de redes neurais convolucionais e aprendizagem profunda a fim de prever o interesse de usuários de redes sociais em determinadas categorias de produtos. O objetivo consiste em realizar a classificação de imagens de interesses de um certo tipo de usuário de redes sociais. A classificação de imagens permite segmentar usuários de redes sociais como potenciais consumidores de determinados tipos de produtos. Para isto foi realizada a comparação do desempenho dos seguintes algoritmos de taxa de aprendizagem adaptativa de redes neurais artificiais: descida do gradiente estocástico, descida de encosta adaptativa, estimativa de momento adaptativo e suas variações baseado na norma infinita e na raiz quadrada média dos gradientes. A comparação dos algoritmos de treinamento mostra que o algoritmo de estimativa de momento adaptativo é o mais adequado para prever o interesse e o perfil do usuário. A classificação de imagens em 17 subcategorias alcançou uma precisão de classificação de aproximadamente 99%. Keywords—Redes Neurais Convolucionais, Aprendizagem profunda, Classificação imagens de redes sociais, Identificação do perfil de clientes
摘要:在这项工作中,我们使用卷积神经网络和深度学习技术来预测社交网络用户对某些产品类别的兴趣。目标是对特定类型的社交网络用户感兴趣的图片进行分类。图像分类允许将社交网络用户划分为某些类型产品的潜在消费者。为此,比较了以下人工神经网络自适应学习速率算法的性能:随机梯度下降、自适应斜坡下降、自适应动量估计及其基于无限范数和梯度均方根的变化。训练算法的比较表明,自适应力矩估计算法最适合预测用户的兴趣和轮廓。将图像分类为17个子类别,分类准确率约为99%。关键词:卷积神经网络,深度学习,社交媒体图像分类,客户档案识别
{"title":"Identificação do Perfil de Clientes Utilizando Redes Neurais Convolucionais","authors":"V. D. Azevedo, Nadia Nedjah, Luiza de Macedo Mourelle","doi":"10.21528/cbic2019-45","DOIUrl":"https://doi.org/10.21528/cbic2019-45","url":null,"abstract":"Resumo—Neste trabalho são utilizadas as técnicas de redes neurais convolucionais e aprendizagem profunda a fim de prever o interesse de usuários de redes sociais em determinadas categorias de produtos. O objetivo consiste em realizar a classificação de imagens de interesses de um certo tipo de usuário de redes sociais. A classificação de imagens permite segmentar usuários de redes sociais como potenciais consumidores de determinados tipos de produtos. Para isto foi realizada a comparação do desempenho dos seguintes algoritmos de taxa de aprendizagem adaptativa de redes neurais artificiais: descida do gradiente estocástico, descida de encosta adaptativa, estimativa de momento adaptativo e suas variações baseado na norma infinita e na raiz quadrada média dos gradientes. A comparação dos algoritmos de treinamento mostra que o algoritmo de estimativa de momento adaptativo é o mais adequado para prever o interesse e o perfil do usuário. A classificação de imagens em 17 subcategorias alcançou uma precisão de classificação de aproximadamente 99%. Keywords—Redes Neurais Convolucionais, Aprendizagem profunda, Classificação imagens de redes sociais, Identificação do perfil de clientes","PeriodicalId":160474,"journal":{"name":"Anais do 14. Congresso Brasileiro de Inteligência Computacional","volume":"135 1","pages":"0"},"PeriodicalIF":0.0,"publicationDate":"2020-01-01","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"117338131","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":0,"RegionCategory":"","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
引用次数: 0
Temporal Classification of Turbofan Engine Health using Elman Recurrent Network 基于Elman递归网络的涡扇发动机健康时序分类
Pub Date : 2020-01-01 DOI: 10.21528/cbic2019-68
N. M. Nascimento, G. Barreto, C. N. Júnior, Pedro Rebouças Filho
Prognosis and health management (PHM) plays an essential role in condition-based maintenance routines. For such purposes, academy and industry have devoted considerable efforts into providing efficient, safe and reliable solutions. In this regard, we aim at contributing to this field by proposing a temporal classifier for engine’s health state identification based on the Elman recurrent neural network. The evaluation of the proposed approach involves a benchmarking data set originated from the C-MAPSS, a flexible turbofan engine simulation by NASA. A comprehensive performance comparison with state of the art approaches is then carried out. The proposed system is able to identify engine’s total degradation 125 steps in advance, with 86.21% of confidence and low false negative rate, i.e. less than 2% of engines faulty conditions are identified as normal. With a temporal-based classification, the proposed approach reaches over 95% of accuracy on turbofan diagnosis.
预后和健康管理(PHM)在基于状态的维护程序中起着至关重要的作用。为此,学术界和工业界都投入了大量的精力来提供高效、安全、可靠的解决方案。在这方面,我们的目标是通过提出一个基于Elman递归神经网络的发动机健康状态识别的时间分类器来贡献这一领域。对所提出方法的评估涉及来自C-MAPSS的基准数据集,C-MAPSS是NASA的一个灵活的涡扇发动机模拟。然后与最先进的方法进行全面的性能比较。该系统能够提前125步识别发动机的总退化,置信度为86.21%,假阴性率低,即发动机故障状态被识别为正常状态的比例低于2%。采用基于时间的分类方法,对涡扇发动机的诊断准确率达到95%以上。
{"title":"Temporal Classification of Turbofan Engine Health using Elman Recurrent Network","authors":"N. M. Nascimento, G. Barreto, C. N. Júnior, Pedro Rebouças Filho","doi":"10.21528/cbic2019-68","DOIUrl":"https://doi.org/10.21528/cbic2019-68","url":null,"abstract":"Prognosis and health management (PHM) plays an essential role in condition-based maintenance routines. For such purposes, academy and industry have devoted considerable efforts into providing efficient, safe and reliable solutions. In this regard, we aim at contributing to this field by proposing a temporal classifier for engine’s health state identification based on the Elman recurrent neural network. The evaluation of the proposed approach involves a benchmarking data set originated from the C-MAPSS, a flexible turbofan engine simulation by NASA. A comprehensive performance comparison with state of the art approaches is then carried out. The proposed system is able to identify engine’s total degradation 125 steps in advance, with 86.21% of confidence and low false negative rate, i.e. less than 2% of engines faulty conditions are identified as normal. With a temporal-based classification, the proposed approach reaches over 95% of accuracy on turbofan diagnosis.","PeriodicalId":160474,"journal":{"name":"Anais do 14. Congresso Brasileiro de Inteligência Computacional","volume":"55 1","pages":"0"},"PeriodicalIF":0.0,"publicationDate":"2020-01-01","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"116360114","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":0,"RegionCategory":"","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
引用次数: 1
Comparativo de Algoritmos de Machine Learning para Identificação de Moscas da Espécie Drosophila suzukii Através de Imagens das Asas 通过翅膀图像识别铃木果蝇的机器学习算法的比较
Pub Date : 2020-01-01 DOI: 10.21528/cbic2019-49
L. Sousa, C. Brandão, Iális Júnior
A metodologia foi validada com os m´etodos de validac¸˜ao cruzada K-Fold e Leave One Out e na utilizac¸˜ao de seis classificadores dis-tintos: K-Vizinhos Mais Pr´oximos, M´aquina de Vetor de Suporte, An´alise por Discriminante Linear, An´alise por Discriminante Quadr´atico, ´Arvore de Decis˜ao e Floresta Aleat´oria. Os resultados obtidos foram satisfat´orios, com taxas de acerto superiores a 90%, validando a metodologia sugerida em ambos os cen´arios considerados, demonstrando efic´acia na resoluc¸˜ao de problemas que possuam base de imagens de tamanho reduzido.
的方法已经过验证的米´etodos validac¸˜十字军K -Fold漏掉一个和在utilizac¸˜六个分类的fi渔民-tintos: K了更多公关´oximos m´aquina算法支持,一个´为判别线性判别一个´消除目前´活跃,´决策树˜和森林Aleat´的肩膀。结果是satisfat´orios,结算利率超过90%,验证提出的方法在这两个案件和岑´年前被认为是fic´分钟在resoluc¸˜,减少图像大小的类特性基础问题。
{"title":"Comparativo de Algoritmos de Machine Learning para Identificação de Moscas da Espécie Drosophila suzukii Através de Imagens das Asas","authors":"L. Sousa, C. Brandão, Iális Júnior","doi":"10.21528/cbic2019-49","DOIUrl":"https://doi.org/10.21528/cbic2019-49","url":null,"abstract":"A metodologia foi validada com os m´etodos de validac¸˜ao cruzada K-Fold e Leave One Out e na utilizac¸˜ao de seis classificadores dis-tintos: K-Vizinhos Mais Pr´oximos, M´aquina de Vetor de Suporte, An´alise por Discriminante Linear, An´alise por Discriminante Quadr´atico, ´Arvore de Decis˜ao e Floresta Aleat´oria. Os resultados obtidos foram satisfat´orios, com taxas de acerto superiores a 90%, validando a metodologia sugerida em ambos os cen´arios considerados, demonstrando efic´acia na resoluc¸˜ao de problemas que possuam base de imagens de tamanho reduzido.","PeriodicalId":160474,"journal":{"name":"Anais do 14. Congresso Brasileiro de Inteligência Computacional","volume":"27 1","pages":"0"},"PeriodicalIF":0.0,"publicationDate":"2020-01-01","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"123614518","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":0,"RegionCategory":"","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
引用次数: 0
A Constrained Neural Classifier for Pulsed Eddy Current based Flaw Detection in Industrial Pipes 基于脉冲涡流的工业管道缺陷检测约束神经分类器
Pub Date : 2020-01-01 DOI: 10.21528/cbic2019-127
Gilvan Silva, E. Souza, P. Farias, E. Filho, Maria C. S. Albuquerque, I. Silva, C. Farias
Decision support systems are important to improve the efficiency of nondestructive evaluation, specially for industrial equipment. Pulsed eddy-current is a magnetic method used for evaluation of metallic equipment. In this paper, is proposed the combination of pulsed eddy current evaluation, digital signal processing, and neural networks to detect flaws in industrial pipes. A novel method using particle swarm optimization is proposed for imposing performance constraints during neural classifier training process. Results obtained for experimental signals acquired from composite-insulated metallic industrial pipes presenting internal and external corrosion areas are used to validate the proposed method. A comparison to neural networks trained from the traditional back-propagation algorithm was presented.
决策支持系统是提高无损评估效率的重要手段,特别是对工业设备的无损评估。脉冲涡流是一种用于评价金属设备的磁性方法。本文提出了脉冲涡流检测、数字信号处理和神经网络相结合的方法来检测工业管道的缺陷。提出了一种基于粒子群优化的神经分类器训练性能约束方法。对存在内外腐蚀区域的复合绝缘金属工业管道的实验信号进行了验证。并与传统反向传播算法训练的神经网络进行了比较。
{"title":"A Constrained Neural Classifier for Pulsed Eddy Current based Flaw Detection in Industrial Pipes","authors":"Gilvan Silva, E. Souza, P. Farias, E. Filho, Maria C. S. Albuquerque, I. Silva, C. Farias","doi":"10.21528/cbic2019-127","DOIUrl":"https://doi.org/10.21528/cbic2019-127","url":null,"abstract":"Decision support systems are important to improve the efficiency of nondestructive evaluation, specially for industrial equipment. Pulsed eddy-current is a magnetic method used for evaluation of metallic equipment. In this paper, is proposed the combination of pulsed eddy current evaluation, digital signal processing, and neural networks to detect flaws in industrial pipes. A novel method using particle swarm optimization is proposed for imposing performance constraints during neural classifier training process. Results obtained for experimental signals acquired from composite-insulated metallic industrial pipes presenting internal and external corrosion areas are used to validate the proposed method. A comparison to neural networks trained from the traditional back-propagation algorithm was presented.","PeriodicalId":160474,"journal":{"name":"Anais do 14. Congresso Brasileiro de Inteligência Computacional","volume":"1 1","pages":"0"},"PeriodicalIF":0.0,"publicationDate":"2020-01-01","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"129851440","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":0,"RegionCategory":"","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
引用次数: 1
Empirical Analysis on the State of Transfer Learning for Small Data Text Classification Tasks Using Contextual Embeddings 基于上下文嵌入的小数据文本分类任务迁移学习状态实证分析
Pub Date : 2020-01-01 DOI: 10.21528/cbic2019-82
F. Carvalho, C. Castro
Recent developments in the NLP (Natural Language Processing) field have shown that deep transformer based language model architectures trained on a large corpus of unlabeled data are able to transfer knowledge to downstream tasks efficiently through fine-tuning. In particular, BERT and XLNet have shown impressive results, achieving state of the art performance in many tasks through this process. This is partially due to the ability these models have to create better representations of text in the form of contextual embeddings. However not much has been explored in the literature about the robustness of the transfer learning process of these models on a small data scenario. Also not a lot of effort has been put on analysing the behaviour of the two models fine-tuning process with different amounts of training data available. This paper addresses these questions through an empirical evaluation of these models on some datasets when finetuned on progressively smaller fractions of training data, for the task of text classification. It is shown that BERT and XLNet perform well with small data and can achieve good performance with very few labels available, in most cases. Results yielded with varying fractions of training data indicate that few examples are necessary in order to fine-tune the models and, although there is a positive effect in training with more labeled data, using only a subset of data is already enough to achieve a comparable performance with traditional non-deep learning models trained with substantially more data. Also it is noticeable how quickly the transfer learning curve of these methods saturate, reinforcing their ability to perform well with less data available. Keywords—Small data, text classification, NLP, contextual embeddings, representation learning, deep learning
NLP(自然语言处理)领域的最新发展表明,在大量未标记数据的语料库上训练的基于深度转换器的语言模型体系结构能够通过微调有效地将知识转移到下游任务。特别是,BERT和XLNet已经显示出令人印象深刻的结果,通过这个过程在许多任务中实现了最先进的性能。这部分是由于这些模型有能力以上下文嵌入的形式创建更好的文本表示。然而,文献中关于这些模型在小数据场景下迁移学习过程的鲁棒性的探讨并不多。此外,在使用不同数量的可用训练数据的情况下,分析两种模型微调过程的行为也没有付出很多努力。本文通过对这些模型在一些数据集上的经验评估来解决这些问题,当这些模型在逐渐减少的训练数据部分上进行微调时,用于文本分类任务。结果表明,BERT和XLNet在处理小数据时表现良好,并且在大多数情况下,在可用标签很少的情况下也能获得良好的性能。使用不同比例的训练数据产生的结果表明,为了对模型进行微调,需要的示例很少,尽管使用更多标记数据进行训练具有积极效果,但仅使用数据子集就足以实现与使用更多数据训练的传统非深度学习模型相当的性能。同样值得注意的是,这些方法的迁移学习曲线饱和的速度有多快,这增强了它们在可用数据较少的情况下表现良好的能力。关键词:小数据,文本分类,自然语言处理,上下文嵌入,表示学习,深度学习
{"title":"Empirical Analysis on the State of Transfer Learning for Small Data Text Classification Tasks Using Contextual Embeddings","authors":"F. Carvalho, C. Castro","doi":"10.21528/cbic2019-82","DOIUrl":"https://doi.org/10.21528/cbic2019-82","url":null,"abstract":"Recent developments in the NLP (Natural Language Processing) field have shown that deep transformer based language model architectures trained on a large corpus of unlabeled data are able to transfer knowledge to downstream tasks efficiently through fine-tuning. In particular, BERT and XLNet have shown impressive results, achieving state of the art performance in many tasks through this process. This is partially due to the ability these models have to create better representations of text in the form of contextual embeddings. However not much has been explored in the literature about the robustness of the transfer learning process of these models on a small data scenario. Also not a lot of effort has been put on analysing the behaviour of the two models fine-tuning process with different amounts of training data available. This paper addresses these questions through an empirical evaluation of these models on some datasets when finetuned on progressively smaller fractions of training data, for the task of text classification. It is shown that BERT and XLNet perform well with small data and can achieve good performance with very few labels available, in most cases. Results yielded with varying fractions of training data indicate that few examples are necessary in order to fine-tune the models and, although there is a positive effect in training with more labeled data, using only a subset of data is already enough to achieve a comparable performance with traditional non-deep learning models trained with substantially more data. Also it is noticeable how quickly the transfer learning curve of these methods saturate, reinforcing their ability to perform well with less data available. Keywords—Small data, text classification, NLP, contextual embeddings, representation learning, deep learning","PeriodicalId":160474,"journal":{"name":"Anais do 14. Congresso Brasileiro de Inteligência Computacional","volume":"69 2","pages":"0"},"PeriodicalIF":0.0,"publicationDate":"2020-01-01","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"120894651","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":0,"RegionCategory":"","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
引用次数: 0
Aplicação de Técnicas de Aprendizado de Máquina para Previsão do IBOVESPA 机器学习技术在IBOVESPA预测中的应用
Pub Date : 2020-01-01 DOI: 10.21528/cbic2019-20
Matheus Hernandes, Leandro dos Santos Coelho, R. Z. Freire
Matheus Scalco Hernandes Engenharia de Produção, Escola Politécnica EP, Pontifícia Universidade Católica do Paraná PUCPR Curitiba, Brasil matheus.hernandes@pucpr.br Leandro dos Santos Coelho Programa de Pós-Graduação em Engenharia de Produção e Sistemas PPGEPS, Escola Politécnica EP, Pontifícia Universidade Católica do Paraná PUCPR Departamento de Engenharia Elétrica DEE, Universidade Federal do Paraná UFPR Curitiba, Brasil leandro.coelho@pucpr.br Roberto Zanetti Freire Programa de Pós-Graduação em Engenharia de Produção e Sistemas PPGEPS, Escola Politécnica EP, Pontifícia Universidade Católica do Paraná PUCPR Curitiba, Brasil roberto.freire@pucpr.br
马修Scalco埃尔南德斯、多专业生产工程,巴拉PUCPR巴西,巴西的天主教大学matheus.hernandes@pucpr.br圣莱安德罗兔子生产和系统专业硕士PPGEPS, EP,天主教大学理工巴拉PUCPR电气工程系迪巴拉UFPR巴西联邦大学,巴西leandro.coelho@pucpr.br Roberto Zanetti Freire生产工程与系统PPGEPS研究生课程,Escola politecnica EP, pontificia Universidade catolica do parana PUCPR Curitiba,巴西roberto.freire@pucpr.br
{"title":"Aplicação de Técnicas de Aprendizado de Máquina para Previsão do IBOVESPA","authors":"Matheus Hernandes, Leandro dos Santos Coelho, R. Z. Freire","doi":"10.21528/cbic2019-20","DOIUrl":"https://doi.org/10.21528/cbic2019-20","url":null,"abstract":"Matheus Scalco Hernandes Engenharia de Produção, Escola Politécnica EP, Pontifícia Universidade Católica do Paraná PUCPR Curitiba, Brasil matheus.hernandes@pucpr.br Leandro dos Santos Coelho Programa de Pós-Graduação em Engenharia de Produção e Sistemas PPGEPS, Escola Politécnica EP, Pontifícia Universidade Católica do Paraná PUCPR Departamento de Engenharia Elétrica DEE, Universidade Federal do Paraná UFPR Curitiba, Brasil leandro.coelho@pucpr.br Roberto Zanetti Freire Programa de Pós-Graduação em Engenharia de Produção e Sistemas PPGEPS, Escola Politécnica EP, Pontifícia Universidade Católica do Paraná PUCPR Curitiba, Brasil roberto.freire@pucpr.br","PeriodicalId":160474,"journal":{"name":"Anais do 14. Congresso Brasileiro de Inteligência Computacional","volume":"35 1","pages":"0"},"PeriodicalIF":0.0,"publicationDate":"2020-01-01","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"125324319","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":0,"RegionCategory":"","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
引用次数: 0
Aprendizado por Instância para a Identificação de Classes Desconhecidas em Sonares Passivos 被动声纳中未知类识别的实例学习
Pub Date : 2020-01-01 DOI: 10.21528/cbic2019-33
V. Muniz, J. S. Filho, E. Honorato
Resumo —Em submarinos, a tarefa dos operadores de sonar consiste na identificac¸˜ao de poss´ıveis ameac¸as (contatos), utilizando, principalmente, o sistema de sonar passivo. Sistemas de classificac¸˜ao autom´atica de contatos requerem a identificac¸˜ao de embarcac¸˜oes de classes desconhecidas durante a sua operac¸˜ao. Este trabalho discute a construc¸˜ao de um sistema hier´arquico para o reconhecimento de tais ocorrˆencias, considerando um estudo experimental envolvendo t ´ ecnicas de aprendizado por instˆancia, em cen´arios de crescente complexidade, para este fim. Os experimentos, explorando dados coletados em raia ac´ustica de 28 navios pertencentes a 8 classes em diferentes condic¸˜oes operacionais, apontaram um melhor desempenho da t´ecnica k-Nearest Neighbors , atingindo uma taxa de detecc¸˜ao de novidades de 78,0%, conjugada com uma taxa m´edia de identificac¸˜ao de casos conhecidos de 95,0%, para um cen´ario com 3 classes conhecidas.
总结—在潜艇声纳操作员的任务是在识别ficcs¸˜到珀斯´ı要像ameac¸(招商)使用,尤其是被动声纳系统。系统分类ficcs¸˜在奥特曼´atica的招商要求确定ficcs¸˜,embarcac¸˜海洋能等级未知的operac¸˜去。讨论工作的construc¸˜系统在hier´arquico承认这些ocorrˆ序列,根据实验的研究涉及t´ecnicas学习因为听说ˆ古代雅利安人,半人马在´的日益复杂,这fim。实验,利用收集的数据就会交流´ustica 28艘属于八类不同condic¸˜运营方面,做一个更好的t´ecnica k -Nearest邻居,detecc率¸˜78年更新率0%,结合m´伊迪的识别ficcs¸˜已知的情况下为95 0%,半人马´丈夫有三个类。
{"title":"Aprendizado por Instância para a Identificação de Classes Desconhecidas em Sonares Passivos","authors":"V. Muniz, J. S. Filho, E. Honorato","doi":"10.21528/cbic2019-33","DOIUrl":"https://doi.org/10.21528/cbic2019-33","url":null,"abstract":"Resumo —Em submarinos, a tarefa dos operadores de sonar consiste na identificac¸˜ao de poss´ıveis ameac¸as (contatos), utilizando, principalmente, o sistema de sonar passivo. Sistemas de classificac¸˜ao autom´atica de contatos requerem a identificac¸˜ao de embarcac¸˜oes de classes desconhecidas durante a sua operac¸˜ao. Este trabalho discute a construc¸˜ao de um sistema hier´arquico para o reconhecimento de tais ocorrˆencias, considerando um estudo experimental envolvendo t ´ ecnicas de aprendizado por instˆancia, em cen´arios de crescente complexidade, para este fim. Os experimentos, explorando dados coletados em raia ac´ustica de 28 navios pertencentes a 8 classes em diferentes condic¸˜oes operacionais, apontaram um melhor desempenho da t´ecnica k-Nearest Neighbors , atingindo uma taxa de detecc¸˜ao de novidades de 78,0%, conjugada com uma taxa m´edia de identificac¸˜ao de casos conhecidos de 95,0%, para um cen´ario com 3 classes conhecidas.","PeriodicalId":160474,"journal":{"name":"Anais do 14. Congresso Brasileiro de Inteligência Computacional","volume":"2 1","pages":"0"},"PeriodicalIF":0.0,"publicationDate":"2020-01-01","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"133470118","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":0,"RegionCategory":"","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
引用次数: 1
Uma Nova Abordagem para Construção de Regras em Redes Neo-Fuzzy-Neuron Utilizando Programação Genética Multi-Gene 一种利用多基因遗传规划构建新模糊神经元网络规则的新方法
Pub Date : 2020-01-01 DOI: 10.21528/cbic2019-67
Glender Brás, Alisson Marques da Silva
Resumo—Este artigo propõe a utilização de Programação Genética Multi-Gene (PG-MG) para criação de regras em Redes Neo-Fuzzy-Neuron (NFN). NFN é uma rede Neuro-Fuzzy composta por n estruturas de Takagi-Sugeno de ordem zero, onde n é o número de variáveis de entrada. A saı́da individual de cada uma das n estruturas é dada por um conjunto de m regras, em que cada regra é representada por uma função de pertinência Gaussiana. Desta forma, a construção da base de regras na NFN consiste em criar e ajustar as funções de pertinência associadas a cada variável de entrada. A abordagem proposta utiliza a Programação Genética Multi-Gene (PG-MG) para gerar as regras (conjuntos fuzzy do antecedente), na qual cada indivı́duo da PG-MG representa um conjunto de regras que compõe o modelo. Por fim, os pesos (parâmetros do consequente) são ajustados por um método do Gradiente Descendente. A abordagem proposta é avaliada em problemas de previsão e os resultados obtidos sugerem que a abordagem proposta é competitiva quando comparada com modelos alternativos do estado da arte. Keywords—Neo-Fuzzy-Neuron; Programação Genética MultiGene; Neuro-Fuzzy.
摘要:本文提出利用多基因遗传规划(PG-MG)在新模糊神经元网络(NFN)中创建规则。NFN是一个由n个零阶高木-菅野结构组成的神经模糊网络,其中n为输入变量数。saı́个人的每一个n m结构是由一系列的规则,每个规则都表示为一个高斯相关函数。因此,NFN规则库的构建包括创建和调整与每个输入变量相关联的关联函数。建议的方法是使用多基因遗传编程(立顿竞技)来生成规则(背景)的模糊集合,其中每个indivı́0页竞技表示一组规则构成的模型。最后,采用梯度向下的方法对权重(结果参数)进行调整。在预测问题中对所提出的方法进行了评估,结果表明,与其他最先进的模型相比,所提出的方法具有竞争力。关键词—新-Fuzzy -Neuron;多基因遗传规划;神经-Fuzzy。
{"title":"Uma Nova Abordagem para Construção de Regras em Redes Neo-Fuzzy-Neuron Utilizando Programação Genética Multi-Gene","authors":"Glender Brás, Alisson Marques da Silva","doi":"10.21528/cbic2019-67","DOIUrl":"https://doi.org/10.21528/cbic2019-67","url":null,"abstract":"Resumo—Este artigo propõe a utilização de Programação Genética Multi-Gene (PG-MG) para criação de regras em Redes Neo-Fuzzy-Neuron (NFN). NFN é uma rede Neuro-Fuzzy composta por n estruturas de Takagi-Sugeno de ordem zero, onde n é o número de variáveis de entrada. A saı́da individual de cada uma das n estruturas é dada por um conjunto de m regras, em que cada regra é representada por uma função de pertinência Gaussiana. Desta forma, a construção da base de regras na NFN consiste em criar e ajustar as funções de pertinência associadas a cada variável de entrada. A abordagem proposta utiliza a Programação Genética Multi-Gene (PG-MG) para gerar as regras (conjuntos fuzzy do antecedente), na qual cada indivı́duo da PG-MG representa um conjunto de regras que compõe o modelo. Por fim, os pesos (parâmetros do consequente) são ajustados por um método do Gradiente Descendente. A abordagem proposta é avaliada em problemas de previsão e os resultados obtidos sugerem que a abordagem proposta é competitiva quando comparada com modelos alternativos do estado da arte. Keywords—Neo-Fuzzy-Neuron; Programação Genética MultiGene; Neuro-Fuzzy.","PeriodicalId":160474,"journal":{"name":"Anais do 14. Congresso Brasileiro de Inteligência Computacional","volume":"1 1","pages":"0"},"PeriodicalIF":0.0,"publicationDate":"2020-01-01","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"129094081","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":0,"RegionCategory":"","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
引用次数: 0
期刊
Anais do 14. Congresso Brasileiro de Inteligência Computacional
全部 Acc. Chem. Res. ACS Applied Bio Materials ACS Appl. Electron. Mater. ACS Appl. Energy Mater. ACS Appl. Mater. Interfaces ACS Appl. Nano Mater. ACS Appl. Polym. Mater. ACS BIOMATER-SCI ENG ACS Catal. ACS Cent. Sci. ACS Chem. Biol. ACS Chemical Health & Safety ACS Chem. Neurosci. ACS Comb. Sci. ACS Earth Space Chem. ACS Energy Lett. ACS Infect. Dis. ACS Macro Lett. ACS Mater. Lett. ACS Med. Chem. Lett. ACS Nano ACS Omega ACS Photonics ACS Sens. ACS Sustainable Chem. Eng. ACS Synth. Biol. Anal. Chem. BIOCHEMISTRY-US Bioconjugate Chem. BIOMACROMOLECULES Chem. Res. Toxicol. Chem. Rev. Chem. Mater. CRYST GROWTH DES ENERG FUEL Environ. Sci. Technol. Environ. Sci. Technol. Lett. Eur. J. Inorg. Chem. IND ENG CHEM RES Inorg. Chem. J. Agric. Food. Chem. J. Chem. Eng. Data J. Chem. Educ. J. Chem. Inf. Model. J. Chem. Theory Comput. J. Med. Chem. J. Nat. Prod. J PROTEOME RES J. Am. Chem. Soc. LANGMUIR MACROMOLECULES Mol. Pharmaceutics Nano Lett. Org. Lett. ORG PROCESS RES DEV ORGANOMETALLICS J. Org. Chem. J. Phys. Chem. J. Phys. Chem. A J. Phys. Chem. B J. Phys. Chem. C J. Phys. Chem. Lett. Analyst Anal. Methods Biomater. Sci. Catal. Sci. Technol. Chem. Commun. Chem. Soc. Rev. CHEM EDUC RES PRACT CRYSTENGCOMM Dalton Trans. Energy Environ. Sci. ENVIRON SCI-NANO ENVIRON SCI-PROC IMP ENVIRON SCI-WAT RES Faraday Discuss. Food Funct. Green Chem. Inorg. Chem. Front. Integr. Biol. J. Anal. At. Spectrom. J. Mater. Chem. A J. Mater. Chem. B J. Mater. Chem. C Lab Chip Mater. Chem. Front. Mater. Horiz. MEDCHEMCOMM Metallomics Mol. Biosyst. Mol. Syst. Des. Eng. Nanoscale Nanoscale Horiz. Nat. Prod. Rep. New J. Chem. Org. Biomol. Chem. Org. Chem. Front. PHOTOCH PHOTOBIO SCI PCCP Polym. Chem.
×
引用
GB/T 7714-2015
复制
MLA
复制
APA
复制
导出至
BibTeX EndNote RefMan NoteFirst NoteExpress
×
0
微信
客服QQ
Book学术公众号 扫码关注我们
反馈
×
意见反馈
请填写您的意见或建议
请填写您的手机或邮箱
×
提示
您的信息不完整,为了账户安全,请先补充。
现在去补充
×
提示
您因"违规操作"
具体请查看互助需知
我知道了
×
提示
现在去查看 取消
×
提示
确定
Book学术官方微信
Book学术官方微信
Book学术文献互助
Book学术文献互助群
群 号:604180095
Book学术
文献互助 智能选刊 最新文献 互助须知 联系我们:info@booksci.cn
Book学术提供免费学术资源搜索服务,方便国内外学者检索中英文文献。致力于提供最便捷和优质的服务体验。
Copyright © 2023 Book学术 All rights reserved.
ghs 京公网安备 11010802042870号 京ICP备2023020795号-1