Deep Learning
What it is & why it matters
Deep learning is a subset of machine learning that trains a computer to perform human-like tasks, such as speech recognition, image identification and prediction making. It improves the ability to classify, recognize, detect and describe using data. The current interest in deep learning is due, in part, to the buzz surrounding artificial intelligence (AI).
Think about everyday systems like Siri and Cortana. These are powered, in part, by deep learning.
How deep learning works
Deep learning changes how you think about representing the problems that you’re solving. With deep learning, data trains the computer, through deep algorithms, to learn on its own by recognizing patterns using layers of processing. If you’re someone who’s never heard of deep learning, you may be wondering how all this works.
Let’s say you create a tool that differentiates parsley from cilantro. Two totally different herbs. With machine learning, you’d need to tell the tool which characteristics can be differentiated. In this case, it would be the leaf type. But with deep learning, the features are already singled out by neural networks. This is all done through an automated and unsupervised learning process.
The promise of deep learning is that it can lead to predictive systems that generalize well, adapt well, continuously improve as new data arrives.
Deep Learning for Animal Conservation
How does a computer “see” an image? Jared Peterson, Senior Manager of SAS Advanced Analytics R&D, shows how deep learning neural networks are the science behind computer vision.
In this deep learning example, the computer program is learning to interpret animal tracks to help with animal conservation.
The evolution of deep learning
Over the years, human-to-machine interfaces have evolved greatly. The mouse and the keyboard are being replaced with gesture, swipe, touch and speech, ushering in a renewed interest in AI and deep learning.
Several developments are now advancing deep learning:
- Analytical improvements have boosted the performance of deep-learning methods.
- New machine learning approaches have improved accuracy of deep learning models.
- New classes of neural networks have been developed that fit well for applications like text translation and image classification.
- A lot more data is available to build neural networks with many deep layers, including streaming data from the Internet of Things, textual data from social media, physician’s notes and investigative transcripts.
- Computational advances of distributed cloud computing and graphic processing units have put incredible computing power at our disposal. This level of computing power is necessary to train deep algorithms through deep learning.
Deep learning opportunities and applications
A lot of computational power is needed to solve deep-learning problems because of the iterative nature of deep-learning algorithms, their complexity as the number of layers increase and the large volumes of data needed to train the networks.
The ability of deep-learning methods to continuously improve and adapt to changes in the underlying information pattern present an opportunity to introduce more dynamic behavior into data analytics.
One of those possibilities is the greater personalization of customer analytics. Your favorite streaming service creating a customized list of shows you might like based on your previous watch history would be an example.
While the current focus of deep-learning techniques is in applications of cognitive computing, there is also great potential in more traditional data analytics applications. For example, time-series analysis.
Another way deep learning can be applied is to simply be more efficient and streamlined in existing analytical operations. Recently, SAS experimented with deep neural networks in speech-to-text transcription problems. Compared to the standard techniques, the word-error rate decreased by more than 10% when deep neural networks were applied. Neural networks also eliminated about 10 steps of data preprocessing, feature engineering and modeling. The impressive performance gains and the time savings signify a paradigm shift.
Deep learning in today's world
The impact of deep learning is significant – and it’s only getting started.
Deep learning with SAS and Python
DLPy is an open source package that data scientists can download to apply SAS deep learning algorithms to image, text and audio data.. It is designed to solve computer vision, natural language processing, forecasting, and speech processing problems.
How SAS uses deep learning
This step-by-step guide compares multiple neural network models and explains how to use them. You'll get an introduction to deep-learning techniques, applications and how SAS supports the creation of deep neural network models.
How to use deep learning for image embedding
Embedding models are used to reduce the dimensionality of input data, such as images. When an embedding model is used, input images are converted into low-dimensional vectors that can be more easily used by other computer vision tasks. The key to good embedding is to train the model so that similar images are converted to similar vectors.
How deep learning works
Deep learning changes how you think about representing the problems that you’re solving with analytics. It moves from telling the computer how to solve a problem to training the computer to solve the problem itself.
Feature representation
Deep learning is a paradigm shift in model building that moves from feature engineering to feature representation.
Deep learning layers
Instead of using known variables to predict unknowns, deep learning uses looks at layers of the data to recognize latent features of the data.
Deep learning results
The promise of deep learning is that it can lead to predictive systems that generalize well, adapt well, continuously improve as new data arrives. You no longer fit a model. Instead, you train the task.
A traditional approach to analytics is to use the data at hand to engineer features to derive new variables, then select an analytic model and finally estimate the parameters (or the unknowns) of that model. These techniques can yield predictive systems that do not generalize well because completeness and correctness depend on the quality of the model and its features. For example, if you develop a fraud model with feature engineering, you start with a set of variables, and you most likely derive a model from those variables using data transformations. You may end up with 30,000 variables that your model depends on, then you have to shape the model, figure out which variables are meaningful, which ones are not, and so on. Adding more data requires you to do it all over again.
The new approach with deep learning is to replace the formulation and specification of the model with hierarchical characterizations (or layers) that learn to recognize latent features of the data from the regularities in the layers.
Advanced Analytics from SAS
Deep learning is just one technique in the data scientist's toolkit. Learn about other advanced analytics techniques, including forecasting, text analytics and optimization.
Recommended Reading
-
Articolo
AI, Machine Learning and Cloud: universities enter the future of Analytics with SAS Viya for LearnersA collaboration between an academic institution and a multinational is already standing out as a success story that connects education and business. The aim is to support students in their data science training, put them to work on real-world projects and give them high in demand, future proof, skills.
-
Articolo
Machine learning, Michael J. Fox and finding a cure for Parkinson’sUsing machine learning, data scientists developed a model that can help doctors accurately predict Parkinson's disease progression and start treatment earlier, when it will have greater impact.
-
Articolo
Exploring the sun with big dataResearchers working for NASA are using automatic, exploratory and visual analysis of big data to help understand the mysteries of our universe.
Entra in contatto con SAS e scopri cosa possiamo fare per te.
Il deep learning, o apprendimento profondo, è un tipo di machine learning che addestra un computer a svolgere attività simili a quelle umane, come riconoscere un input vocale, identificare le immagini o fare previsioni. Invece di organizzare i dati per eseguire equazioni predefinite, il deep learning configura i parametri di base relativi ai dati e addestra il computer a imparare da sé, individuando dei modelli attraverso numerosi livelli di elaborazione.
Evoluzione del deep learning
Il deep learning è uno dei fondamenti dell’intelligenza artificiale (IA) e l'interesse che oggi sta suscitando è dovuto in parte al fermento che si è venuto a creare intorno all'IA. Le tecniche di deep learning hanno migliorato la capacità di classificare, riconoscere, rilevare e descrivere, in una parola, di capire.
Il deep learning viene utilizzato, ad esempio, per la classificazione delle immagini, il riconoscimento vocale, la rilevazione di oggetti e la descrizione di contenuti. Sistemi come Siri e Cortana sono alimentati, in parte, dal deep learning.
Sono svariati i progressi informatici che, integrandosi al deep learning, ne stanno sostenendo lo sviluppo:
- Il miglioramento degli algoritmi ha potenziato la performance dei metodi di deep learning.
- New machine learning approaches have improved accuracy of models.
- I nuovi approcci di machine learning hanno affinato la precisione dei modelli. Le classi di reti neurali sviluppate di recente si adattano perfettamente ad applicazioni come la traduzione di testi e la classificazione delle immagini.
- La vastità dei dati che sono attualmente disponibili — e che include i dati in streaming dall' Internet of Things, i dati testuali provenienti dai social media, le note dei medici e le trascrizioni d'indagini — permette di costruire reti neurali dotate di molti strati profondi.
- I progressi computazionali del distribuito e delle unità di elaborazione grafica hanno reso disponibile un'incredibile potenza di calcolo, tale da potere addestrare gli algoritmiprofondi.
Allo stesso tempo, anche le interfacce uomo-macchina si sono notevolmente evolute. Il mouse e la tastiera vengono progressivamente sostituiti dal gesto, dallo scorrimento, dalla pressione digitale e dal linguaggio naturale, suscitando un rinnovato interesse per l’IA e il deep learning.
Il deep learning nella conservazione delle specie animali
Come fa un computer a "vedere" un’immagine? Jared Peterson, Senior Manager di SAS Advanced Analytics R&D, spiega come le reti neurali del deep learning siano la scienza alla base della computer vision.
In questo esempio di deep learning, il programma informatico sta imparando a interpretare le tracce animali, nell’ottica della conservazione delle specie.
Opportunità e applicazioni del deep learning
La risoluzione dei problemi di deep learning richiede una grande potenza di calcolo, a causa della natura iterativa degli algoritmi di deep learning, della loro complessità all’aumentare del numero di strati e dei grandi volumi di dati necessari per addestrare le reti.
La capacità dei metodi di deep learning di migliorare continuamente e di adattarsi ai cambiamenti nel modello d’informazione sottostante, rappresenta una grande opportunità per introdurre un comportamento più dinamico negli analytics.
È possibile, ad esempio, procedere a una maggiore personalizzazione dell' analisi dei clienti (Customer Analytics). Un'altra grande opportunità è quella di accrescere la precisione e le prestazioni nelle applicazioni, laddove le reti neurali siano in uso già da tempo. Attraverso algoritmi migliori e una maggiore potenza di calcolo, è possibile aumentare la profondità.
Sebbene l’attuale focus delle tecniche di deep learning sia sulle applicazioni del cognitive computing, anche le applicazioni più tradizionali degli analytics, come ad esempio le analisi delle serie temporali, presentano un grande potenziale.
Un'altra opportunità offerta dal deep learning è banalmente quella di migliorare l’efficienza delle operazioni analitiche esistenti, semplificandole. Recentemente, SAS ha sperimentato reti neurali profonde nei problemi di trascrizione di testi a partire da input vocali. Rispetto alle tecniche standard, l’applicazione di reti neurali profonde ha ridotto di oltre il 10% il tasso di errore nella trascrizione delle parole. Inoltre, è stato possibile eliminare circa dieci passaggi di pre-elaborazione dei dati, ingegneria delle funzionalità e modellazione. L'impressionante miglioramento nelle prestazioni e l’evidente risparmio di tempo, rispetto al feature engineering, rappresentano un vero e proprio cambio di paradigma.
Il deep learning nel mondo di oggi
L'impatto tecnologico che il deep learning ha sinora avuto è considerevole e non siamo che all’inizio. Scopri di più sull’argomento.
Uno sguardo critico sul deep learning
Come mai il deep learning non ha eguali tra le tecniche di machine learning? È riuscito a completare con successo una serie di attività che in passato i computer svolgevano con difficoltà, in particolare nel campo della machine perception, o percezione della macchina. Scopri di più su come funziona il deep learning e perché non è così pubblicizzato.
Come fare deep learning con SAS®
Scopri come vengono sviluppate e implementate le tecniche di deep learning, utilizzando il software SAS. Questa guida confronta diversi modelli di rete neurale e spiega come usarli, passo dopo passo. Ti introdurrà alle tecniche di deep learning, alle applicazioni e al modo in cui SAS supporta la creazione di modelli di reti neurali profonde.
In che modo il deep learning imita il nostro cervello
Che si tratti di riconoscere la differenza tra una mela e un’arancia o di fare distinzioni molto più complesse, il deep learning imita il modo di pensare del cervello umano. Inoltre, poiché è in grado di comprendere e definire rapidamente le relazioni, consente di risparmiare tempo rispetto alle tecniche tradizionali, soprattutto nel caso di dati non strutturati, come immagini e testi.
Come viene utilizzato il deep learning?
Visto dall’esterno, il deep learning può apparire come in fase di studio, poiché i ricercatori d’informatica e i data scientist ne stanno ancora testando le capacità. Ma, questa branca del machine learning offre già numerose applicazioni pratiche, attualmente in uso in molti settori. Inoltre, grazie ai continui progressi della ricerca, tante altre saranno ben presto disponibili. Gli impieghi più diffusi includono:
Riconoscimento vocale
Sia il mondo degli affari che quello accademico hanno adottato il deep learning per il riconoscimento vocale. Xbox, Skype, Google Now e Siri® di Apple, solo per citarne alcuni, utilizzano correntemente le tecnologie di deep learning nei loro sistemi per riconoscere il linguaggio umano e gli schemi vocali.
Riconoscimento dell’immagine
Un'applicazione pratica del riconoscimento delle immagini è data dalla didascalia, o captioning, e descrizione della scena in automatico. Questa funzionalità potrebbe essere cruciale nelle indagini delle forze dell’ordine, ad esempio, per identificare attività criminali, nelle foto che riprendono un’area particolarmente affollata in cui si è verificato un crimine e che i presenti inviano a migliaia. Anche le auto a guida autonoma beneficeranno del riconoscimento delle immagini, attraverso l'uso della tecnologia della fotocamera a 360 gradi.
Natural Language Processing
Le reti neurali, una componente centrale del deep learning, sono state a lungo utilizzate per elaborare e analizzare i testi scritti. Il text mining è una tecnica d’intelligenza artificiale che, sfruttando l'elaborazione del linguaggio naturale, scopre modelli nei reclami dei clienti, negli appunti dei medici o nelle agenzie di stampa, solo per fare alcuni esempi.
Sistemi di raccomandazione
Amazon e Netflix fanno un larghissimo uso dei sistemi di raccomandazione e, grazie ad essi, ti presentano ciò che potrebbe interessarti acquistare o vedere in futuro, basandosi sul tuo comportamento passato. Il deep learning può essere utilizzato su una moltitudine di piattaforme per migliorare il sistema di raccomandazione su argomenti complessi, come gli interessi musicali o le preferenze di abbigliamento.
Come funziona il deep learning
Il deep learning cambia il modo di approcciare i problemi risolvibili con gli analytics. Se prima si diceva al computer come risolvere un dato problema, ora lo si addestra affinché sia in grado di risolvere da sé quel problema.
Un approccio tradizionale agli analytics consiste nell'utilizzare i dati a disposizione per progettare funzionalità da cui derivare nuove variabili, quindi selezionare un modello analitico e infine stimare i parametri (o le incognite) di quel modello. Queste tecniche possono dare origine a sistemi predittivi che non generalizzano bene, poiché la completezza e la correttezza dipendono dalla qualità del modello e dalle sue caratteristiche. Ad esempio, se si sviluppa un modello di frode con feature engineering, si parte da un insieme di variabili da cui probabilmente si ricaverà un modello, utilizzando le trasformazioni dei dati. Ci si può ritrovare con modello che dipende da 30.000 variabili. A quel punto, occorre dare una forma al modello, individuare tra le variabili quelle significative e così via. L'aggiunta di ulteriori dati impone di ripetere il lavoro da capo.
Il nuovo approccio con il deep learning consiste nel sostituire la formulazione e la specificazione del modello con caratterizzazioni gerarchiche (o strati), che imparano a riconoscere le caratteristiche latenti dei dati dalle regolarità negli strati.
Il deep learning introduce un cambio di paradigma, segnando il passaggio dal feature engineering al feature representation.
Ciò che il deep learning è in grado di fornire è un sistema predittivo che generalizza bene, si adatta con facilità, migliora di continuo grazie all’ingresso di nuovi dati ed è più dinamico di un sistema predittivo basato su rigide regole di business. Insomma, non è più necessario aderire a un modello, ma addestrare a un compito.