Entre neurones et symboles: vers une IA des mécanismes? - Jean-Louis Dessalles
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
mardi 23 novembre 2021
Entre neurones
et symboles:
vers une IA des mécanismes?
Jean-Louis Dessalles
Telecom Paris
jl @ dessalles.fr
www.dessalles.fr
Entre neurones et symboles: vers une IA des mécanismes?
L’IA d’inspiration cognitive
suggère l’existence de mécanismes
qui opèrent dynamiquement
et qui assurent l’interface
entre « les neurones » et les « symboles »
données mécanismes connaissances
voire qui remettent en cause la permanence des « symboles ».
Marcus, G. (2020). GPT-2 and the Nature of Intelligence. The Gradient Marcus, G. & Davis, E. (2020). GPT-3, Bloviator: OpenAI’s language generator has no idea what it’s talking about. MIT Technology review. https://www.technologyreview.com/2020/08/22/1007539/gpt3-openai-language-generator-artificial-intelligence-ai-opinion/
Marcus, G. (2018). Deep learning: A critical appraisal. ArXiv, 1801.006.
Limits on the scope of deep learning.
Deep learning thus far…
1. is data hungry
2. is shallow and has limited capacity for transfer
s
Le DL ne tient pa
3. far has no natural way to deal with hierarchical structure
4. has struggled with open-ended inference
0. on
5. is not sufficiently transparent
pt e d e l a si t ua ti
6. has not been well integrated with prior knowledge com
7. cannot inherently distinguish causation from correlation
8. presumes a largely stable world, in ways that may be problematic
9. works well as an approximation, but its answers often
cannot be fully trusted
10. is difficult to engineer with
Rapporte-moi le petit livre vert qui est à droite sur mon bureau
Petite bactérie
Petit livre
Petite galaxie
Rapporte-moi le petit livre
vert qui est à droite
sur mon bureau
#00FF00 à droite de la tasse Traiter le langage
à droite du bus
à droite de la Tour Eiffel
en situation
La voiture est sur la route
L’avion est sur la ville Je m’assied sur le bureau
La mouche est sur le plafond Je vais au bureau
Je dois ranger mon bureau
SHRDLU Terry Winograd 1971
Personne : Prends un gros bloc rouge.
SHRDLU : OK.
Personne : Attrape la pyramide.
SHRDLU : Je ne comprends pas de quelle pyramide vous parlez.
Personne (changeant d’avis) : Trouve un bloc plus grand que celui que tu
tiens et mets-le dans la boîte.
SHRDLU : Par « le », je suppose que vous voulez dire « le bloc plus grand
que celui que je tiens ».
SHRDLU : OK.
Personne : Que contient la boîte ?
SHRDLU : La pyramide bleue et le bloc.
Personne : Qu’est-ce qui supporte la pyramide ?
SHRDLU : La boîte.
Personne : Combien de blocs ne sont pas dans la boîte ?
SHRDLU : Quatre d’entre eux.
Personne : Est-ce qu’au moins un d’entre eux est plus petit que celui que je
t’ai dit de prendre ?
SHRDLU : Oui, le bloc rouge.
etc.
MIT AI Technical Report 235, February 1971
donkey
convolution
convolution pooling
pooling
horse
...
...
swan
input decision
n e d i nt el l ig en c e
Can
l ig en c e e n b o ît e )
(intelCriminal investigation
A few challenges
for AI One-shot learning with BK
Unicorn
1,2,2,3,3,3,4,4,4,4
“prevent”, “around”, “together”, “abdicate”
« Pain cuit toute la journée »
« J’ai mangé du lieu »
“Delete all images that are duplicated”
“I just met Biden’s sister ”Each context is unique
Criminal investigation
age of the victim
age of her children or parents
time of the crime
color of the room
decision
...
38% murdered women are killed by their male partner
Limits of extrapolation from data
alibi ?Each object is unique
One-shot learning with BK
“buffet plate clip for wine glass”
A child learns about four+
new words a day
background knowledge
Goulden, R., Nation, P. & Read, J. (1990).
How large can a receptive vocabulary be?
Applied linguistics, 11 (4), 341-363.The unicorn problem
donkey
convolution
convolution pooling
pooling
horse
...
...
swan
input decisionInvisible patterns
“prevent”, “around”, “together”, “abdicate”
RelationsSantoro, A., Raposo, D. et al. (2017). A simple neural network module for relational reasoning.
NIPS 2017, 4967-4976.
left_of(x, y)
right_of(y, x)Understand situations
“Delete all images that are duplicated”
relevanceUnderstand situations
“I just met Biden’s sister ”
“I just met my baker’s sister ”
relevance Mécanismes Syntaxe, Aspect, détermination… Opérateur de contraste Calcul de pertinence: simplicité, CAN données mécanismes connaissances
Co -reference
Co-reference Crain, S. (1991). Language
acquisition in the absence of
experience.
BBS, 14 (4), 597-650.
c ule !
e cal
Ç a s
« Elle a aboyé pendant que la chienne était dans la niche. »
« Le fait qu’elle ait aboyé a révélé que la chienne était dans la niche. »
« Sa haine de la sœur de Marie a discrédité Jeanne. »Aspectual processing Victorri, B. (1998). La construction dynamique du sens: un défi pour l'Intelligence Artificielle. RFIA'98.
Aspectual processing
“Elle est encore malade ”
“Elle a mangé une poire en septembre ”
c ule !
e cal
Ç a s
Munch, D. & Dessalles, J.-L. (2012).
Inferring aspectuality on French sentences: a minimalist approach.
CogSci 2012, 2055-2060.Contrast
Gärdenfors, P. (2000).
Conceptual spaces: The geometry of thought.
MIT Press.
based on: Gärdenfors, P. (2014).
The geometry of meaning.
MIT Press.Contrast
Gärdenfors, P. (2000).
Conceptual spaces: The geometry of thought.
MIT Press.
based on: Gärdenfors, P. (2014).
The geometry of meaning.
MIT Press.Dessalles, J.-L. (2015). From conceptual spaces to predicates.
Contrast In Applications of conceptual spaces:
The case for geometric knowledge representation.
Springer.
Predication: a small bacterium vs. a small galaxy
Negation: this isn’t a sport
One-shot learning
Systematicity: red apple, red pear Structure: AABABC
Metaphor: red face Analogy: queen : king :: woman : x
Anomaly detection XAI: mortage denial
Fiction: a flying pig Relevant descriptions: Elvis
Sileno, G., Bloch, I., Atif, J. & Dessalles, J.-L. (2017).
Similarity and contrast on conceptual spaces
for pertinent description generation.
KI 2017Predication
c ule !
e cal
Ç a s
“a small bacterium” vs. “a small galaxy”
mycoplasmes nuages de MagellanNegation through contrast: a dynamic process
King
prawn shrimp
not P(x) P(x) size
P O
O P
c ule !
x
e cal
Ç a s
FOne-shot learning
Anomaly detection
Series of events {xi}.
c ule !
e c al
Ça s
Contrast of xn against {xi} predicate f
Criterion: log(n) C(f) + log(|E|) E = {xi | f(xi)}Each structure is unique
1,2,2,3,3,3,4,4,4,4 . . .
1,2,2,3,3,3,4,4,4,4,5,5,5,5,5
1,2,2,3,3,3,4,4,4,4,4,4,3,4
alc ule! Structures
a s e c
ÇSimplicity
Simplicity theory
theory
Unexpectedness = expected complexity observed complexity
U = Cexp – Cobs Dessalles, J.-L. (2006).
A structural model of intuitive probability.
7th Int. Conf. on Cognitive Modeling, 86-91.
www.simplicitytheory.science UnexpectednessD étection dd’anomalie
Détection ’anomalie
Minister of Physical Education and Sport Svilen Neykov
said the commission established to investigate
would provide answers towards the end of the week.D étection dd’anomalie
Détection ’anomalie
Born in 1808 and 1908.
Elected to the US Congress in 1846 and 1946.
Elected US president in 1860 and in 1960.
Shot in the head in presence of their wives.
Both successors were named JOHNSON. John F. Kennedy
Abraham Lincoln
Both assassins were killed before being tried.
KENNEDY was shot in a car named LINCOLND étection dd’anomalie
Détection ’anomalie
Born in 1808 and 1908.
Elected to the US Congress in 1846 and 1946.
Elected US president in 1860 and in 1960.
Shot in the head in presence of their wives.
Both successors were named JOHNSON. John F. Kennedy
Abraham Lincoln
Both assassins were killed before being tried.
KENNEDY was shot in a car named LINCOLND étection dd’anomalie Détection ’anomalie
D étection dd’anomalie
Détection ’anomalie
Loterie sud-africaine
5 – 6 – 7 – 8 – 9 – 10 compressible
compressible
Loterie bulgare
4 – 15 – 23 – 24 – 35 – 42 et 4 – 15 – 23 – 24 – 35 – 42
Coïncidence entre Lincoln et Kennedy
Johnson, 100 ans, assassins tués, …
Rencontre fortuite
??D étection dd’anomalie
Détection ’anomalie
Loterie sud-africaine Complexité attendue: 6 nombres
Complexité observée: 1 nombre + suivants
5 – 6 – 7 – 8 – 9 – 10
Complexité attendue: 6 nombres
Loterie bulgare Complexité observée: copie dernier
4 – 15 – 23 – 24 – 35 – 42 et 4 – 15 – 23 – 24 – 35 – 42
Coïncidence entre Lincoln et Kennedy
Johnson, 100 ans, assassins tués, … Complexité attendue: 2 complexité
Complexité observée: 1 complexité + copie
Rencontre fortuite
Complexité attendue: description d’un local
Complexité observée: description de l’amiD étection dd’anomalie
Détection ’anomalie
Loterie sud-africaine 6 log2(49) C(Incr)
5 – 6 – 7 – 8 – 9 – 10
Loterie bulgare 6 log2(49) C(Copy)
4 – 15 – 23 – 24 – 35 – 42 et 4 – 15 – 23 – 24 – 35 – 42
Coïncidence entre Lincoln et Kennedy
Johnson, 100 ans, assassins tués, …
Cw(s1) + Cw(s2) C(s1) C(s1|s2)
Rencontre fortuite
C(L) C(P)
c ule !
s e c al
ÇaSimplicity
Simplicity Theory
Theory
unexpectedness Predicts aspects of
Subjective probability
U(s) = Cw(s) – C(s) Newsworthiness
Relevance, explanations
Emotional intensity
2–U
p= Aesthetics, Creativity
Subjective probability Responsibility
(“ex post” probability) ...
im p lic itythe ory.science
ww w. s Mécanismes Syntaxe, Aspect, détermination… Opérateur de contraste Calcul de pertinence: simplicité, CAN données mécanismes connaissances
Relevance
Relevance in
in Argumention
Argumention:: aa minimalist
minimalist model
model
Dessalles, J.-L. (2016). A Cognitive Approach to Relevant Argument Generation.
Principles and Practice of Multi-Agent Systems, LNAI 9935, 3-15. Springer.
Conflict Abduction Negation (CAN)
negation
Revision
ation Logical
propag Giving up
conflict
c ule !
al
Solution
c
Abduction
Ça s eConflict
Conflict Abduction
Abduction Negation
Negation (CAN)
(CAN)
Conflict: If there is no current conflict, look for a new conflict (T, N)
where T is a recently visited state of affairs.
The C–A–N v(T) > 0 in a situation in which it is not realized, or
procedure v(T) < 0 in a situation in which it is realized
Solution: If N > 0 and T is possible (i.e. T is not realized),
decide that T is the case (if T is an action, do it or simulate it).
Abduction: Look for a cause C of T or a reason C for T.
If C is mutable with intensity N, make v(C) = N
and restart from the new conflict (C, N).
Negation: Restart the procedure with the conflict (T, N).
Give up: Make v(T) = N.
Revision: Reconsider the value of v(T).
C is mutable with intensity N if v(T) and N have opposite signs and if |v(T)| < N.Entre neurones et symboles: vers une IA des mécanismes? Mécanismes Syntaxe, Aspect, détermination… Opérateur de contraste Calcul de pertinence: simplicité, CAN données mécanismes connaissances
Entre neurones et symboles: vers une IA des mécanismes?
Mécanismes
Syntaxe, Aspect, détermination…
Opérateur de contraste
Calcul de pertinence: simplicité, CAN
Pour en savoir plus
www.simplicitytheory.science
aiai.telecom-paris.fr/ www.dessalles.frVous pouvez aussi lire
