P(x)=(a-3)(x+3)x+2(b+i)(x-1)-c(x^2- 2)-10 é um polinômio nulo....

Vamos lá.

Veja, Anita, se o polinômio dado é nulo, então vamos igualá-lo a zero.
Tem-se que o polinômio é este:

P(x) = (a-3)*(x+3)x + 2*(b+i)(x-1) - c*(x^2-2) - 10 igualando-o a zero, teremos:

(a-3)*(x+3)x + 2*(b+i)(x-1) - c*(x^2-2) - 10 = 0 passando "-10" para o 2º membro, teremos:


(a-3)*(x+3)x + 2*(b+i)(x-1) - c*(x^2-2) = 10 vamos desenvolver, ficando:
(ax+3a-3x-9)x + 2*(bx-b+xi-i) - cx²+2c = 10 continuando o desenvolvimento, temos:

ax²+3ax-3x²-9x + 2bx-2b+2xi-2i - cx²+2c = 10 agora vamos ordenar, ficando:
ax²-3x²-cx² + 3ax-9x+2bx - 2b+2c + 2xi-2i = 10 agora vamos agrupar, ficando:
(a-3-c)x² + (3a-9+2b)x - (2b-2c) + (2x-2)i = 10 agora vamos preencher com zeros, no 2º membro, os coeficientes faltantes, com o que ficaremos assim, ficando tudo na mesma ordem do 1º membro:

(a-3-c)x² + (3a-9+2b)x - (2b-2c) + (2x-2)i = 0x² + 0x + 10 + 0i

Finalmente, agora vamos comparar o 1º membro com o 2º, igualando os coeficientes do 1º membro com o seu correspondente no 2º, ficando assim:

a - 3 - c = 0  > a - c = 3         . (I)
3a - 9 + 2b = 0 ---> 3a + 2b = 9   . (II)
- (2b-2c) = 10  ---> - 2b+2c = 10  . (III)
2x -  2 = 0  > 2x = 2 > x = 2/2 : x = 1 <--- Não vamos necessitar disso. Logo, vamos trabalhar apenas com as expressões (I), (II) e (III), que são estas:

a - c = 3         . (I)
3a + 2b = 9    . (II)
- 2b+2c = 10  . (III)

Agora vamos por parte, tentando fazer tudo passo a passo para um melhor entendimento:

i) Utilizando a expressão (I), temos:

a - c = 3
a = 3+c      . (IV)

ii) Agora vamos na expressão (II), que é esta:

3a + 2b = 9 substituiremos "a" por "3+c", conforme acabamos de encontrar na expressão (IV). Assim:

3*(3+c) + 2b = 9
9+3c + 2b = 9
3c + 2b = 9 - 9
3c + 2b = 0 --- ou, o que é a mesma coisa:
2b + 3c = 0    . (V)

iii) Agora vamos trabalhar com as expressões (III) e (V) e que são estas:

-2b + 2c = 10      . (III)
2b + 3c = 0          . (V)

Faremos o seguinte: somaremos, membro a membro as duas expressões acima. Assim teremos:

-2b + 2c = 10 [esta é a expressão (III) normal]
2b + 3c = 0 [esta é a expressão (V) normal]
somando membro a membro, teremos:
0 + 5c = 10 --- ou apenas:
5c = 10
c = 10/5
c = 2 <--- Este é o valor de "c".

iv) Agora, para encontrar o valor de "a" vamos na expressão (IV), que é esta (e nela vamos substituir o valor de "c" por "2"):

a = 3 + c substituindo-se "c" por "2", teremos
a = 3 + 2
a = 5 < Este é o valor de "a".

v) Finalmente, como já temos que a = 5 e c = 2, então vamos encontrar o valor de "b". E, para isto vamos em uma das expressões [ou na (II) ou na (III). Vamos na expressão (II), que é esta:

3a + 2b = 9 substituindo-se "a" por "5", teremos:
3*5 + 2b = 9
15 + 2b = 9 passando-se "15" para o 2º membro, teremos:
2b = 9 - 15
2b = - 6
b = -6/2
b = - 3 < Este é o valor de "b".

vi) Assim, resumindo, teremos os valores de "a", "b" e "c", e que são estes:

a = 5; b = -3; c = 2 < Pronto. Esta é a resposta.

É isso aí.
Deu pra entender bem?

OK?
Adjemir.