Avanços em regularização de Tikhonov multiparamétrica para problemas discretos mal-postos.

(1)

Avan¸cos em regulariza¸c˜ao de Tikhonov

multiparam´etrica para problemas discretos

mal-postos.

Leonardo Silveira Borges (UNICAMP) Maria Cristina C. Cunha (UNICAMP)

Ferm´ın S. V. Baz´an (UFSC)

UNICAMP

Departamento de Matem´atica Aplicada

(2)

Estrutura

1 Introdu¸c˜ao

2 Algoritmo de ponto fixo

3 GKB-FP: problemas de grande porte

4 Extens˜oes de GKB-FP

(3)

Estrutura

1 Introdu¸c˜ao

(4)

Introdu¸c˜ao

Problema discreto linear mal-posto

Problema discreto linear mal-posto:

f = argmin f ∈Rn kg − Af k 2 2 (1) A_{∈ R}m×n_{, m ≥ n, mal condicionada.} g = gexato + e ∈ Rm_.

Consequˆencia: Solu¸c˜ao fLS = A†g sem utilidade.

Alternativa: Tikhonov propˆos substituir (1) por

fλ = argmin f ∈Rn ©kg − Af k 2 2+ λ2kLf k22 ª λ > 0: Parâmetro de regulariza¸cão. L_{∈ R}p×n: Matriz de regulariza¸cão.

(5)

Escolha do parˆametro

M´etodos para escolha de λ

M´etodos cl´assicos:

Princ´ıpio da Discrepância (Morozov, 1966) Valida¸cão Cruzada-Generalizada (Golub, 1979) Critério da Curva-L (Hansen, 1993)

Propostas mais recentes:

Ponto-Fixo (Bazán, 2008, Bazán e Francisco, 2009) Valida¸cão Cruzada-Generalizada com peso (Chung, 2008)

Comparativo entre 20 m´etodos para escolha de λ: F. Bauer e M. A. Lukas, Comparing parameter choice methods for regularization of ill-posed problems, 2011.

(6)

Curva-L e o crit´erio do produto m´ınimo

Norma do res´ıduo: x_{(λ) = kg − Af}_λ_k2₂, fun¸c˜ao crescente

(semi-)Norma da solu¸cão: y_{(λ) = kLf}λk22, fun¸cão decrescente Hansen, 1993: Encontrar o ponto de máxima curvatura de

L =©(a, b) ∈ R2_{/a = log x(λ), b = log y (λ)}ª

Regi´nska, 1996: Encontrar um minimizador local da fun¸c˜ao Ψ(λ) = x(λ)y (λ)µ, µ > 0 100 100 log x(λ) log y( λ ) Curva−L 100 100 log λ log Ψ ( λ ) Ψ(λ)

(7)

Justificativa do crit´erio do produto m´ınimo

Solu¸c˜ao regularizada: f_λ = (AT_A_{+ λ}2_LT_L)−1_AT_g _{= R}

λg Cota para o erro:

kfexato − fλk2 = kf exato − Rλg exato − Rλek2 ≤ kfexato − Rλg exato k2+ kRλek2= ξ1(λ) + ξ2(λ) log do crit´erio do produto: log Ψ(λ) = log x(λ) + µ log y (λ)

0 0.02 0.04 0.06 100 101 λ_min = 0.01452 0 0.02 0.04 0.06 102.13 102.15 102.17 λ_min = 0.023442 ξ₁(λ) ξ₂(λ) ξ₁(λ)+ξ 2(λ) Ψ(λ)

(8)

Estrutura

1 Introdu¸c˜ao

(9)

Algoritmo de ponto fixo

Ponto Fixo (FP) (Baz´an, 2008 e Baz´an e Francisco, 2009)

Pontos cr´ıticosde Ψ(λ) est˜ao associados aospontos fixos de

φ(λ; µ) =√µkg − Afλk2 kLfλk2 100 105 log λ Ψ(λ) 100 10−5 100 log λ φ(λ)

Algoritmo FP: λ0 > 0: chute inicial

λk+1 = φ(λk; µ), k ≥ 0

(10)

Estrutura

1 Introdu¸c˜ao

(11)

Problema de grande porte

Bidiagonaliza¸c˜ao de Golub-Kahan e LSQR

Bidiag. de Golub-Kahan: No passo k existem matrizes Uk+1 e Vk

com colunas ortonormais e Bk ∈ R(k+1)×k bidiag. inferior tal que

AVk = Uk+1Bk

ATUk+1 = VkBkT+ αk+1vk+1ekT+1

Propriedade: span(Vk) = Kk(ATA, ATb)

Algoritmo LSQR:Construir solu¸c˜oes fk = Vkyk com

yk = argmin y ∈Rk kβ1

e1− Bkyk22

(12)

LSQR e Tikhonov

No problema regularizado, construir solu¸c˜oes fk,λ = Vkyk,λ com

yk,λ= argmin y ∈Rk ©kβ

1e1− Bkyk22+ λ2kyk22

ª

em que β1 = kgk2.

Propriedades: _{para λ ≥ 0 fixo,}

kβ1e1− Bkyk,λk2 ´e decrescenteem k

(13)

GKB-FP (Baz´an e Borges, 2010)

Para cada k, k ≥ 2, seja yk,λ= argmin

y ∈Rk ©kβ1

e1− Bkyk22+ λ2kyk22

ª

Ideia: aplicar algoritmo FP para selecionar λ(k)∗ _{ponto fixo de}

φ(k)(λ; µ) =√µkβ1e1− Bkyk,λk2 kyk,λk2

Teorema 1: _{φ(λ; µ) ≤ φ}(k+1)_{(λ; µ) ≤ φ}(k)_{(λ; µ), k = 2, . . . , n − 1,} Teorema 2: Sequência de pontos fixos λ(k)∗ é não-crescente

(14)

GKB-FP, Estabiliza¸c˜ao da solu¸c˜ao

Teorema 3

Se o maior ponto fixo convexo de φ(λ; 1) é encontrado no passso k, isto é, λ∗ _{= φ}(k)_(λ∗_{; 1) para algum k, então}

fk,λ∗= f_k+1,λ∗ = · · · = f_n,λ∗, f_λ∗ e como consequˆencia, a norma

do erro kfexato_{− f}

j,λ∗k₂ permanece constante para k ≤ j ≤ n.

0 10 20 10−2 10−1 100 λk 0 10 20 101.1 101.2 Norma sol. 0 10 20 10−2 10−1 100 Erro rel.

(15)

Estrutura

1 Introdu¸c˜ao

(16)

Extens˜oes de GKB-FP

GKB-FP para forma geral (Baz´an e Borges, 2011)

Ideias gerais:

1. Transformar o problema na forma geral

fλ = argmin

f ∈Rn ©kg − Af k 2

2+ λ2kLf k22ª , L6= I

para a forma padr˜ao

¯ fλ= argmin ¯ f ∈Rn ©k¯g − ¯A¯fk 2 2+ λ2k¯fk22 ª

2. Aplicar GKB-FPno problema transformado na forma padr˜ao.

3. Obtida solu¸c˜ao ¯fλ, calcular fλ.

Obs: Transforma¸cão para forma padrão envolve cálculos com a matriz L†_.

(17)

Regularizador L com estrutura especial

Considerar L com estrutura

L= · In_˜⊗ Ld Ld⊗ Iñ ¸ em que Ld ∈ R(ñ−d)×ñ.

Propriedade 1: Estrutura especial de L permite usar a SVD de Ld.

Ld = UdΣdVdT e encontrar matriz LD com tal que

kLf k2 = kLDfk2 com

LD = D(Vd⊗ Vd)T e D2= ΣTdΣd⊗ I + I ⊗ ΣTdΣd Propriedade 2: Redu¸c˜ao do custo comp. para L†_f _{e L}†T

f L†_Df = (Vd⊗ Vd)D†f e L† T D f = D †_(V d⊗ Vd)Tf

(18)

PROJ-FP (Baz´an e Borges, 2011)

Problema naforma geral

fλ = argmin

2+ λ2kLf k22

ª

Ideia: Construir solu¸c˜oes fk,λ= Vkyk,λ com

yk,λ= argmin y ∈Rk ©kβ1 e₁_{− B}kyk22+ λ2kLVkyk22 ª Decomposi¸c˜ao QRde LVk, LVk = QkRk, implica yk,λ = argmin y ∈Rk ©kβ1 e1− Bkyk22+ λ2kRkyk22 ª

(19)

G-LSQR (Baz´an e Borges, 2011)

Ideia geral: Aplicar o algoritmo LSQR ao problema

argmin

¯

f ∈Rn k¯g − ¯

A¯f_k2₂

Crit´erio de parada:´Indice k∗ _{tal que}

k∗ = argmin ¯Ψk, k ≥ 0

em que

¯

Ψk = k¯g − ¯A¯fkk2k¯fkk2 Obs: Obtida solu¸c˜ao ¯fk, calcular fk.

(20)

Experimento num´erico

Exemplo - Restaura¸c˜ao de imagem

Imagem: _{512×512 pixels} Sistema linear: 262.144 vari´aveis

N´ıvel ru´ıdo: 0,1% Regularizador: L=

·

I_{⊗ L}1

L1⊗ I

¸

(21)

Exemplo - Restaura¸c˜ao de imagem

LD PROJ-FP G-LSQR

E 15,92% 12,53% 15,88%

tempo 18,8s 188,4s 17,6s

itera¸c˜oes 154 171 154

(22)

Estrutura

1 Introdu¸c˜ao

(23)

Tikhonov Multi-param´etrico

O problema com v´arios parˆametros:

f_λ = argmin f ∈Rn ©kg − Af k 2 2+ λ21kL1fk22+ · · · + λ2qkLqfk22 ª A_{∈ R}m×n, Li ∈ Rpi×n e λ = (λ1, . . . , λq) ∈ Rq, λi > 0.

Dificuldade: Falta de decomposi¸c˜ao “GSVD” para (A, L1, . . . , Lq)

do tipo A = UΣX , Li = ViMiX, em que U, Vi s˜ao ortogonais, Σ e

Mi diagonais e X n˜ao-singular.

Ideia: Tratar como

fλ = argmin f ∈Rn ° ° ° ° ° ° ° ° °      g 0 .. . 0      −      A λ1L1 .. . λqLq      f ° ° ° ° ° ° ° ° ° 2 2

(24)

Generaliza¸c˜oes

Discrepância para múltiplos parâmetros

Escolher λ = (λ1, . . . , λq) tal que a solu¸c˜ao regularizada fλ

satisfa¸ca oPrinc´ıpio da Discrepˆancia

kg − Afλk2 = cδ, c ≥ 1

em que kek = kg − gexato

k22 ≤ δ.

Interpreta¸cão geométrica usando 1 e 2 parâmetros:

0 0.02 0.04 0.11 0.115 0.12 λ ||g−Af λ || 0 0.05 0 0.1 0.2 0.11 0.12 0.13 λ₂ λ₁ ||g−Af λ || ||g−Af_λ|| = cδ

(25)

Generaliza¸c˜oes

Fun¸c˜oes modelo (Lu e Pereverzev, 2011)

Considerar o caso

fλ = argmin©kg − Af k22+ λ21kL1fk22+ λ22kf k22

ª

A equa¸c˜ao da discrepˆancia pode ser reescrita como

F(λ1, λ2) − λ21∂λ1F(λ1, λ2) − λ 2

2∂λ2F(λ1, λ2) = c

2_δ2 ₍₂₎

Ideia: aproximar F (λ1, λ2) por uma fun¸c˜ao mais simples,

m(λ1, λ2), chamada de fun¸c˜ao modelo, que seja mais f´acil de

trabalhar. m(λ1, λ2) = kgk22+ C λ2 1 + D T + λ2 2

(26)

Generaliza¸c˜oes

Combina¸c˜ao linear (Brezinski, et al., 2003)

Trabalhar comq subproblemas uniparam´etricos

fλi = argmin

2+ qλ2ikLifk22

ª

Obter solu¸cão fλ comocombina¸cão linear das solu¸cões fλi

fλ = fλ(α) = q X i=1 αifλi, s. a q X i=1 αi = 1

(27)

Generaliza¸c˜oes

Crit´erio do produto m´ınimo - Ponto Fixo

Sejam

x_{(λ) = kg − Af}λk22, yi(λ) = kLifλk22

Escolher como parˆametro de regulariza¸c˜ao o ponto λ ∈ Rq

minimizador local de

Ψ(λ) = x(λ)y1(λ)µ1· · · yq(λ)µq, µi > 0

Pontos extremosde Ψ(λ) est˜ao associados aos pontos fixos de

Φ(λ) = (φ1(λ; µ1), . . . , φq(λ; µq))

em que

φi(λ; µi) =√µikg − Afλk2

(28)

Generaliza¸c˜oes

Pontos extremos de Ψ(λ)

Do cálculo, λ é ponto extremo se ∇Ψ(λ) = 0, então

∇Ψ(λ) = yµ1 1 (λ) · · · y µq q (λ)J        µ1 x(λ) y1(λ)− λ 2 1 .. . µq x(λ) yq(λ) − λ 2 q        = 0 em que J=       ∂y1 ∂λ1 · · · ∂yq ∂λ1 .. . . .. ... ∂y1 ∂λq · · · ∂yq ∂λq       , n˜ao-singular

(29)

Generaliza¸c˜oes

Algoritmo

1. λ(0) = (λ(0)₁ , . . . , λ(0)q ) > 0 2. λ(k+1) = (λ(k+1)₁ , . . . , λ(k+1)q ) = Φ(λ(k)), isto ´e, λ(k+1)_i = φi(λ(k); µi), i = 1, . . . , q em que φi(λ; µi) =√µikg − Afλk2 kLifλk2

(30)

Generaliza¸c˜oes

Superf´ıcies Ψ(λ), φ

1

(λ) e φ

2

(λ)

Exemplo de superf´ıcies Ψ(λ), φ1(λ) e φ2(λ) 0.01 0.02 0.03 0.2 0.4 −5 −4 −3 −2 −1 λ₂ λ₁ −8 −6 −4 −8−6 −4−2 −7 −6 −5 −4 λ₂ λ₁ −8 −6 −4 −8−6 −4−2 −6 −4 −2 λ₂ λ₁ FP

(31)

Exemplo - Equa¸c˜ao integral

Discretiza¸cão da transformada inversa de Laplace (equa¸cão integral de Fredholm de primeira espécie).

Z ∞

0

K(x, y )f (y )dy = g (x), _{0 ≤ x < ∞}

em que oNúcleo K(x, y ),Solu¸cão f(y ) eLado direito g(x) são dados por

K_{(x, y ) = exp(−xy)} f_{(y ) = exp(−y/2)} g(x) = 1

(32)

Exemplo - Equa¸c˜ao integral

Sistema linear: 512 vari´aveis

N´ıvel ru´ıdo: 1% Regularizadores: L1 = I e L2= L1.

FPL1 FPL2 FP Comb. Linear Discrep.

E 20,42% 4,51% 1,19% 4,50% 3,17% itera¸c˜oes 4 4 6 – 7 λ1 0,0281 0,5571 0,0276 0,0281 0,0389 λ2 – – 0,5581 0,5571 0,0008 0 200 400 0 0.5 1 1.5 exata FP L1 0 200 400 0 0.5 1 1.5 FP C.L.

(33)

Trabalhos futuros

An´alise de erro

(34)

Bibliografia

F. S. V. Baz´an, Fixed-point iterations in determining the Tikhonov regularization parameter, Inv. Problems, 24, 2008.

F. S. V. Baz´an e J. B. FRANCISCO, Improved Fixed-point algorithm for determining the Tikhonov regularization parameter, Inv.

Problems, 2009.

F. S. V. Baz´an e L. S. Borges, GKB-FP: an algorithm for large-scale discrete ill-posed problems, BIT, 50, p. 481-507, 2010.

F. S. V. Baz´an e L. S. Borges, Extension of GKB-FP algorithm to general-form Tikhonov regularization, submetido.

C. Brezinski, M. Redivo-Zaglia, G. Rodriguez e S. Seatzu,

Multi-parameter regularization techniques for ill-conditioned linear systems, Numerische Mathematik, 94, p. 203-228, 2003.

S. Lu e S. V. Pereverzev, Multi-parameter regularization and its numerical realization, Numerische Mathematik, 118, p. 1-31, 2011. F. Bauer e M. A. Lukas, Comparing parameter choice methods for regularization of ill-posed problems, Math. and Comp. in Simulation, 81, p. 1795-1841, 2011.

(35)

Bibliografia

V. A. Morozov, On the solution of functional equations by the method of regularization, Soviet Math. Dokl., 7, pp. 414-417, 1966. G. H. Golub, M. T. Heath e G. Wahba, Generalized cross-validation as a method for choosing a good ridge parameter, Technometrics, 21, pp. 215-223, 1979.

C. C. Paige e M. A. Saunders, LSQR: An algorithm for sparse linear equations and sparse least squares, ACM Trans. Math. Softw, Vol. 8, No. 1, pp 43-71, 1982.

P. C. Hansen, Rank-deficient and discrete ill-posed problems, SIAM Philadelphia, PA, 1998.

J. Chung, J. G. Nagy, e D. P. O’Leary, A Weighted-GCV Method for Lanczos-Hybrid Regularization, Electronic Transaction on Numerical Analysis, 28, pp 149-167, 2008.