corrigido

lgrando1 · Sep 30, 2024 · a64a309 · a64a309
1 parent b2d452d
commit a64a309
Show file tree

Hide file tree

Showing 9 changed files with 81 additions and 73 deletions.
diff --git a/index.json b/index.json
diff --git a/index.xml b/index.xml
@@ -1334,28 +1334,29 @@ PS: peço desculpas na imagem abaixo por que eu digitei um comando errado, por i
 &lt;p&gt;&lt;a href=&#34;https://lgrando1.github.io/post/ollamawin/&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;Parte 2 - Instalando o Ollama no Windows&lt;/a&gt;&lt;/p&gt;
 &lt;p&gt;&lt;a href=&#34;https://lgrando1.github.io/post/llmandroid/&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;Parte 3 - Instalando LLMs Off-line no Android&lt;/a&gt;&lt;/p&gt;
 &lt;p&gt;A plataforma &lt;a href=&#34;https://huggingface.co/&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;&lt;strong&gt;Hugging Face&lt;/strong&gt;&lt;/a&gt; é uma portal onde a comunidade de aprendizado de máquina colabora com modelos, conjunto de dados e aplicações.&lt;/p&gt;
-&lt;p&gt;Ao acessar o site e clicar no link &lt;a href=&#34;https://huggingface.co/models&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;Models&lt;/a&gt; é possível buscar por variados modelos voltados para várias tarefas de aprendizado de máquina visão computacional, processamento natural de linguagem, áudio, dados tabulares, aprendizado por reforço e outros tipos.&lt;/p&gt;
-&lt;p&gt;Neste post apresentaremos uma introdução de como utilizar estas bibliotecas em sua máquina (ou no Google Colab). Como exemplo é demostrado a realização de duas tarefas: o preenchimento de mascaras de texto (completar um espaço de um texto) e o resumo de um texto.&lt;/p&gt;
+&lt;p&gt;Ao acessar o site e clicar no link &lt;a href=&#34;https://huggingface.co/models&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;Models&lt;/a&gt; é possível buscar por variados modelos voltados para várias tarefas de aprendizado de máquina, visão computacional, processamento natural de linguagem, áudio, dados tabulares, aprendizado por reforço e outros tipos.&lt;/p&gt;
+&lt;p&gt;Neste post apresentaremos uma introdução de como utilizar estas bibliotecas em sua máquina (ou no Google Colab). Como exemplo, é demostrado a realização de duas tarefas: o preenchimento de máscaras de texto (completar um espaço de um texto) e o resumo de um texto.&lt;/p&gt;
 &lt;p&gt;São dois modelos/exemplos simples, mas o objetivo é realmente despertar a curiosidade em conhecer mais sobre esta plataforma.&lt;/p&gt;
 &lt;p&gt;Algumas considerações:&lt;/p&gt;
 &lt;ol&gt;
-&lt;li&gt;Ao baixar o modelo em sua maquina, alguns modelos são grandes, como o segundo modelo deste tutorial que possui mais do que 1,5 GB. Neste &lt;a href=&#34;https://huggingface.co/docs/huggingface_hub/en/guides/manage-cache&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;link&lt;/a&gt; é possível ver como gerenciar o cache destes modelos;&lt;/li&gt;
-&lt;li&gt;Se atente ao modelo que você vai testar, pois já foram encontrados &lt;a href=&#34;https://www.bleepingcomputer.com/news/security/malicious-ai-models-on-hugging-face-backdoor-users-machines/&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;problemas de segurança&lt;/a&gt;;&lt;/li&gt;
+&lt;li&gt;Ao baixar o modelo em sua máquina, alguns modelos são grandes, como o segundo modelo deste tutorial que possui mais do que 1,5 GB. Neste &lt;a href=&#34;https://huggingface.co/docs/huggingface_hub/en/guides/manage-cache&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;link&lt;/a&gt; é possível ver como gerenciar o cache destes modelos;&lt;/li&gt;
+&lt;li&gt;Se atente ao modelo que você testará, pois já foram encontrados &lt;a href=&#34;https://www.bleepingcomputer.com/news/security/malicious-ai-models-on-hugging-face-backdoor-users-machines/&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;problemas de segurança&lt;/a&gt;;&lt;/li&gt;
 &lt;li&gt;Se atente também nas licenças de conteúdo dos modelos e também possíveis dependências. Se atente a documentação presente em cada página dos modelos;&lt;/li&gt;
-&lt;li&gt;Alguns modelos de aprendizados de máquinas exigem bastante recursos computacionais, ao escrever este post, várias vezes o Jupyter acabou resetando. Apenas para comparativo, este computador é um Core i5 de nona geração (Intel i5 - 9300H) e 8 GB de RAM. Infelizmente ainda não consegui ativar a GPU para tarefas de Machine Learning no Linux. No Google Colab é possível ativar o &lt;a href=&#34;https://colab.research.google.com/notebooks/gpu.ipynb&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;suporte ao GPU&lt;/a&gt; mesmo no tier grátis.&lt;/li&gt;
+&lt;li&gt;Alguns modelos de aprendizados de máquinas exigem bastantes recursos computacionais, ao escrever este post, várias vezes o Jupyter acabou resetando. Apenas para comparativo, este computador é um Core i5 de nona geração (Intel i5 - 9300H) e 8 GB de RAM. Infelizmente ainda não consegui ativar a GPU para tarefas de Machine Learning no Linux. No Google Colab é possível ativar o &lt;a href=&#34;https://colab.research.google.com/notebooks/gpu.ipynb&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;suporte ao GPU&lt;/a&gt; mesmo no tier grátis.&lt;/li&gt;
 &lt;/ol&gt;
-&lt;p&gt;Alertas feitos, vamos aos modelos:&lt;/p&gt;
-&lt;p&gt;Primeiro é necessário a biblioteca &lt;a href=&#34;https://huggingface.co/docs/transformers&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;Transformers&lt;/a&gt; para poder baixar e treinais os modelos pré treinados.&lt;/p&gt;
+&lt;p&gt;Alerta feitos, vamos aos modelos:&lt;/p&gt;
+&lt;p&gt;Primeiro é necessário a biblioteca &lt;a href=&#34;https://huggingface.co/docs/transformers&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;Transformers&lt;/a&gt; para poder baixar e treinais os modelos pré-treinados.&lt;/p&gt;
 &lt;p&gt;No momento da escrita deste post estão disponíveis 564772 modelos.&lt;/p&gt;
 &lt;p&gt;Aqui esta presente a &lt;a href=&#34;https://huggingface.co/docs/transformers/en/installation&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;documentação&lt;/a&gt; de como instalar esta biblioteca.&lt;/p&gt;
 &lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-python&#34; data-lang=&#34;python&#34;&gt;&lt;span class=&#34;line&#34;&gt;&lt;span class=&#34;cl&#34;&gt;&lt;span class=&#34;kn&#34;&gt;import&lt;/span&gt; &lt;span class=&#34;nn&#34;&gt;transformers&lt;/span&gt;
 &lt;/span&gt;&lt;/span&gt;&lt;span class=&#34;line&#34;&gt;&lt;span class=&#34;cl&#34;&gt;&lt;span class=&#34;kn&#34;&gt;from&lt;/span&gt; &lt;span class=&#34;nn&#34;&gt;transformers&lt;/span&gt; &lt;span class=&#34;kn&#34;&gt;import&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;pipeline&lt;/span&gt;
 &lt;/span&gt;&lt;/span&gt;&lt;span class=&#34;line&#34;&gt;&lt;span class=&#34;cl&#34;&gt;
+&lt;/span&gt;&lt;/span&gt;&lt;span class=&#34;line&#34;&gt;&lt;span class=&#34;cl&#34;&gt;
 &lt;/span&gt;&lt;/span&gt;&lt;span class=&#34;line&#34;&gt;&lt;span class=&#34;cl&#34;&gt;&lt;span class=&#34;c1&#34;&gt;#Apenas para suprimir erros, não nescessário. &lt;/span&gt;
 &lt;/span&gt;&lt;/span&gt;&lt;span class=&#34;line&#34;&gt;&lt;span class=&#34;cl&#34;&gt;&lt;span class=&#34;kn&#34;&gt;import&lt;/span&gt; &lt;span class=&#34;nn&#34;&gt;logging&lt;/span&gt;
 &lt;/span&gt;&lt;/span&gt;&lt;span class=&#34;line&#34;&gt;&lt;span class=&#34;cl&#34;&gt;&lt;span class=&#34;n&#34;&gt;logging&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;getLogger&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;transformers&amp;#34;&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;setLevel&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;logging&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;ERROR&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;)&lt;/span&gt;
-&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;h2 id=&#34;tarefa-1---preenchimento-de-mascaras&#34;&gt;Tarefa 1 - preenchimento de mascaras&lt;/h2&gt;
-&lt;p&gt;Para realizar a tarefa de &lt;strong&gt;preenchimento de mascaras&lt;/strong&gt;, utilizaremos o modelo &lt;a href=&#34;https://huggingface.co/neuralmind/bert-base-portuguese-cased&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;BERTimbau Base (aka &amp;ldquo;bert-base-portuguese-cased&amp;rdquo;&lt;/a&gt; [1]&lt;/p&gt;
+&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;h2 id=&#34;tarefa-1---preenchimento-de-máscaras&#34;&gt;Tarefa 1 - preenchimento de máscaras&lt;/h2&gt;
+&lt;p&gt;Para realizar a tarefa de &lt;strong&gt;preenchimento de máscaras&lt;/strong&gt;, utilizaremos o modelo &lt;a href=&#34;https://huggingface.co/neuralmind/bert-base-portuguese-cased&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;BERTimbau Base (aka &amp;ldquo;bert-base-portuguese-cased&amp;rdquo;&lt;/a&gt; [1]&lt;/p&gt;
 &lt;p&gt;Iremos utilizar neste caso a versão base.&lt;/p&gt;
 &lt;p&gt;A tarefa realizada será &amp;ldquo;fill-mask&amp;rdquo; e iremos pedir que ele devolva 5 respostas para a frase &amp;ldquo;Batatinha quando nasce, esparrama pelo [MASK]&amp;rdquo; onde [MASK] é o texto que será preenchido pelo token.&lt;/p&gt;
 &lt;p&gt;[1] SOUZA, Fábio e NOGUEIRA, Rodrigo e LOTUFO, &lt;strong&gt;Roberto. BERTimbau: pretrained BERT models for Brazilian Portuguese.&lt;/strong&gt; 2020, [S.l: s.n.], 2020.&lt;/p&gt;

diff --git a/post/hface/index.html b/post/hface/index.html
@@ -867,28 +867,29 @@ <h1>Testando Modelos de IA com o HuggingFace.</h1>
 <p><a href="https://lgrando1.github.io/post/ollamawin/" target="_blank" rel="noopener">Parte 2 - Instalando o Ollama no Windows</a></p>
 <p><a href="https://lgrando1.github.io/post/llmandroid/" target="_blank" rel="noopener">Parte 3 - Instalando LLMs Off-line no Android</a></p>
 <p>A plataforma <a href="https://huggingface.co/" target="_blank" rel="noopener"><strong>Hugging Face</strong></a> é uma portal onde a comunidade de aprendizado de máquina colabora com modelos, conjunto de dados e aplicações.</p>
-<p>Ao acessar o site e clicar no link <a href="https://huggingface.co/models" target="_blank" rel="noopener">Models</a> é possível buscar por variados modelos voltados para várias tarefas de aprendizado de máquina visão computacional, processamento natural de linguagem, áudio, dados tabulares, aprendizado por reforço e outros tipos.</p>
-<p>Neste post apresentaremos uma introdução de como utilizar estas bibliotecas em sua máquina (ou no Google Colab). Como exemplo é demostrado a realização de duas tarefas: o preenchimento de mascaras de texto (completar um espaço de um texto) e o resumo de um texto.</p>
+<p>Ao acessar o site e clicar no link <a href="https://huggingface.co/models" target="_blank" rel="noopener">Models</a> é possível buscar por variados modelos voltados para várias tarefas de aprendizado de máquina, visão computacional, processamento natural de linguagem, áudio, dados tabulares, aprendizado por reforço e outros tipos.</p>
+<p>Neste post apresentaremos uma introdução de como utilizar estas bibliotecas em sua máquina (ou no Google Colab). Como exemplo, é demostrado a realização de duas tarefas: o preenchimento de máscaras de texto (completar um espaço de um texto) e o resumo de um texto.</p>
 <p>São dois modelos/exemplos simples, mas o objetivo é realmente despertar a curiosidade em conhecer mais sobre esta plataforma.</p>
 <p>Algumas considerações:</p>
 <ol>
-<li>Ao baixar o modelo em sua maquina, alguns modelos são grandes, como o segundo modelo deste tutorial que possui mais do que 1,5 GB. Neste <a href="https://huggingface.co/docs/huggingface_hub/en/guides/manage-cache" target="_blank" rel="noopener">link</a> é possível ver como gerenciar o cache destes modelos;</li>
-<li>Se atente ao modelo que você vai testar, pois já foram encontrados <a href="https://www.bleepingcomputer.com/news/security/malicious-ai-models-on-hugging-face-backdoor-users-machines/" target="_blank" rel="noopener">problemas de segurança</a>;</li>
+<li>Ao baixar o modelo em sua máquina, alguns modelos são grandes, como o segundo modelo deste tutorial que possui mais do que 1,5 GB. Neste <a href="https://huggingface.co/docs/huggingface_hub/en/guides/manage-cache" target="_blank" rel="noopener">link</a> é possível ver como gerenciar o cache destes modelos;</li>
+<li>Se atente ao modelo que você testará, pois já foram encontrados <a href="https://www.bleepingcomputer.com/news/security/malicious-ai-models-on-hugging-face-backdoor-users-machines/" target="_blank" rel="noopener">problemas de segurança</a>;</li>
 <li>Se atente também nas licenças de conteúdo dos modelos e também possíveis dependências. Se atente a documentação presente em cada página dos modelos;</li>
-<li>Alguns modelos de aprendizados de máquinas exigem bastante recursos computacionais, ao escrever este post, várias vezes o Jupyter acabou resetando. Apenas para comparativo, este computador é um Core i5 de nona geração (Intel i5 - 9300H) e 8 GB de RAM. Infelizmente ainda não consegui ativar a GPU para tarefas de Machine Learning no Linux. No Google Colab é possível ativar o <a href="https://colab.research.google.com/notebooks/gpu.ipynb" target="_blank" rel="noopener">suporte ao GPU</a> mesmo no tier grátis.</li>
+<li>Alguns modelos de aprendizados de máquinas exigem bastantes recursos computacionais, ao escrever este post, várias vezes o Jupyter acabou resetando. Apenas para comparativo, este computador é um Core i5 de nona geração (Intel i5 - 9300H) e 8 GB de RAM. Infelizmente ainda não consegui ativar a GPU para tarefas de Machine Learning no Linux. No Google Colab é possível ativar o <a href="https://colab.research.google.com/notebooks/gpu.ipynb" target="_blank" rel="noopener">suporte ao GPU</a> mesmo no tier grátis.</li>
 </ol>
-<p>Alertas feitos, vamos aos modelos:</p>
-<p>Primeiro é necessário a biblioteca <a href="https://huggingface.co/docs/transformers" target="_blank" rel="noopener">Transformers</a> para poder baixar e treinais os modelos pré treinados.</p>
+<p>Alerta feitos, vamos aos modelos:</p>
+<p>Primeiro é necessário a biblioteca <a href="https://huggingface.co/docs/transformers" target="_blank" rel="noopener">Transformers</a> para poder baixar e treinais os modelos pré-treinados.</p>
 <p>No momento da escrita deste post estão disponíveis 564772 modelos.</p>
 <p>Aqui esta presente a <a href="https://huggingface.co/docs/transformers/en/installation" target="_blank" rel="noopener">documentação</a> de como instalar esta biblioteca.</p>
 <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="kn">import</span> <span class="nn">transformers</span>
 </span></span><span class="line"><span class="cl"><span class="kn">from</span> <span class="nn">transformers</span> <span class="kn">import</span> <span class="n">pipeline</span>
 </span></span><span class="line"><span class="cl">
+</span></span><span class="line"><span class="cl">
 </span></span><span class="line"><span class="cl"><span class="c1">#Apenas para suprimir erros, não nescessário. </span>
 </span></span><span class="line"><span class="cl"><span class="kn">import</span> <span class="nn">logging</span>
 </span></span><span class="line"><span class="cl"><span class="n">logging</span><span class="o">.</span><span class="n">getLogger</span><span class="p">(</span><span class="s2">&#34;transformers&#34;</span><span class="p">)</span><span class="o">.</span><span class="n">setLevel</span><span class="p">(</span><span class="n">logging</span><span class="o">.</span><span class="n">ERROR</span><span class="p">)</span>
-</span></span></code></pre></div><h2 id="tarefa-1---preenchimento-de-mascaras">Tarefa 1 - preenchimento de mascaras</h2>
-<p>Para realizar a tarefa de <strong>preenchimento de mascaras</strong>, utilizaremos o modelo <a href="https://huggingface.co/neuralmind/bert-base-portuguese-cased" target="_blank" rel="noopener">BERTimbau Base (aka &ldquo;bert-base-portuguese-cased&rdquo;</a> [1]</p>
+</span></span></code></pre></div><h2 id="tarefa-1---preenchimento-de-máscaras">Tarefa 1 - preenchimento de máscaras</h2>
+<p>Para realizar a tarefa de <strong>preenchimento de máscaras</strong>, utilizaremos o modelo <a href="https://huggingface.co/neuralmind/bert-base-portuguese-cased" target="_blank" rel="noopener">BERTimbau Base (aka &ldquo;bert-base-portuguese-cased&rdquo;</a> [1]</p>
 <p>Iremos utilizar neste caso a versão base.</p>
 <p>A tarefa realizada será &ldquo;fill-mask&rdquo; e iremos pedir que ele devolva 5 respostas para a frase &ldquo;Batatinha quando nasce, esparrama pelo [MASK]&rdquo; onde [MASK] é o texto que será preenchido pelo token.</p>
 <p>[1] SOUZA, Fábio e NOGUEIRA, Rodrigo e LOTUFO, <strong>Roberto. BERTimbau: pretrained BERT models for Brazilian Portuguese.</strong> 2020, [S.l: s.n.], 2020.</p>