WEB | #iOS | #Android Fashion News

ChatGPT クローラーの UA(ユーザーエージェント) と IPアドレス範囲まとめ

Last updated : 2023-08-09 09:46

👉 OpenAI、Webデータ収集クローラー「GPTBot」のブロック方法を説明 - ITmedia NEWS

公式サイトでは、目次からのリンクなしのページだが、もう一つあるので書いてみた。

リリース当時はここらの話は、Common Clowl 中心だった。

そこらは、最終にあるHNディスカッションリンクを参照でどうぞ。

🌍 GPTBot


ユーザーエージェントトークン:
GPTBot

ユーザーエージェント文字列:
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)

IPアドレス:
40.83.2.64/28

👉 GPTBot - OpenAI API

🌍 ChatGPT-User


ユーザーエージェントトークン:
ChatGPT-User

ユーザーエージェント文字列:
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot

IPアドレス:
23.98.142.176/28

👉 Bot - OpenAI API

🌍 CCBot

以前、使っていましたよね?


ユーザーエージェントトークン:
CCBot

👉 Common Crawl

🌍 まとめ


# robots.txt

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: CCBot
Disallow: /

実質、手遅れの気休めなんだろな。

👉 GPTBot – OpenAI’s Web Crawler | Hacker News

将来、URL の twitter.com は x.com となるんだろうか。

Last updated : 2023-07-24 23:30

アイコンが変わりました。

URLはどうなるのでしょうか。


❯ curl -I https://x.com
HTTP/2 302
date: Mon, 24 Jul 2023 14:24:27 GMT
location: https://twitter.com/
cache-control: private, max-age=0, no-store, no-cache, must-revalidate, post-check=0, pre-check=0
expires: Thu, 01 Jan 1970 00:00:01 GMT
server: cloudflare
cf-ray: 7ebcd3ab8e352615-NRT

❯ curl -I https://twitter.com
HTTP/2 403
date: Mon, 24 Jul 2023 14:24:21 GMT
perf: 7626143928
server: tsa_m
set-cookie: guest_id_marketing=v1%3A169020866196904294; Max-Age=63072000; Expires=Wed, 23 Jul 2025 14:24:21 GMT; Path=/; Domain=.twitter.com; Secure; SameSite=None
set-cookie: guest_id_ads=v1%3A169020866196904294; Max-Age=63072000; Expires=Wed, 23 Jul 2025 14:24:21 GMT; Path=/; Domain=.twitter.com; Secure; SameSite=None
set-cookie: personalization_id="v1_oj788V5nRvbYdR1OvohwoQ=="; Max-Age=63072000; Expires=Wed, 23 Jul 2025 14:24:21 GMT; Path=/; Domain=.twitter.com; Secure; SameSite=None
set-cookie: guest_id=v1%3A169020866196904294; Max-Age=63072000; Expires=Wed, 23 Jul 2025 14:24:21 GMT; Path=/; Domain=.twitter.com; Secure; SameSite=None
x-powered-by: Express
cache-control: no-cache, no-store, max-age=0
x-transaction-id: dd0d24c26c46ed06
strict-transport-security: max-age=631138519
x-response-time: 182
x-connection-hash: 0a63336cc2c8ce1c490be21f121a4f8e8442c7a69dc1ee67c226dc672635b233

これは、どう考えるべきか。

完全移行しますかね。

しれっと、Unicode 文字も存在する。

\U0001D54F
\uD835\uDD4Fhttps://t.co/rufnxiOaYM

— chanzmao (@maochanz) July 25, 2023

【ImageMagick】グラデーションな色で塗りつぶした縁取り極太テキスト画像って使えるよな

Last updated : 2023-07-01 17:31

こういうやつ。背景は透明。

コピペで貼り付けるだけでサムネとかSNS画像を作成できます。

🖌️ 作り方

ImageMagick で作ります。


brew install imagemagick

まず、透明背景画像を作成します。


magick -size 2000x200 xc:none \
output.png

透明な画像が生成されました。

続いてこれにテキストを書き込みます。

フォントは「LINE-Seed-JP_OTF-ExtraBold」、フォントの輪郭の線の色と太さは「white」、「10」とします。


magick -size 2000x200 xc:none \
-font LINE-Seed-JP_OTF-ExtraBold \
-pointsize 160 \
-fill none -stroke white -strokewidth 10 \
-annotate +10+160 "お手軽簡単！" \
output.png

👉 LINE Seed

さらに、この輪郭線の上に「black」で「2」の線を重ねます。


magick -size 2000x200 xc:none \
-font LINE-Seed-JP_OTF-ExtraBold \
-pointsize 160 \
-fill none -stroke white -strokewidth 10 \
-annotate +10+160 "お手軽簡単！" \
-fill none -stroke black -strokewidth 2 \
-annotate +10+160 "お手軽簡単！" \
output.png

さらに、この上に、グラデーションの色「red-orange」で塗りつぶされたテキストを重ねます。


magick -size 2000x200 xc:none \
-font LINE-Seed-JP_OTF-ExtraBold \
-pointsize 160 \
-fill none -stroke white -strokewidth 10 \
-annotate +10+160 "お手軽簡単！" \
-fill none -stroke black -strokewidth 2 \
-annotate +10+160 "お手軽簡単！" \
-tile "gradient:red-orange" \
-annotate +10+160 "お手軽簡単！" \
output.png

最後に、不要なまわりの透明部分を取り除きます。


magick -size 2000x200 xc:none \
-font LINE-Seed-JP_OTF-ExtraBold \
-pointsize 160 \
-fill none -stroke white -strokewidth 10 \
-annotate +10+160 "お手軽簡単！" \
-fill none -stroke black -strokewidth 2 \
-annotate +10+160 "お手軽簡単！" \
-tile "gradient:red-orange" \
-annotate +10+160 "お手軽簡単！" \
-trim \
output.png